ACME
- Scientific lead: LEFORT Mathieu
- Is SyCoSMA the project lead? Yes
- Start date: 2022-01-01
- End date: 2024-12-31
La fusion de données est une question cruciale en intelligence artificielle et en sciences cognitives. En effet, elle doit être résolue par tout agent, biologique ou artificiel, qui perçoit son environnement à travers plusieurs capteurs différenciés et complémentaires. Ce projet vise à mieux comprendre la perception chez l’humain afin d’améliorer les systèmes d’IA pour des agents plus autonomes. Il se positionne dans le cadre des théories sensori-motrices qui s’appuient sur un certain nombre d’indices provenant des neurosciences, de la psychologie, de la philosophie, … Plus particulièrement, nous considérons la théorie des contingences sensori-motrices qui propose un cadre unifié fondé sur 2 principes : 1- L’apprentissage de corrélations sensori-motrices qui pose en particulier la question de l’intégration multi-sensorielle, dès lors que l’on considère plusieurs capteurs, et même multimodale en considérant l’action. Une des questions centrales est de savoir quand et comment fusionner les informations disponibles de manière autonome en s’appuyant par exemple sur l’apprentissage passé des relations entre les différentes données. 2- La perception active qui formalise que l’être humain interagit avec son environnement non seulement pour atteindre ses objectifs ou maintenir son intégrité physique (action pragmatique), mais également afin d’obtenir plus d’informations sur son environnement (action épistémique), par exemple via les saccades oculaires. Cela nécessite à la fois de disposer d’un modèle prédictif de la relation à l’environnement (en conjonction avec l’apprentissage de représentation sensori-motrices) et de décider dans quelle(s) modalité(s) et dans quelle(s) zone(s) de l’espace aller chercher la prochaine information pertinente.
Ce projet va s’appuyer sur les travaux du projet AMPLIFIER et les poursuivre selon 3 directions : D1- La modélisation de la condition passive avec les champs neuronaux dynamiques (DNF) et en particulier l’étude de l’influence des hyperparamètres sur l’adéquation avec les données. Il s’agit de l’extension directe du travail fait dans mais appliqué aux données psychophysiques obtenues dans le projet AMPLIFIER. Cette modélisation computationnelle se fera conjointement avec une modélisation statistique fréquentiste et bayésienne des données, classiquement utilisée dans le cadre multi-sensoriel, réalisée au CRNL. En psychophysique, de nouvelles données seront collectées l’an prochain afin de tester les effets de la fiabilité et de la perception active dans une tâche de reconnaissance d’objets et non plus de localisation pure. Le cas échéant, elles seront intégrées dans ces modélisations et analysées afin de pouvoir comparer les différences entre une tâche de localisation et une de reconnaissance. D2- La comparaison des conditions passives et actives. Elle étendra la modélisation actuelle utilisant le paradigme des DNF, celui-ci étant compatible avec l’intégration d’anticipations sur la dynamique de l’environnement. Dans la littérature, des expériences de psychophysique montrent que dans le cas d’une modalité manquante, son influence diminue au fur et à mesure que sa précision ne peut être vérifiée dans l’environnement. Cela pourrait suggérer que le phénomène de capture visuelle serait plus prononcé dans le cas de la condition active (puisque l’information visuelle peut être explorée). Cependant les premières analyses de nos données expérimentales laissent entrevoir que le biais est dépendant de la cible de la saccade. La modélisation cherchera donc à expliquer ce phénomène, en particulier en s’intéressant aux différences inter-individuelles et inter-essais des participants, nos modèles permettant de les prendre en compte. D3- Le portage et l’adaptation des modèles produits par D1 et D2 dans un cadre robotique simulé, avec des stimuli auditifs et visuels simples, inspirés de ceux des expériences psychophysiques. L’objectif sera d’étudier plus en profondeur la dimension active de la perception dans l’estimation de la pertinence de chaque modalité. Cela permettra ainsi de proposer une solution de fusion multimodale originale et complémentaire des approches basées sur l’apprentissage profond.