AMPLIFIER

Scientific lead: LEFORT Mathieu
Is SyCoSMA the project lead? Yes
Start date: 2017-10-04
End date: 2022-09-29

#Vous pouvez écrire une description ici…

La fusion de données est une question cruciale en intelligence artificielle et en sciences cognitives. En effet, elle doit être résolue par tout agent, biologique ou artificiel, qui perçoit son environnement à travers plusieurs capteurs différenciés et complémentaires. Ce projet vise à mieux comprendre la perception chez l’humain afin d’améliorer les systèmes d’IA pour des agents plus autonomes. Il se positionne dans le cadre des théories sensori-motrices qui s’appuient sur un certain nombre d’indices provenant des neurosciences, de la psychologie, de la philosophie, … Plus particulièrement, nous considérons la théorie des contingences sensori-motrices qui propose un cadre unifié fondé sur 2 principes : 1- L’apprentissage de corrélations sensori-motrices qui pose en particulier la question de l’intégration multi-sensorielle, dès lors que l’on considère plusieurs capteurs, et même multimodale en considérant l’action. Une des questions centrales est de savoir quand et comment fusionner les informations disponibles de manière autonome en s’appuyant par exemple sur l’apprentissage passé des relations entre les différentes données. 2- La perception active qui formalise que l’être humain interagit avec son environnement non seulement pour atteindre ses objectifs ou maintenir son intégrité physique (action pragmatique), mais également afin d’obtenir plus d’informations sur son environnement (action épistémique), par exemple via les saccades oculaires. Cela nécessite à la fois de disposer d’un modèle prédictif de la relation à l’environnement (en conjonction avec l’apprentissage de représentation sensori-motrices) et de décider dans quelle(s) modalité(s) et dans quelle(s) zone(s) de l’espace aller chercher la prochaine information pertinente.

Nous avons obtenu les résultats suivants :

Expériences de psychophysique basées sur un paradigme de ventriloquie. On présente aux sujets un stimulus visuel (patch de Gabor de différents niveaux de contraste ou nuages de points avec densité variable) et un stimulus auditif (bruit rose de différents niveaux d’intensité dans un bruit blanc constant). Les sujets produisent des erreurs de localisation du son en direction du stimulus visuel (nommées biais crossmodal) si celui-ci est présenté de manière synchrone mais à une position spatiale différente du stimulus auditif. En particulier, nous avons mesuré sur 45 participants les effets de la fiabilité des stimuli sensoriels et des saccades oculaires (dans une perspective de perception active) sur le biais crossmodal.
Les premières analyses statistiques de ces données. Elles montrent que l’augmentation de la fiabilité du stimulus visuel (resp. auditif) augmente (resp. diminue) le biais crossmodal et donc la capture visuelle. Les conclusions tirées des données expérimentales ont été affinées et renforcées par l’utilisation de modèles statistiques linéaires mixtes, ajustés sur des dizaines de milliers d’observations, permettant de mieux prendre en compte la variabilité des comportements humains, dont les différences inter-individuelles de sensibilité aux stimuli auditifs, visuels, ou d’usage des mouvements oculaires.
La modélisation de la fusion audio-visuelle sur des données de la littérature. L’originalité réside dans l’utilisation du paradigme des champs neuronaux dynamiques (DNF) qui permettent à la fois de modéliser l’activité neuronale par champ moyen mais aussi de reproduire d’un point de vue comportemental des phénomènes saccadiques. Ils offrent ainsi des possibilités de modélisation plus riche et fine des mécanismes décisionnels, avec la capacité de simuler la dynamique de décisions individuelles, à l’inverse de modèles descriptifs s’intéressant davantage aux distributions sur des centaines d’essais.