MERLE

Scientific lead: LEFORT Mathieu
Is SyCoSMA the project lead? Yes
Start date: 2022-01-01
End date: 2024-12-31

Les oiseaux (plus de 10 000 espèces aujourd’hui) constituent la classe de Vertébrés Tétrapodes de loin la plus diversifiée. Ils figurent parmi les organismes les plus étudiés dans tous les domaines de la biologie. Des applications en IA de reconnaissance « automatique » se développent d’ailleurs pour aider à l’identification des espèces, sur critères d’apparence visuelle extérieure donc (e.g., Birdsnap ; Berg et al. 2014) (et d’autres sur les vocalisations ; Jancovic & Köküer 2012 ; Anand et al. 2021). Dans le même temps, des méthodes statistiques apparaissent pour modéliser l’apparence d’éléments du squelette d’ancêtres communs à des clades de vertébrés, à partir de morphologies actuelles et fossiles bien placées sur des arbres phylogénétiques maintenant bien robustes (ces arbres étant fondés sur la phylogénomique) (Coombs et al. 2020). Ces analyses morphologiques utilisent des landmarks et semi-landmarks (en nombre mais qui simplifient et fractionnent malgré tout la morphologie de façon arbitraire). Or, jusqu’ici rien n’a été tenté sur la modélisation d’ancêtres de clades entiers d’oiseaux en termes d’apparence visuelle extérieure (et encore moins acoustique). Cela comprend le plumage avec ses patterns et ses couleurs, et les parties nues, ainsi que la silhouette générale (au posé ou en vol) qui délimite l’oiseau. Dans ce projet nous allons concevoir et mettre en œuvre des méthodes d’apprentissage avec des réseaux de neurones génératifs pour modéliser l’évolution des espèces d’oiseaux en se basant sur leur apparence. Un premier travail consisterait en la constitution d’une base d’apprentissage adaptée à l’apprentissage d’un tel modèle avec des images extraites de référentiels comme Birds of the World (dessins), le choix de codage et normalisation de ces données etc., ainsi que l’architecture du modèle, l’algorithme d’apprentissage et la fonction à optimiser. Une première approche serait alors d’utiliser un VAE convolutif pour apprendre une représentation plus compacte des images, et ensuite d’utiliser cette représentation latente en entrée des modèles existants utilisés par des biologistes basés sur l’optimisation sous contraintes par des connaissances du métier (phylogénétiques). Une deuxième étape serait d’intégrer ces contraintes directement dans l’apprentissage du modèle, soit par la fonction de coût (ou la régularisation) soit par l’algorithme d’apprentissage (par exemple la manière dont les données sont organisées, étiquetées et/ou présentées). Un défi est alors de concevoir un modèle qui apprend une représentation continue qui peut avoir un sens pour les experts du domaine (biologique, paléontologique etc.) intégrant à la fois l’aspect temporel (évolution) et proximité génétique (ancêtres communs etc.). Une approche serait d’utiliser des méthodes faiblement supervisées, par exemple l’apprentissage contrastif, l’apprentissage d’une “métrique” de similarité en présentant des paires ou triplet d’oiseaux appartenant à la même espèce ou non ou la création de modèles séparés pour différentes modalités ou espaces sémantiques (espèces, caractéristiques) et les fusionner plus en aval dans le traitement. Une des questions étudiées sera de savoir comment représenter certaines discontinuités, les relations hiérarchiques et les propriétés topologiques dans ce “manifold” (variété géométrique) appris par le réseaux de neurones pour explicitement intégrer certaines contraintes. Une fois le modèle appris, il pourrait être utilisé pour générer un “portrait-robot” d’un oiseau à partir d’un point de la représentation latente (ayant certaines propriétés souhaitées, par exemple un ancêtre commun de deux groupes), et ensuite donner lieu à des questionnements ou alors des nouvelles connaissances d’experts du domaine. Certaines connaissances pourraient également provenir de la représentation interne apprise automatiquement. Par exemple, la proximité/l’éloignement de points dans l’espace, la relation entre deux ou plusieurs exemples etc.