Les modèles de fondation, popularisés par les grands modèles de langage (LLMs), ont démontré des capacités de généralisation inégalées via l’utilisation de quantités massives de données à l’échelle d’internet. Ces capacités de généralisation ainsi que leur capacité de traitement multimodal (texte, image, son, action,…) en font des approches prometteuses en robotique pour développer des modèles polyvalents, multi-tâches et multi-robots, avec des capacités d’interactions naturelles et intuitives avec l’humain.
Cependant, le développement de tels modèles dans le contexte robotique pose des défis majeurs liés à l’incarnation dans le monde physique et à la dynamique inhérentes à la robotique.
L’objectif de cette journée est de rassembler la communauté scientifique autour de cette thématique et d’échanger ensemble autour des dernières avancées dans l’exploitation, l’adaptation, et le développement de modèles de fondation en robotique.

Inscription gratuite mais obligatoire sur le lien suivant avant le 20 octobre : https://framaforms.org/inscription-journee-gdr-modeles-de-fondation-et-robotique-le-411-a-lecl-1759158447 :

Programme prévisionnel :

• 9h-9h30 : Accueil – café

• 9h30-9h40 : Mot d’introduction/Actualité PEPR
• 9h40-10h20 : Liming  Chen (Liris) : Foundation models for robotics need to be made bio-inspired
• 10h20-11h : Hanbo Zhang (NUS) : robot foundation models for long-horizon manipulation tasks

• 11h-11h20 :  Pause

• 11h20-12h : Shizhe Chen (Inria Willow) : Generalizable Robot Manipulation using Vision and Language
• 12h-12h25 : Machado Bruno (Liris) : VLA for present wrapping, projet Astérix

• 12h25 – 14h : Buffet

• 14h-14h30 : Fabrice Jumel (Inria Chroma) : Défis et apports attendus des modèles de fondations en robotique de service – retour sur la RoboCup@Home
• 14h30-14h55 : Myriam Marchessaud (Onera) : LLMs as Flexible Reasoning Engines for Belief Update in Active Perception Loops
• 14h55-15h20 : Zezeng Li (Liris) : test-time diffusion policy adaptation for manipulation

• 15h20-15h40 : Pause

• 15h40-16h05 : Guillaume Duret (Liris): simulation pour l’apprentissage robotique
• 16h05-16h30 : Alexandre Chapin (Liris) : object-centric representation learning for robot manipulation

• 16h30 : Clôture