Des chercheurs du MIT ont mis au point un nouveau système de mémoire pour robots destiné à repérer des objets mal étiquetés avant que ces erreurs ne se propagent dans la carte que le robot se construit du monde. Baptisée UQ-DAAAM, la méthode aide le robot à identifier les descriptions incertaines, à collecter de meilleures vues du même objet et à remplacer des légendes peu fiables par des versions plus exactes.
Points clés
- UQ-DAAAM signifie « Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment ».
- Le système compare plusieurs descriptions d’un même objet prises depuis différents points de vue pour mesurer l’incertitude.
- Quand l’incertitude est élevée, le robot sélectionne des vues supplémentaires pour améliorer la légende de l’objet et enregistre la version affinée en mémoire.
- Lors des tests, la méthode a levé les ambiguïtés pour environ 92 % des objets en n’utilisant que deux légendes supplémentaires par objet.
- Les chercheurs indiquent que le système a amélioré la précision des descriptions d’objets de 5 % par rapport à l’état de l’art.
Quel est l’effet concret pour les robots domestiques et industriels?
L’effet pratique est qu’un robot a moins de risque de conserver une mauvaise étiquette pour un objet important, par exemple confondre un défibrillateur mural avec un extincteur. Cela compte lorsque la machine doit intervenir dans des situations urgentes ou accomplir plusieurs tâches qui dépendent du fait de savoir de quoi il s’agit et où l’objet a été vu pour la dernière fois.
Le système vise des robots qui se déplacent dans un environnement, collectent des images au fil du temps et stockent ces images sous forme de légendes dans une mémoire fondée sur une carte 3D. En n’utilisant des points de vue supplémentaires que lorsque l’incertitude est élevée, la méthode est conçue pour mettre à jour la mémoire en temps réel sans relancer le modèle vision-langage pour chaque image.
Selon les chercheurs, cette approche pourrait être utile à des robots domestiques ou industriels, notamment à des machines qui débarrassent une table ou travaillent aux côtés d’êtres humains pour assembler du matériel. Ils disent aussi que ce cadre de quantification de l’incertitude pourrait ensuite être étendu à des manipulateurs robotiques mobiles et à d’autres tâches de prédiction.
Comment fonctionne UQ-DAAAM?
Le système s’appuie sur le cadre de mémoire DAAAM développé auparavant par l’équipe, qui utilise un modèle vision-langage pour produire des légendes détaillées des objets vus par les caméras embarquées du robot. UQ-DAAAM ajoute une couche qui vérifie à quel point le robot doit avoir confiance dans chaque légende avant qu’elle ne soit enregistrée dans la mémoire.
Il procède en deux étapes. D’abord, il évalue la confiance du modèle de langage dans les mots qu’il a générés. Ensuite, il compare des légendes du même objet prises depuis différents points de vue pour voir si elles concordent. Ces signaux sont fusionnés en un score unique d’incertitude. Si ce score est trop élevé, le robot cherche des images plus utiles du même objet et s’en sert pour affiner la légende.
Les chercheurs indiquent que leur heuristique de sélection peut identifier les meilleurs cadres supplémentaires sans relancer le modèle vision-langage, ce qui réduit suffisamment le calcul pour qu’un robot mobile puisse continuer à mettre à jour sa mémoire tout en avançant.
Pourquoi une meilleure mémoire robotique est-elle importante?
Les robots qui travaillent dans des environnements réels ne voient pas toujours les objets clairement. Ils peuvent rencontrer des vues partielles, des objets éloignés, des images floues ou un mauvais éclairage. Dans ces cas, une description erronée peut persister dans la mémoire et influencer les actions et réponses ultérieures.
Avec UQ-DAAAM, le robot peut réviser une légende lorsque les preuves recueillies depuis plusieurs points de vue suggèrent que l’étiquette d’origine est peut-être fausse. Les chercheurs disent que cela améliore non seulement les descriptions d’objets, mais aussi les réponses aux questions sur l’endroit où le robot a vu quelque chose et sur la dernière fois où il l’a rencontré.
Que rapportent les chercheurs?
L’équipe indique que l’étape d’affinage a permis de lever les ambiguïtés pour environ 92 % des objets dans l’environnement du robot, tout en nécessitant seulement deux légendes supplémentaires par objet. Par rapport aux méthodes de référence, le système a amélioré de 5 % la précision des descriptions d’objets.
Les co-auteurs principaux Harry Zhang et Nicolas Gorlo ont travaillé avec l’auteur principal Luca Carlone, professeur associé au MIT en aéronautique et astronautique et chercheur principal au Laboratory for Information and Decision Systems. La recherche doit être présentée à la Conference on Neural Information Processing Systems.
Les travaux ont été soutenus en partie par l’U.S. Army Research Laboratory et l’U.S. Office of Naval Research.
Et maintenant?
Les chercheurs disent vouloir utiliser UQ-DAAAM avec d’autres types de robots, y compris des manipulateurs robotiques mobiles. Ils étudient aussi la possibilité d’utiliser le système pour renvoyer les robots vers des zones de forte incertitude afin qu’ils puissent les revisiter et améliorer leur compréhension de l’environnement.
Un autre objectif est d’appliquer des méthodes similaires de quantification de l’incertitude à des systèmes qui prédisent la manière dont l’environnement d’un robot va évoluer à l’avenir.
