Investigadores del MIT desarrollaron un nuevo sistema de memoria para robots diseñado para detectar objetos mal etiquetados antes de que esos errores se propaguen por el mapa del mundo del robot. El método, llamado UQ-DAAAM, ayuda a identificar descripciones inciertas, recopilar mejores vistas del mismo objeto y sustituir subtítulos poco fiables por otros más precisos.
Datos clave
- UQ-DAAAM significa Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment.
- El sistema compara múltiples descripciones del mismo objeto desde distintos puntos de vista para medir la incertidumbre.
- Cuando la incertidumbre es alta, el robot selecciona vistas adicionales para mejorar el subtítulo del objeto y guarda la versión refinada en la memoria.
- En las pruebas, el método resolvió ambigüedades en cerca del 92 % de los objetos usando solo dos subtítulos adicionales por objeto.
- Los investigadores afirman que el sistema mejoró la precisión de las descripciones de objetos en un 5 % frente al estado del arte.
¿Qué implica esto para robots en hogares y lugares de trabajo?
El efecto práctico es que un robot tendría menos probabilidades de arrastrar una mala etiqueta sobre algo importante, como confundir un desfibrilador con un extintor. Eso importa cuando la máquina debe ayudar en entornos sensibles al tiempo o completar tareas de varios pasos que dependen de saber qué es un objeto y dónde se vio por última vez.
El sistema está pensado para robots que se mueven por un entorno, recopilan imágenes con el tiempo y almacenan esas imágenes como subtítulos dentro de una memoria basada en un mapa 3D. Al usar vistas extra solo cuando la incertidumbre es alta, el método busca seguir actualizando la memoria en tiempo real sin volver a ejecutar el modelo visión-lenguaje para cada fotograma.
Los investigadores señalan que el enfoque podría ser útil para robots domésticos o industriales, incluidos los que recogen una mesa o trabajan junto a colaboradores humanos para ensamblar equipos. También sostienen que el mismo marco de cuantificación de incertidumbre podría extenderse más adelante a manipuladores robóticos móviles y a otras tareas de predicción.
¿Cómo funciona UQ-DAAAM?
El sistema se apoya en el marco previo DAAAM del equipo, que usa un modelo visión-lenguaje para crear subtítulos detallados de objetos vistos por las cámaras a bordo del robot. UQ-DAAAM añade una capa que comprueba cuánta confianza debería tener el robot en cada subtítulo antes de guardarlo como parte de su memoria.
Lo hace en dos pasos. Primero, evalúa la confianza del modelo en las palabras que generó. Después, compara subtítulos del mismo objeto desde distintos puntos de vista para ver si coinciden. Esas señales se fusionan en una sola puntuación de incertidumbre. Si la puntuación es demasiado alta, el robot busca imágenes más útiles del mismo objeto y las usa para refinar el subtítulo.
Los investigadores dicen que su heurística de selección puede identificar los mejores fotogramas adicionales sin volver a ejecutar el modelo visión-lenguaje, lo que reduce la computación lo suficiente como para que un robot móvil pueda seguir actualizando la memoria mientras se desplaza.
¿Por qué importa una mejor memoria para robots?
Los robots que trabajan en entornos reales no siempre ven los objetos con claridad. Pueden encontrarse con vistas parciales, objetos lejanos, imágenes borrosas o mala iluminación. En esos casos, una descripción equivocada puede permanecer en la memoria y afectar acciones y respuestas posteriores.
Con UQ-DAAAM, el robot puede revisar un subtítulo cuando la evidencia entre puntos de vista sugiere que la etiqueta original podría ser errónea. Los investigadores afirman que esto mejora no solo las descripciones de objetos, sino también las respuestas a preguntas sobre dónde vio algo el robot y cuándo lo encontró por última vez.
¿Qué informaron los investigadores?
El equipo dijo que el paso de refinamiento pudo resolver ambigüedades en cerca del 92 % de los objetos del entorno del robot y que solo requirió dos subtítulos adicionales por objeto. Frente a métodos de referencia, el sistema mejoró en un 5 % la precisión de las descripciones de objetos.
Los coautores principales Harry Zhang y Nicolas Gorlo trabajaron con el autor sénior Luca Carlone, profesor asociado del MIT en aeronáutica y astronáutica e investigador principal del Laboratory for Information and Decision Systems. La investigación está prevista para presentarse en la Conference on Neural Information Processing Systems.
El trabajo contó con apoyo parcial del U.S. Army Research Laboratory y la U.S. Office of Naval Research.
¿Qué viene después?
Los investigadores quieren usar UQ-DAAAM con otros tipos de robots, incluidos los manipuladores robóticos móviles. También estudian si el sistema puede señalar a los robots las zonas de alta incertidumbre para que vuelvan a ellas y mejoren su comprensión del entorno.
Otro objetivo es aplicar métodos similares de cuantificación de incertidumbre a sistemas que predicen cómo cambiará en el futuro el entorno de un robot.
