Исследователи MIT разработали новую систему памяти для роботов, которая помогает ловить ошибочные подписи к объектам до того, как эти ошибки распространятся по карте окружающего мира. Метод под названием UQ-DAAAM позволяет роботу определять, какие описания выглядят неуверенными, получать лучшие ракурсы того же объекта и заменять ненадежные подписи более точными.
Ключевые факты
- UQ-DAAAM расшифровывается как «Квантификация неопределенности для описания чего угодно, где угодно и в любой момент».
- Система сравнивает несколько описаний одного и того же объекта с разных точек обзора, чтобы измерить неопределенность.
- Когда неопределенность высока, робот выбирает дополнительные ракурсы, чтобы улучшить подпись объекта и сохранить уточненное описание в памяти.
- В тестах метод устранил неоднозначности примерно у 92 процентов объектов, используя лишь две дополнительные подписи на объект.
- По словам исследователей, система повысила точность описаний объектов на 5 процентов по сравнению с лучшим из известных подходов.
Что это значит для роботов в домах и на рабочих местах?
Практический эффект в том, что робот с меньшей вероятностью сохранит неверную метку для важного предмета, например перепутает дефибриллятор с огнетушителем. Это имеет значение, когда машина должна помогать в ситуациях, где важны время и точность, или выполнять многошаговые задачи, зависящие от того, что за объект перед ней и где она видела его раньше.
Система рассчитана на роботов, которые перемещаются по среде, собирают изображения с течением времени и хранят эти изображения в виде подписей в памяти на основе 3D-карты. Используя дополнительные ракурсы только при высокой неопределенности, метод должен обновлять память в реальном времени, не запуская заново модель «зрение — язык» для каждого кадра.
По словам исследователей, подход может быть полезен для домашних или промышленных роботов, включая машины, которые убирают со стола или работают вместе с людьми при сборке оборудования. Они также считают, что ту же схему оценки неопределенности позже можно будет расширить на мобильные роботизированные манипуляторы и другие задачи предсказания.
Как работает UQ-DAAAM?
Система опирается на более раннюю разработку команды — DAAAM, которая использует модель «зрение — язык», чтобы создавать подробные подписи к объектам, видимым камерами на борту робота. UQ-DAAAM добавляет слой, который проверяет, насколько уверенным должен быть робот в каждой подписи, прежде чем сохранить ее как часть памяти.
Это происходит в два шага. Сначала оценивается уверенность языковой модели в словах, которые она сгенерировала. Затем подписи к одному и тому же объекту с разных точек обзора сравниваются, чтобы понять, согласуются ли они между собой. Эти сигналы объединяются в один показатель неопределенности. Если он слишком высок, робот ищет более полезные изображения того же объекта и использует их, чтобы уточнить подпись.
Исследователи утверждают, что их эвристика выбора может находить лучшие дополнительные кадры без повторного запуска модели «зрение — язык», а это снижает вычислительные затраты настолько, что мобильный робот может обновлять память во время движения.
Почему улучшенная память робота важна?
Роботы в реальных условиях не всегда видят объекты ясно. Им могут попадаться частичные ракурсы, удаленные предметы, размытые изображения или плохое освещение. В таких случаях неверное описание может сохраниться в памяти и повлиять на последующие действия и ответы.
С UQ-DAAAM робот может пересмотреть подпись, если данные из разных ракурсов подсказывают, что исходная метка может быть ошибочной. Исследователи говорят, что это улучшает не только описания объектов, но и ответы на вопросы о том, где робот видел предмет и когда он сталкивался с ним в последний раз.
Что сообщили исследователи?
Команда заявила, что этап уточнения мог устранить неоднозначности примерно у 92 процентов объектов в окружении робота, при этом требовались лишь две дополнительные подписи на объект. По сравнению с базовыми методами система повысила точность описаний объектов на 5 процентов.
Соруководители работы Гарри Чжан и Николас Горло работали вместе со старшим автором Лукой Карлоне, доцентом MIT по аэронавтике и астронавтике и главным исследователем Лаборатории информационных и принятия решений. Исследование планируется представить на конференции по нейронной обработке информации.
Работа частично поддержана Исследовательской лабораторией сухопутных войск США и Управлением военно-морских исследований США.
Что будет дальше?
Исследователи хотят применить UQ-DAAAM и к другим типам роботов, включая мобильные роботизированные манипуляторы. Они также изучают, может ли система указывать роботам на области с высокой неопределенностью, чтобы машины возвращались туда и улучшали понимание среды.
Еще одна цель — применить похожие методы оценки неопределенности к системам, которые предсказывают, как будет меняться среда робота в будущем.
