Программисты Facebook провели эксперимент, участие в котором принял искусственный интеллект. Нейросети, состоящей из «туриста» и «гида» пришлось прокладывать маршрут по виртуальному Нью‐Йорку. Таким образом разработчики выяснили, каким образом компьютерный алгоритм ориентируется в пространстве и передает получаемую информацию. Описание исследования было опубликовано на портале arXiv.org.

Специалисты создали систему Talk The Walk. Входящие в нее агенты «общаются» на машинном или естественном языке. «Туристу» предстояло найти дорогу к пункту назначения при помощи «гида». Сам он оказался в случайной точке нью-йоркского района «Адская кухня».

О местоположении «турист» рассказывал «гиду» подобно тому, как это бы сделал человек. Между агентами шел постоянный диалог: первый говорил о том, что видит, а второй задавал уточняющие вопросы и направлял «коллегу».

В состоявшемся эксперименте впервые объединили три навыка — восприятие, выполнение действий и интерактивный диалог. Для исследования разработчики отсняли 360-градусные панорамы «Адской кухни». При этом «гид» для навигации использовал двухмерную карту, знал о местонахождении конечной точки маршрута, но не предполагал о положении «туриста». Последний, наоборот, видел все вокруг, не имея представления, где находится пункт назначения и как его достичь.

Базой для алгоритма послужил механизм MASC (Masked Attention for Spatial Convolution). С его помощью можно быстро определить ключевые слова в ответах «гида». Они и позволяют быстро понять, куда именно двигаться.

Использование алгоритма, отметили специалисты Facebook, удвоило точность получаемых результатов. Программа, добавили они, лучше работает, если самостоятельно генерирует сообщения, а не использует заключенные в набор данных фразы.

В перспективе, надеются разработчики, подобные схемы улучшат работу систем искусственного интеллекта в целом.