Давая роботов человекоподобных восприятие их физической среды

Разве все мы не ценим немного помогать по дому, особенно, если эта помощь пришла в виде умной, гибкой, робот безропотной? Конечно, есть один трюк Roombas мира бытовой техники. Но инженеры Массачусетского технологического института предусматривающие роботов, как помощников, способных выполнять на высоком уровне, Алекса-тип команды, например «Иди на кухню и принеси мне чашку кофе».

Для выполнения таких задач, как считают исследователи, роботы должны быть способны к восприятию окружающей их физической средой, как это делают люди.

«Для того, чтобы принять любое решение в мире, нужно иметь мысленную модель окружающей среды вокруг вас», — говорит Лука Карлоне, доцент кафедры аэронавтики и астронавтики в Массачусетском технологическом институте. «Это что-то настолько легкое для человека.

Но для роботов это больно сложная задача, где речь о том, чтобы пиксельные значения, что они видят через камеру, в понимании мира».Теперь Карлоне и его ученики разработали представление пространственного восприятия для роботов, который моделируется после того, как люди воспринимают и ориентироваться в мире.

Новая модель, которую они называют 3D динамические сцены графиков, позволяет роботу быстро создать 3D-карту в его окрестности, что также включает в себя объекты и их семантические ярлыки (стул или стол, например), а также люди, комнаты, стен, и других конструкций, что робот, вероятно, видя в окружающей его среде.

Модель также позволяет роботу извлечения необходимой информации из 3D-карте, при запросе местоположения объектов и помещений, или перемещение людей на своем пути.

«Это представление в сжатом виде окружающей среды полезно, поскольку это позволяет роботу быстро принимать решения и планировать свой путь,» Карлоне говорит. «Это не слишком далеко от того, что мы делаем как люди. Если вам нужно планировать путь от вашего дома в MIT, вы не планируете каждую позицию нужно принять. Вы просто мыслите на уровне улицы города, который поможет вам планировать свой маршрут быстрее».

Помимо домашней прислуги, Карлоны говорит роботов, которые принимают этот новый вид ментальной модели окружающей среды также может быть подходит для других высокоуровневых задач, таких как работа бок о бок с людьми на производстве или исследуя месте катастрофы выживших.

Он и его ученики, в том числе и ведущий автор и аспирант Массачусетского технологического института Антонио Rosinol, представит свои выводы на этой неделе в рамках робототехника: Наука и виртуальный конференц-систем.

Смесь сопоставление

На данный момент роботизированная видения и навигации и Расширенный, в основном, по двум направлениям: 3D-карт, что позволяет роботам восстановить их среде в трех измерениях, поскольку они исследуют в режиме реального времени; и семантической сегментации, который помогает роботу классифицировать объекты в его окружении в качестве семантических объектов, таких как автомобиль или велосипед, который до сих пор является, главным образом, на 2D-изображений.

Карлоне и новые модели Rosinol из-пространственное восприятие является первым, чтобы создать 3D-карту окружающей среды в режиме реального времени, а также обозначать предметы, людей (которые, вопреки объекты), и структуры в том, что 3D-карта.

Ключевым компонентом новой модели команды Kimera, с открытым исходным кодом библиотеки, что команда, ранее разработанных для одновременного построения 3D геометрической модели внешней среды, при кодировании вероятность того, что объект, скажем, стул или стол.

«Как мифическое существо, которое представляет собой смесь разных животных, мы хотели Kimera сочетание карт и смыслового понимания в 3D,» Карлоне говорит.

Kimera работает, принимая в потоках изображений с камеры робота, а также инерциальных измерений бортовых датчиков, чтобы оценить траекторию движения робота или камеры и реконструировать сцену в 3D-сетку, все в реальном времени.

Для создания семантического 3D-сетки, Kimera использует существующий нейронная сеть, обученная на миллионы изображений реального мира, прогнозировать этикетке каждого пикселя, а затем проекты этих меток в 3D, используя метод, известный как Рэй-кастинг, широко используется в компьютерной графике для рендеринга в реальном времени.

Результатом является карта из среды робота, который напоминает плотную трехмерную сетку, где каждая грань имеет свой цвет, так как часть объектов, сооружений и людей в окружающей среде.

Многоуровневая сцена

Если робот был полагаться только на эту сетку ориентироваться в окружающей его средой, это будет вычислительно затратной и трудоемкой задачей. Поэтому исследователи причине от Kimera, разработка алгоритмов для построения динамических 3D «графы сцены» Kimera от первоначального, очень плотный, 3Д семантической сетки.

Графики происшествия популярных компьютерных графических моделей, которые манипулируют и рендеринга сложных сцен, и обычно используются в видео игровые движки для представления 3D средах.

В случае динамических 3D-графики происшествия, связанные с алгоритмами абстрактных, или сломать, подробная Kimera 3Д семантической сетки в различных смысловых слоев, таких, что робот может «увидеть» место происшествия через определенный слой, или объектив. Слои прогресс в иерархию объектов и людей, открытых пространств и структур, таких как стены и потолки, в комнатах, коридорах и залах, и, наконец, целые здания.

Карлоне говорит многослойное представление избегает робот, имеющий смысл из миллиардов точек и граней в оригинале 3D-сетки.

Внутри слоя предметов и людей, исследователи также смогли разработать алгоритмы, которые отслеживают движения и фигуры человека в окружающей среде в реальном времени.

Команда протестировали свою новую модель в фото-реалистичный симулятор, разработанный в сотрудничестве с Лабораторией Линкольна Массачусетского технологического института, который имитирует робота навигация с помощью динамического управления среда, наполненная людей, двигающихся вокруг.

«Мы, по существу, включение роботов ментальные модели, похожие на те люди используют,» Карлоне говорит. «Это может повлиять на работу многих приложений, включая самоуправляемые автомобили, поисково-спасательных, совместного производства и внедрения отечественной робототехники.

Еще один домен является виртуальной и дополненной реальности (AR). Представьте себе, носить очки дополненной реальности, которые работают в нашей алгоритму: очки бы быть в состоянии помочь вам с запросами, например, ‘где я оставила свою красную рожу?» и » что это ближайший выход?’

Вы можете думать об этом как Alexa, который осознает окружающую среду вокруг вас и понимает объекты, люди и их отношения».

«Наш подход просто стали возможными благодаря последним достижениям в глубоком изучении и десятилетия исследований по одновременной локализации и картографирования,» Rosinol говорит. «С этой работой, мы делаем шаг навстречу новой эре роботов восприятия называется пространственно-ИИ, которая находится только в зачаточном состоянии, но имеет большой потенциал в области робототехники и масштабная виртуальная и дополненная реальность».

Это исследование было фондировано, в части, научно-исследовательской лабораторией армии, Управление военно-морских исследований, и МИТ Линкольн лаборатории.

Бумага: «динамические 3D-графики сцены: действенные пространственное восприятие места, предметы и люди» https://roboticsconference.org/program/papers/79/

Видео: https://www.youtube.com/watch?v=SWbofjhyPzI

почувствуйте разницу: спонсорские возможности