Исследователи из Университета Карнеги Меллон разработали компьютерную модель, которая может перевести текст, описывающий физические движения прямо на простой компьютерной анимации, это первый шаг к когда-нибудь генерирующая фильмы прямо из скриптов.
Ученые сделали большой шаг вперед в получении компьютеров для понимания естественного языка, а также в генерации серии физические позы для создания реалистичной анимации. Эти возможности могут также Однако существуют в разных мирах, потому что связь между естественным языком и физические позы пропала.
Луи-Филипп Моренси, доцент в языковом Институте технологий (ЛТИ), и Чайтанья Ахуджа, в ЛТИ аспирант, работаем, чтобы сблизить эти миры с помощью нейронной архитектуры они называют совместное язык-в-позе, или JL2P. Модель JL2P позволяет приговоров и физических движений совместно встроенные, поэтому он может узнать, как язык относится к действию, жесты и движения.
«Я думаю, что мы на ранней стадии исследования, но и моделирование, искусственный интеллект и перспективы теория, это очень волнующий момент», — сказал Моренси. «Сейчас мы говорим об анимации виртуальных персонажей. В конце концов, эта связь между языком и жесты могут быть применены для роботов; мы могли бы просто сказать личный робот-помощник, что мы от нее хотим.
«Мы также в конечном итоге может пойти другим путем-используя эту связь между языком и анимации, чтобы компьютер мог описать происходящее на видео», — добавил он.
Ахуджа представит JL2P на сентябрь. 19 на международной конференции по 3D-видения в Квебеке, Канада.
Для создания JL2P, Ахуджа используется учебный план-подход к обучению, ориентированный на модель первого обучения короткий, простой последовательности — «человек идет вперед» — и то больше, тяжелее, последовательность — «человек шагает вперед, затем поворачивается и шаги снова,» или «человек прыгает через препятствия во время бега.»
Глаголы и наречия характеризуют действие и скорость/ускорение действий, в то время как существительные и прилагательные описывают места и направления. Конечная цель-анимировать сложные последовательности нескольких действий, происходящих одновременно или в последовательности, сказал Ахуджа.
Сейчас, анимация для фигуры.
Что делает его более сложным является тот факт, что много вещей происходит в то же время, даже в простых последовательностей, Моренси объяснил.
«Синхронность между частями тела-это очень важно», — сказал Моренси. «Каждый раз, когда вы перемещаете ваши ноги, вы также двигать руками, туловище и, возможно, головой. Анимации тело должны координировать эти различные компоненты, и в то же время достижение сложных действий. В результате чего язык повествования в этой сложной обстановке анимация является одновременно сложной и интересной. Это путь к лучшему пониманию речи и жестов».
сделать разницу: спонсорские возможности
Ответить
Хотите присоединиться к обсуждению?Не стесняйтесь вносить свой вклад!