Mitsubishi Electric разрабатывает интерфейс и приложение для мгновенного отображения речи в виде 3D-текста при видеозаписи в реальном времени

21.03.2019 Прочитать: PDF

Mitsubishi Electric разрабатывает интерфейс и приложение для мгновенного отображения речи в виде 3D-текста при видеозаписи в реальном времени

Технологии дополненной реальности для «живого» видеообщения в социальных сетях

Москва, 21 марта 2019 г. - Корпорация Mitsubishi Electric объявила о разработке пользовательского интерфейса SwipeTalk AirTM, который считается первым в мире интерфейсом на основе технологии дополненной реальности (ДР) для мгновенного отображения произнесенной речи в виде трехмерного текста при записи видео в режиме реального времени. Для размещения текста достаточно провести пальцем по экрану планшета или смартфона. Технология легла в основу приложения SwipeTalk Air на базе операционной системы iOS®, которое интегрирует пользовательский интерфейс, видеозапись и т.д. для создания «живых» видео в социальных сетях.  

Опытный образец SwipeTalk Air был представлен на выставке цифровых технологий SXSW (South by Southwest - «К югу через юго-запад»), прошедшей в Остине, штат Техас, США с 8 по 17 марта. В будущем возможности управления и функции пользовательского интерфейса и приложения будут расширены для использования в коммерческих товарах и сервисах.

Человек говорит, а оператор проводит пальцем по экрану (слева), чтобы мгновенно отобразить 3D-текст в видео (справа)
Человек говорит, а оператор проводит пальцем по экрану (слева), чтобы мгновенно отобразить 3D-текст в видео (справа)

Ключевые характеристики

  • Пользовательский интерфейс отображает произнесенные слова в виде текста на экране

Пользовательский интерфейс мгновенно отображает произнесенные слова в виде 3D-текста на видео, как только оператор проводит пальцем по экрану мобильного устройства. Камера устройства направляется на объект съемки, произносится несколько слов, на экране пальцем проводится линия, после чего в этой области немедленно появляется текст.

Использование  пользовательского интерфейса SwipeTalk Air
Использование пользовательского интерфейса SwipeTalk Air

Запись видео и редактирование полностью интегрированы, поэтому пользователи могут вести съемку и вводить текст одновременно.

Скриншот видео, созданного с помощью приложения SwipeTalk Air
Скриншот видео, созданного с помощью приложения SwipeTalk Air

  • Приложение объединяет различные функции для создания выразительных видеозаписей

Размещение текста в любом месте виртуального пространства экрана позволяет добавить больше выразительности создаваемому видео. Поскольку текст остается на фиксированном месте даже при изменении угла камеры, создание объединяющих текст и изображение объектов видео расширяет возможности реализации идей пользователей. Благодаря быстрому размещению текста пользователь может легко создавать оригинальные видеоролики.

Скриншот видео, созданного с помощью приложения
Скриншот видео, созданного с помощью приложения

 

Другие характеристики приложения

  • Отображение текста с помощью маркеров дополненной реальности (ДР-маркеров)

Текст отображается на экране по траектории, задаваемой с помощью ДР-маркера.

Отображение текста путем направления ДР-маркера по определенной траектории в пределах изображения
Отображение текста путем направления ДР-маркера по определенной траектории в пределах изображения

Размещение текста с помощью ДР-маркера (слева: вид до, справа: вид после)
Размещение текста с помощью ДР-маркера (слева: вид до, справа: вид после)

  • Рисование с применением дополнительной реальности (ДР)

Использование дополнительных иллюстраций в ходе видеозаписи, например, стрелок, геометрических фигур или мультипликационных изображений придаёт выразительность и наглядность сообщению.

 

Стрелка и выноска с текстом на экране
Стрелка и выноска с текстом на экране

  • Многоязычный перевод

Размещенный текст можно мгновенно перевести на иностранный язык. Поддержка аудио при переводе отображаемого текста позволяет общаться и взаимодействовать с людьми, говорящими на других языках.

История вопроса

Публикация видео в социальных сетях стала очень распространенным явлением. Пользователи постоянно ищут все более эффектные способы самовыражения с помощью видео. Кроме того, растет спрос на пользовательские интерфейсы, которые позволяют записывать, редактировать и обмениваться видео в режиме реального времени. С 2013 года Центр промышленного дизайна (IDC) Корпорации Mitsubishi Electric реализует проект Design X, цель которого – дать дизайнерам возможность свободно разрабатывать инновационные концепции для новых продуктов и услуг на основе исследований пользовательских предпочтений. Исследование включает в себя интервью с широко известными пользователями социальных сетей с целью получения самой последней информации об их потребностях, например, для быстрого редактирования и обмена видео. Ранее в Центре была разработана технология предшественник анонсированного пользовательского интерфейса: см. пресс-релиз “Mitsubishi Electric разработала первую в мире функцию отображения текста с активацией голосом”

https://www.mitsubishielectric.ru/upload/iblock/66b/66bf6f2e28028e2979a7f4e315002114.pdf

http://www.mitsubishielectric.com/news/2016/pdf/0209.pdf (оригинал на английском языке)

Патенты

На описанную в настоящем пресс-релизе технологию подана одна заявка для получения патента в Японии и одна за рубежом.

Регистрация промышленных образцов

Поданы четыре заявки на регистрацию промышленных образцов в Японии.

SwipeTalk и SwipeTalk Air - товарные знаки корпорации Mitsubishi Electric.

SXSW и South by Southwest - зарегистрированные товарные знаки компании South by Southwest LLC в Соединенных Штатах, а также в других странах и регионах.

iOS - зарегистрированный товарный знак компании Cisco Technology, Inc.


Возврат к списку