«Яндекс» научил свой браузер переводить видеотрансляции на русский

Компания «Яндекс» объявила о внедрении в свой браузер технологии автоматического закадрового перевода прямых трансляций на YouTube. Разработчики подчеркивают, что их решение является уникальным.

Пока технология работает в режиме открытого бета-тестирования – для перевода трансляций на ограниченном числе YouTube-каналов. Автоматический закадровый перевод прямых трансляций дополняет технологии голосового перевода видео и интерактивных субтитров.

Список поддерживаемых языков выглядит так: английский, немецкий, французский, итальянский, испанский.

В роли синхронного переводчика выступают нейросети, которые начинают переводить предложение еще до того, как его закончили произносить. Отмечается, что для быстрой и качественной работы в потоковом сценарии понадобилось перестроить всю архитектуру закадрового перевода видео.

В случае с записанными роликами нейросеть получает всю аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу. Работа с переводом прямой трансляции строится совершенно иначе: одна нейросеть распознает аудио и превращает его в текст на лету, другая – определяет пол спикера по биометрии. Третья нейросеть – и это самый сложный этап – расставляет знаки препинания и выделяет из текста смысловые фрагменты, то есть части, которые содержат законченную мысль. Именно их забирает еще одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.