«Яндекс» запустил сервис закадрового перевода видео с YouTube и других платформ. Компанию обвинили в плагиате

Что произошло

«Яндекс» запустил сервис закадрового перевода видео с YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». Теперь пользователи смогут смотреть зарубежные ролики с закадровой озвучкой на русском, которая будет генерироваться в режиме реального времени. Пока перевод возможен только с английского языка. Также действуют ограничения на лицензионный контент — например, сериал от Netflix сервис не переведет. 

Услуга доступна в «Яндекс.Браузере» для операционных систем Windows, macOS, Linux и Android, а также в приложении «Яндекс» Android и iOS.

Детали

Чтобы посмотреть видео в русской озвучке, нужно только нажать на кнопку в плеере и подождать какое-то время. Через несколько минут «Яндекс.Переводчик» переведет ролик и пришлет юзеру уведомление. 

• Технология с помощью нейросетей приглушает оригинальную аудиодорожку и накладывает на нее новую. Перевод роликов происходит в несколько этапов: распознавание речи, превращение ее в текст и разбивка на предложения с помощью нейросетей. Затем алгоритмы определяют пол говорящего, переводят предложения на русский язык и синтезируют голос, а после совмещают новое аудио с видеорядом. Для перевода используются два голоса: мужской и женский, причем последний принадлежит голосовому помощнику Алисе. 
• По словам руководителя «Яндекс.Браузера» Романа Иванова, новая функция позволит преодолеть языковые барьеры. «Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к ее решению еще в 2011 году и сейчас умеем переводить все основные виды контента: текст, изображения, видео», — сказал он.
• Иванов добавил, что в дальнейшем разработчики планируют добавить новые языки и голоса.

История вопроса

«Яндекс» занимается разработкой технологии с осени 2020 года. Прототип показали уже в июле 2021-го, но тогда технология работала на ограниченном списке роликов и только в десктопном «Яндекс.Браузере», то есть только со стационарных компьютеров. Мобильная версия была недоступна.

Ранее появлялись более простые аналоги синхронного перевода, их создатели пытаются заявить свои авторские права на разработку.

• Ранее независимый разработчик под ником tgaru создал расширение для браузеров YouTube SubSound, которое озвучивало субтитры в видео. Озвучку сложно было назвать профессиональной: скорость и высота произношения голоса никак не регулировались. Тем не менее разработчик утверждал, что «Яндекс» использовал и адаптировал именно его технологию. В ответ на это в «Яндексе» заявили, что начали разработки раньше и что их продукт отличается от SubSound. Например, «Яндекс» самостоятельно переводит с помощью «Яндекс.Переводчика», тогда как SubSound лишь оживляет субтитры YouTube программно генерируемым голосом. Также «Яндекс» автоматически распознает пол говорящего и подстраивается под темп его речи. Более того, «Яндекс» показал прототип своей технологии всего на 6 дней позже, чем в Сети появилась информация о SubSound. По словам представителей компании, разработать такой сложный проект и подготовить его анонс всего за неделю было бы невозможно.
• На авторство технологии претендует еще один сервис — AllMyBlog, который занимается автоматизацией процесса размещения, локализации и монетизации видео на международных платформах. В феврале этого года AllMyBlog создал платный Telegram-бот Taradam для перевода видеоконтента на 56 языков мира. Сейчас AllMyBlog подал на «Яндекс» в суд. Компания не требует денег, но настаивает, чтобы «Яндекс» не выдавал идею за свою: представители компаний якобы встречались, и AllMyBlog показывал разработку ИТ-гиганту. В «Яндексе» заявляют, что не использовали разработки AllMyBlog, не вели с ними переговоров об инвестициях и создали прототип раньше. Юристы считают, что у иска нет перспектив.
• Кроме синхронного перевода видео, в апреле 2021 года «Яндекс» начал переводить текст на изображениях благодаря технологиям компьютерного зрения и «Яндекс.Переводчику».

Мировая практика

• Сервис перевода собеседника в реальном времени еще в 2016 году запустил Skype. Сейчас он поддерживает 60 языков, перевод появляется на экране в виде субтитров.
• В 2019 году компания Google представила новую технологию синхронного перевода устной речи — Translatotron. Главная особенность этого алгоритма в том, что он умеет сохранять голос говорящего.
• В конце июня 2021 года американский сервис видеозвонков Zoom купил немецкий стартап Kites, который создает субтитры на разных языках в режиме реального времени. Технология основана на использовании искусственного интеллекта.