Яндекс Браузер круто переводит видео. Как перенести его функцию в Chrome, Edge, Firefox, Safari
Все браузеры очень похожи друг на друга (особенно те, что работают на одном и том же движке). Однако веб-обозреватель Яндекса сильно выделяется на фоне всех других преимущественно функцией закадрового перевода видео — браузер переозвучивает оригинальную аудиодорожку в ролике, но на русском языке, и воспроизводит её поверх исходного видео. Благо этой опцией можно воспользоваться и в других веб-обозревателях благодаря специальному скрипту, размещённому на GitHub. В этой статье рассматриваем, как его установить, что это вообще такое и какие есть ограничения.
Содержание
Как установить закадровый перевод видео Яндекса
Поддерживаются практически любые программы: не только Chrome, Edge и прочие на движке Chromium, но и Firefox с Safari.
- Установите расширение Tampermonkey (для Safari оно платное, можно заменить утилитой UserScripts) — это менеджер скриптов, который позволит запускать нужный алгоритм для закадрового перевода видео.
- Загрузите специальный скрипт — по нажатию кнопки «Установить» вкладка закроется.
Теперь при открытии видео на YouTube поверх иконки расширения Tampermonkey будет появляться красный кружок-индикатор, а над видеоплеером будет виджет, предлагающий выполнить закадровый перевод.
Если развернуть расширенные настройки, получится включить автоматический перевод роликов и отрегулировать громкость переведённой озвучки.
Кратко: как работает закадровый перевод Яндекса
До тестирования этой технологии может показаться, что она простая в исполнении и плохо работает: перевод голоса давно есть в том же Google Translate, а его машинная речь оставляет желать лучшего. Но на практике всё совсем наоборот — это комбинация очень сложных алгоритмов, и на выходе получается действительно отличный результат.
Закадровый перевод и озвучка осуществляются в несколько этапов:
- Распознавание и переработка речи
На этом этапе алгоритмы стараются обработать речь — в ролике может быть не один говорящий, и если просто преобразовать все услышанные слова в текст, а затем перевести его, то получится каша. Нейросеть пытается сгруппировать слова в смысловые сегменты, расставить знаки препинания (это очень важно даже в видео с одним ведущим) и вычистить мусор.
Если в видео есть вручную добавленные субтитры, то нейросеть использует их, а не оригинальную аудиодорожку.
Хотя некоторые из этих этапов происходят параллельно, вся технология целиком очень сложная и ресурсоёмкая — из-за этого нужно время, прежде чем закадровый перевод будет готов.
Какие ограничения по сравнению с Яндекс.Браузером
Хотя скрипт из этой статьи задействует технологию Яндекса, неофициальный закадровый перевод в других браузерах работает несколько хуже из-за определённых ограничений.
- Популярные видео не переводятся мгновенно
В Яндекс.Браузере закадровая озвучка популярных видео с большим количеством просмотров происходит моментально (видимо, компания хранит готовую озвучку этих роликов на своих серверах, а не делает её каждый раз заново). При использовании скрипта даже популярные ролики проходят все этапы закадрового перевода, поэтому приходится ждать — около 1 минуты за каждые 10 минут видео.
Несмотря на все ограничения, скрипт выполняет свою функцию — переозвучивает ролики на русском языке, и делает это очень хорошо. Как и технология в Яндекс.Браузере, он поддерживает не только перевод с английского, но и с немецкого, французского и испанского языков.
В Яндекс.Браузере появился закадровый перевод любых видео с YouTube на английском языке
В закладки
В приложении Яндекс и в Яндекс.Браузере появилась функция закадрового перевода видео с YouTube и Vimeo.
Для запуска перевода надо нажать на кнопку перевода в плеере и подождать несколько минут.
Перевод происходит в несколько этапов. Сначала Яндекс распознает речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык, синтезирует голос и накладывает его на видео.
В закладки
Илья Сидоров
Редактор новостей и автор статей на iPhones.ru.
�� Читайте также . Всё по теме
Некоторые заговорили, что Apple возвращается в Россию и дают пруфы. Но это не так
iPhone 14 Pro с включенным Always-on Display разряжается на 6% быстрее, чем без него
Эксперты заметили ухудшение активного шумоподавления AirPods Max с новой прошивкой
Уволился один из главных дизайнеров Apple
Apple покажет новые MacBook Pro и Mac mini с процессором M2 в ноябре
Яндекс Go перестал работать
Яндекс начал строительство самого большого дата-центра в Калуге
Яндекс.Маркет запустил продажи iPhone 14, еще и даёт 10% кэшбека
�� Комментарии 23
Крутотень! Яндекс – красавчики!
@NightBird , с*издили идею, а так да, “красавчики”…)
@desired , так кто мешает спи*дить идею другим? Любому из комментаторов к этой новости к примеру. Это же так легко!
Цукерберг наверно каждый день сожалеет о том, от куда у него все новые функции беруться.
@desired , а где это ещё реализовано?
@Dr.Plush , я не знаю, но прочел новость как раз на днях. Просто загуглите AllMyBlog, сразу все увидите. Если вкратце, то яшка с ними в этом направлении сотрудничала, те хотели продаться, а яшка дала заднюю и запилила все сама) Короче, привет Цукерману и братьям Уинклвоссам 🙂
@desired , ну посмотрим чем закончится это противостояние 🙂
@desired , а в чем идея то? Закадровый перевод – это то, что напрашивается само собой, тут и думать не надо, а вот реализовать хорошо – да. Или если я покрашу автомобиль в красный – вы тоже скажите, что я содрал этот цвет с другой машины?
@Tilk , совершенно верно, в законе нет понятия “кража идеи”, поэтому тут никаких претензий, просто констатация факта, что они воспользовались идеей и благодаря своему раздутому штату программистов быстро реализовали ее, а потенциальный “партнер”, который слил им инфу и свои наработки оказался в итоге у обочины.
@desired , то что к обочине – это грустно, конечно, но я бы такой «идеей» даде делиться не стал, потому что на идею это не тянет, а если в яндексе такие дебилы, что сами не могли до этого догадаться, то нужно было ждать, чтобы самим реализовать позже. У меня в голове таких «идей» миллион и маленькая тележка.
@Tilk , честно говоря, там история “мутная”, фиг его знает, кто первый придумал, кто реализовал и т.д., отдельные программисты на хабре и фб пруфы кидают, что яндекс уже более 10 лет работает над этой фичей… но факт остается фактом, что яндекс выкатил готовый “бесшовный” продукт, а аналог завязан на каком-то тг-боте, да еще и платный вроде как…
В общем, да, идей много, были бы возможности их воплотить в реальность и, самое главное, чтобы было удобно конечному потребителю:)
Как включить в Google Chrome закадровый перевод видео из Яндекс.Браузера
Учите английский язык, он вам сильно пригодится в жизни. Так говорят нам с самого детства, но на большинство почему-то эти уговоры не особенно действуют. Правда, жалеть об этом они начинают уже будучи взрослыми, когда понимают, что не могут ни почитать новости на английском, ни тем более изъясниться с иностранцем в аэропорту. Я, конечно, могу и то, и другое. Но после появления функции синхронного перевода видео от Яндекса, которая теперь доступна и в Chrome, я начал задумываться, что где-то меня обманули.
Переводчик из Яндекс.Браузера заработал в Chrome
Наверное, все уже в курсе про синхронный перевод видеороликов на YouTube, который появился в Яндекс.Браузере. Это работает точно так же, как и называется. Специальные алгоритмы в реальном времени переводят то, о чём говорят на видео, причём делают это не в стиле Промта из середины нулевых годов, а вполне качественно. Так сразу даже не поймёшь, что это не профессиональный дубляж, а перевод плюс озвучка здесь и сейчас.
Единственный минус это функции — её ограниченная доступность. Естественно Яндекс, чтобы сделать популярнее свой браузер, не стала открывать доступ к синхронному переводу конкурентам. Но за неё это сделали разработчики-энтузиасты. Они просто взяли и превратили функцию перевода в расширение для Google Chrome, которое включается и переводит аудиодорожку видеоролика в реальном времени абсолютно так же, как это сделал бы сам Яндекс.Браузер.
Как перевести видео на YouTube
- расширение Tampermonkey для Google Chrome;
Для синхронного перевода обязательно нужен скрипт
- Перейдите по этой ссылке и скачайте скрипт для перевода;
- Откройте YouTube и запустите любой ролик на английском или испанском;
Включить перевод можно кнопкой в верхней части плеера
- Наведите курсор мыши на верхнюю часть проигрывателя и нажмите на кнопку перевода.
По умолчанию это действие должно активировать синхронный перевод на Ютубе. Но в некоторых случаях кнопки может либо не появиться, либо функция перевода окажется недоступной. В этом случае рекомендуется переустановить и само расширение, и скрипт, который отвечает за перевод. После этого расширение запросит разрешение на доступ ко взаимодействию с сайтом YouTube — соглашайтесь. После этого перевод станет доступен без ограничений.
Честно сказать, первые несколько минут Chrome отказывался переводить для меня видео. Однако после того как я переустановил расширение и дал ему разрешение на доступ к Ютубу, всё заработало в лучшем виде. Теперь браузеру под силу перевести любой видеоролик на английском языке. В принципе, работает ещё и испанский, но испаноязычных видео я не смотрю, а довольствуюсь только английскими.
Перевод видео с английского на русский
Я уже упоминал, что с практической точки зрения расширение ничем не отличается от перевода, который предлагает сам Яндекс.Браузер. Это тот же двухголосый перевод, который накладывается поверх основной аудиодорожки. Есть голос как для озвучивания женщин (их голосом говорит Алиса), так и для мужчин. Это создаёт более приятный эффект, как будто ты слушаешь не — при всём уважении — диктора Лихачёва, а смотришь полноценный ролик, озвученный ещё на стадии записи.
Отключить перевод можно кнопкой пауза
Поскольку на других языках, кроме английского и испанского, Яндекс.Браузер и расширение с функцией синхронного перевода не говорят, не имеет смысла включать им видео на других языках. Например, когда я попробовал запустить шведский ролик с вкраплениями английской речи, расширение не смогло распознать её и даже не предложило кнопки активации синхронного перевода. Так что учитывайте, что всё видео должно быть записано на английском.
Кстати говоря, аналогичное расширение работает и в браузере Firefox. Чтобы воспользоваться им, достаточно проделать те же самые шаги, которые вы проделали при установке его в Chrome. Функционально они ничем не отличаются друг от друга, поэтому с проблемами вы явно не столкнётесь. Разве что по первой расширение будет отказываться переводить, но, как мы уже выяснили, это вполне решаемо.
Загрузка...
