Нейросеть HeyGen переводит видео
Нейросеть HeyGen научилась переводить видео, сохраняя оригинальные голоса персонажей. Теперь Ельцин прощается с россиянами по-английски, а Данила Багров задаёт вопрос американцу на понятном ему языке.
HeyGen — новая нейросеть для разговорных роликов. Суть её работы проста: она автоматически переводит видео на нужный язык, а затем переозвучивает его голосом оригинала. При этом HeyGen ещё и накладывает дипфейки на губы так, чтобы их движения совпадали с новой аудиорожкой.
Интернет отреагировал на это самым закономерным образом. Российские пользователи принялись переозвучивать идущего к реке, женщину с кандибобером, грозного маэстро (признан иноагентом) и даже легендарные фильмы.