„Automatyczny Dub” firmy Amazon wykorzystuje sztuczną inteligencję do kopiowania filmów do języków obcych

Wraz z popularnością tak wielu platform do przesyłania strumieniowego treści stają się dość różnorodne i odmienne. Coraz więcej ludzi ogląda obcojęzyczne programy, takie jak „Money Heist” i „Dark”, ponieważ są to dobre programy i są dostępne na całym świecie. Jednak niektórzy z nas lubią oglądać nasze programy w języku, który rozumiemy. Czasami napisy nie wystarczą. Mimo to kopiowanie zagranicznych programów na inny język może stać się czasochłonne i kosztowne dla firm produkcyjnych. To jest główny powód, dla którego wiele programów nie jest dubbingowanych w obcych językach. Cóż, badacze z Amazona mogą znaleźć rozwiązanie tego problemu.

W artykule opublikowanym na serwerze pre-print Arxiv.org, naukowcy z Amazona opracowali teorię i przetestowali nową technologię „zamiany mowy na mowę”. To używa Sztuczna inteligencja konwertuje mowę oryginalną na mowę przetłumaczoną i poprawia przetłumaczoną mowę, aby brzmiała bardziej jak ludzka. To tylko pierwszy krok w kierunku opracowania łatwiejszego i znacznie tańszego sposobu kopiowania programów i filmów.

Jak to działa

Ta technologia „zamiany mowy na mowę” jest znacznie bardziej skomplikowana, niż się wydaje. Tłumaczenie oryginalnego przemówienia na mowę obcą za pomocą komputerów jest gorączkowym zadaniem. Nie jest to tłumaczenie z języka na inny tylko z zasobu audio, ale wymaga kilku kroków.
Zautomatyzowany proces kopiowania obejmuje zasadniczo 3 etapy. Po pierwsze, oryginalna mowa musi zostać przekonwertowana na format tekstowy. Drugi krok polega na przetłumaczeniu tekstu na żądany język. Ostatecznie przetłumaczony tekst generuje nową mowę.

Teraz istnieją komplikacje związane z opracowywaniem nowej mowy z przetłumaczonego tekstu na mowę. Przetłumaczona mowa powinna odpowiadać szybkości i emocjom oryginalnej mowy. Powinien również przenosić dźwięki tła i eliminować pogłos.

Aby ten skomplikowany proces zadziałał, naukowcy z Amazona to potwierdzili ich technologia zamiany mowy została przeszkolona na ponad 150 milionach par angielsko-włoskich frazy, aby określić szybkość segmentu mowy przetłumaczonej mowy, aby dopasować prędkość oryginalnej mowy. Ten krok zapewnia przerwy i przerwy w tłumaczonej mowie, aby dopasować je do oryginalnej mowy.

Model w fazie zamiany tekstu na mowę przeszkolił się na 47 godzinach nagrań mowy. Ten model generuje sekwencję kontekstu z tekstu, który jest wprowadzany do wstępnie wytrenowanego wokodera, który zamienia sekwencję w falę mowy.

Ta technologia jest również w stanie wyodrębnić dźwięki tła z oryginalnego dźwięku i umieścić je w przetłumaczonym dźwięku, aby był bardziej podobny do oryginalnego dźwięku. Wreszcie, oddzielny krok zwany krokiem ponownego pogłosu jest stosowany w celu dodania pogłosu oryginalnego dźwięku do przetłumaczonego..

Czy to się przyda?

Proces jest z pewnością skomplikowany, ale naukowcy napisali, że ich przyszła praca będzie poświęcona ulepszeniom automatycznego dubbingu. Może wyeliminować potrzebę dubbingowania programu lub filmu przez aktorów głosowych na inny język. Kopiowanie treści na żądany język stanie się mniej czasochłonne i znacznie tańsze. I tak, domy produkcyjne przyniosą korzyści widzom w dostarczaniu większej liczby programów i filmów, dzięki czemu lista będzie znacznie bardziej zróżnicowana.