Technologie

Funkcja „AutoFlip” firmy Google została zaprojektowana w celu inteligentnego przycinania filmów

Funkcja „AutoFlip” firmy Google została zaprojektowana w celu inteligentnego przycinania filmów

Tradycyjnie do oglądania filmów używano telewizorów o proporcjach 16: 9 lub 4: 3. Jednak w przypadku najnowszych urządzeń ludzie oglądają i tworzą filmy w różnych proporcjach. Przycinanie filmów do ekranów tych urządzeń to żmudne zadanie dla kuratorów wideo. Na szczęście Google jest w stanie płynnie przycinać filmy.

Niedawno w poście na blogu Google ogłosiło narzędzie typu open source do zmiany kadrowania i przycinania filmów, aby pasowały do ​​dowolnego ekranu. AutoFlip to narzędzie, które wykorzystuje technologię wykrywania i śledzenia obiektów opartą na uczeniu maszynowym (ML), aby automatycznie zmieniać ramkę wideo.

AutoFlip - do inteligentnego przycinania wideo

Google stworzyło to narzędzie pozbyć się tradycyjnej metody statycznego kadrowania do przycinania filmów. Metoda statycznego kadrowania obejmuje zawodne techniki zmiany kadrowania wideo, tj. Określanie widoku kamery dla wideo, a następnie kadrowanie wszystkiego poza tym obszarem. Ta metoda powoduje niepożądany efekt wyjściowy filmów.

Google Autoflip obsługuje wiele zaawansowanych funkcji, w tym wykrywanie ujęć, analiza treści wideo i wreszcie przeformułowanie. Pozwólcie, że krótko omówię każdą z tych strategii przeformułowania.

Wykrywanie ujęcia (sceny)

Scena lub ujęcie w filmie to ciągła sekwencja klatek bez żadnych cięć. Jeśli nastąpiła zmiana w ujęciu lub scenie wideo, Google AutoFlip może wykryć zmianę porównując histogram kolorów poprzednich klatek z nowymi. Zmiana ujęcia jest wykrywana, gdy rozkład koloru ramki zmienia się z inną szybkością niż przesuwane okno historyczne. Narzędzie, aby zoptymalizować proces zmiany kadrowania, buforuje całe wideo przed podjęciem jakichkolwiek decyzji dotyczących zmiany kadrowania.

Analiza treści wideo

Korzystając z tej strategii, narzędzie wykrywa ważne obiekty i osoby w filmie. Do identyfikacji obiektów wykorzystuje modele wykrywania obiektów oparte na głębokim uczeniu się. Dzięki temu modelowi narzędzie może nawet wykryć wszelkie nakładki tekstowe lub logo marki i inne elementy, takie jak ruch lub piłka w filmach sportowych. Modele wykrywania twarzy i obiektów są zintegrowane z narzędziem za pośrednictwem MediaPipe. Zasadniczo jest to struktura przetwarzania danych multimodalnych poprzez tworzenie potoków. Ta struktura wykorzystuje strukturę Google TensorFlow Lite ML na procesorach.

Przeformułowanie

Po zidentyfikowaniu osób i obiektów w filmach narzędzie podejmuje logiczne decyzje dotyczące zmiany ramek wideo. AutoFlip wybiera jedną z trzech strategii ponownego kadrowania w celu przycięcia treści - stacjonarne, panoramowanie lub śledzenie. Narzędzie wybiera optymalną strategię na podstawie treści wideo. Na przykład, w trybie stacjonarnym, przeformułowany obszar widzenia kamery pozostaje nieruchomy w pozycji stacjonarnej, w której występuje większość ważnych scen wideo. W przypadku filmów zawierających ruch wykorzystuje panoramowanie, przesuwając ponownie obramowany obszar roboczy kamery ze stałą prędkością. Gdy w kadrze znajdują się interesujące obiekty, włącza się tryb śledzenia.

W oparciu o strategię zmiany kadrowania wybraną przez algorytm, zoptymalizowane okno kadrowania dla każdej klatki jest ustawiane przez funkcję AutoFlip. To zachowuje ważne treści wideo w najlepszy możliwy sposób.

Firma Google udostępniła to narzędzie bezpośrednio programistom i filmowcom, których celem jest „zmniejszyć bariery dla ich kreatywności projektowej i sięgnąć poprzez automatyzację edycji wideo„. Od krajobrazu do portretu lub od portretu do krajobrazu, niezależnie od przypadku, AutoFlipis zaprojektowano tak, aby zapewnić jak najlepsze rezultaty.

Kiedy Larry Page spotkał Sergeya Brina [interaktywna infografika]
Larry Page i Sergey Brin spotkali się po raz pierwszy w 1995 r., Założyli Google w 1998 r., A teraz Google jest następcą Internetu. Ta interaktywna i...
Najlepsze narzędzia Pinterest do lepszego marketingu i analizy w mediach społecznościowych
Pinterest to jedna z najszybciej rozwijających się witryn społecznościowych, a budując strategię marketingową w mediach społecznościowych, nie możesz ...
Jak Jak przekonwertować zdjęcia na żywo z iPhone'a na GIF za pomocą Google Motion Stills
Jak przekonwertować zdjęcia na żywo z iPhone'a na GIF za pomocą Google Motion Stills
Firma Apple wprowadziła „Live Photos” jako flagową funkcję w iPhonie 6s i byliśmy pod wrażeniem implementacji dynamicznych obrazów przez firmę. Chocia...