Poznajcie Firefly Video Model – nowy generator wideo AI od Adobe

Adobe Firefly to udostępniona w marcu 2023 roku rodzina modeli GenAI do zadań kreatywnych. Oferuje m.in. generowanie obrazu czy wypełnianie generatywne. Dzięki niej możemy na podstawie opisu tekstowego (promptu) uzyskać realistyczne, zgodne z naszą wizją, obrazy. Dodatkowo, dzięki funkcji edycji, istnieje możliwość rozszerzania ich, a także usuwania, zastępowania czy dodawania obiektów. Adobe stale rozwija technologię generatywnej sztucznej inteligencji Firefly. Właśnie dodało do niej funkcję generowania wideo, która ma być szczególnie pomocna w pracy montażystów.

Co umożliwia Firefly Video?

Adobe przedstawiło następujące funkcje generatora wideo:

Text-to-Video – która pozwala na wygenerowanie wideo poprzez wpisanie promptu. Oferuje również możliwość ustawienia rozdzielczości, klatkażu, a także poniższe opcje:

– zmianę perspektywy – dzięki rozbudowanym funkcjom sterowania kamerą możemy ustalić kąt, ruch czy przybliżenie;

– generowanie efektów tj. flara obiektywu czy dym, które można później dodać do filmu poprzez tryb mieszania czy kluczowanie;

– tworzenie animacji 2D i 3D oraz filmów poklatkowych;

– niestandardowe efekty tekstowe.

Image-to-Video – zapewnia stworzenie krótkiego filmu na podstawie obrazu referencyjnego. Szczególnie obiecująca jest możliwość wygenerowania dodatkowego (uzupełniającego) ujęcia na podstawie klatki, do której chcemy się odnieść.

Generative Extend – funkcja pozwalająca na wydłużanie klipów, w celu wypełnienia luki w materiale filmowym lub przedłużenia przejścia, by lepiej pasowało do podkładu dźwiękowego czy budowanej narracji.

Na ten moment Firefly Video pozwala na wygenerowanie 5-sekundowych filmów o rozdzielczości 720p, które można pobrać w formacie mp4. Generowanie materiałów wideo trwa krócej niż 2 minuty.

Adobe zapewnia, że ich model wideo jest w pełni etyczny i bezpieczny również w zastosowaniach komercyjnych.

Podczas tworzenia modelu wideo Adobe współpracowało ze społecznością montażystów i szczególną uwagę poświęciło prawom twórców. Adobe podkreśla, że ich model wideo (tak samo, jak inne modele Firefly) jest trenowany wyłącznie na podstawie licencjonowanych obrazów z usługi Adobe Stock oraz tych treści dostępnych w domenie publicznej, których ochrona praw autorskich wygasła. W związku z tym, że generatywna sztuczna inteligencja cały czas ewoluuje, Adobe dba również o to, żeby modele były ciągle dostrajane i ulepszane dzięki rygorystycznemu i wieloaspektowemu programowi informacji zwrotnej.

„Te zabezpieczenia zmniejszają prawdopodobieństwo, że Firefly wygeneruje treści naruszające czyjeś prawa autorskie lub markę, a także inne szkodliwe wyniki, co z kolei sprawia, że klienci mogą czuć się pewniej wykorzystując Firefly w pracy” — mówi Eliot Greenfield, dyrektor ds. technologii mediów cyfrowych w firmie Adobe.

Adobe, by budować zaufanie i transparentność wobec zawartości cyfrowej wprowadziło jakiś czas temu funkcję Content Credentials, która informuje o sposobie i czasie utworzenia danej zawartości, a także o tym, czy została wygenerowana przez sztuczną inteligencję. Dane Content Credentials są automatycznie dodawane do treści utworzonych przy użyciu modeli Firefly.

Kiedy Firefly Video będzie dostępne do ogólnego użytku?

Model wideo ma być dostępny w wersji beta dla wszystkich już pod koniec roku. Na razie mogą z niego skorzystać wyłącznie osoby, które otrzymają dostęp po zapisaniu się na listę oczekujących. Skorzystać można już za to z funkcji Generative Extend, która jest dostępna w wersji beta z poziomu programu Adobe Premiere Pro.