Netflix prezentuje VOID: Framework open-source do fizycznie spójnego usuwania obiektów z wideo

Globalny serwis streamingowy Netflix wprowadził VOID, framework open-source zaprojektowany do usuwania obiektów z wideo przy zachowaniu fizycznych interakcji, które tworzą, rozwiązując ograniczenia występujące w tradycyjnych narzędziach do inpaintingu i usuwania obiektów.

Historycznie usuwanie obiektu ze sceny było proste, ale zapewnienie realistycznego zachowania środowiska po usunięciu stanowiło znaczące wyzwanie. Na przykład usunięcie osoby trzymającej gitarę pozostawia instrument zawieszony w nienaturalny sposób, a usunięcie nurka z basenu może pozostawić wodę nieporuszoną. Zespoły efektów wizualnych tradycyjnie korygowały takie problemy ręcznie, co jest czasochłonnym procesem, który może trwać od dni do tygodni dla pojedynczej sceny.

VOID, skrót od Video Object and Interaction Deletion, ma na celu rozwiązanie tych komplikacji. W przeciwieństwie do konwencjonalnych metod, które jedynie wypełniają brakujące piksele, system przewiduje fizycznie spójne wyniki dla sceny po usunięciu obiektu. 

Wykorzystuje kombinację technologii, aby to osiągnąć. Gemini Google analizuje scenę, aby zidentyfikować obszary, które będą dotknięte usunięciem, podczas gdy SAM2 Meta segmentuje obiekty do usunięcia. Te dane wyjściowe są kodowane w quadmask, mapę czterowartościową wskazującą, które obszary usunąć, które nakładają się, które są fizycznie dotknięte i które pozostają nietknięte. Model dyfuzji wideo zbudowany na CogVideoX Alibaba następnie rekonstruuje scenę w fizycznie wiarygodny sposób. Opcjonalne drugie przejście stosuje przepływ optyczny, aby skorygować wszelkie zniekształcenia z początkowej rekonstrukcji.

Demonstracja fizycznie spójnego usuwania obiektów w produkcji wideo 

Demonstracje VOID pokazują przekonujące wyniki: balony wznoszą się naturalnie, gdy uchwyt zostanie usunięty, klocki zachowują stabilność, gdy niepowiązane klocki są usuwane, a powierzchnie basenu pozostają nienaruszone po usunięciu osoby. W badaniu preferencji ludzi z 25 uczestnikami VOID był faworyzowany w 64,8 procent przypadków, przewyższając Runway, wiodącą alternatywę komercyjną, która osiągnęła zaledwie 18,4 procent.

To wydanie oznacza pierwsze publicznie dostępne narzędzie AI Netflix Research. Licencjonowany na Apache 2.0, VOID może być używany komercyjnie i jest hostowany na Hugging Face. Wymagania sprzętowe obecnie ograniczają dostęp, potrzebny jest GPU z 40GB VRAM do uruchomienia modelu, ale przyszłe optymalizacje i obniżone koszty infrastruktury mogą poszerzyć dostępność. VOID reprezentuje zmianę w technologii produkcji wideo, przechodząc od prostych narzędzi do usuwania w kierunku systemów zdolnych do rozumienia i realistycznej rekonstrukcji scen, co jest rozwojem o znaczących implikacjach dla profesjonalnych przepływów pracy.

Post Netflix przedstawia VOID: Framework open-source do fizycznie spójnego usuwania obiektów z wideo pojawił się najpierw na Metaverse Post.