Sora generatywna sztuczna inteligencja to nowa technologia od OpenAI tworząca treści video na podstawie tekstu pisanego. Dzięki tej technologii jesteśmy w stanie za pomocą opisu, stworzyć realistyczne materiały wideo. Jednakże to nie wszystko, jak się dzisiaj okazało, Sora jest w stanie za pomocą swoich umiejętności wygenerować nam również interfejs gry komputerowej.
- Sora doskonale rozumie język, co pozwala mu dokładnie interpretować podpowiedzi i tworzyć fascynujące postacie wyrażające żywe emocje. Model rozumie nie tylko to, o co użytkownik prosił w podpowiedzi, ale także to, jak te rzeczy istnieją w świecie fizycznym. - pisze OpenAI w poście na blogu.
GenAI ds. wideo
Narzędzie prezentuje się dosyć imponująco i dostarcza jak na razie bardzo świetne materiały wideo. Sora może m.in. generować treści w różnych stylach (np. anime, fotorealistyczne, czarno-białe) o długości minuty. Filmy wygenerowane przez AI wyróżniają się przede wszystkim, spójnością co nie jest tak częste u konkurencyjnych GenAI. Dodatkowo sztuczna inteligencja może generować filmy w dowolnych proporcjach i rozdzielczości oraz posiada opcję edycji obrazów i wideo.
Wirtualny twórca gier od OpenAI
Sora poza generowaniem wideo, posiada także możliwość "symulowania cyfrowych światów". Podczas testowania narzędzia naukowcy z OpenAI wprowadzili do Sory opisy zawierające słowo "Minecraft" i zlecili AI wyrenderowanie interfejsu gry oraz możliwość sterowania postacią. Efekt był zdumiewający:
Jak Sora jest w stanie uzyskać taki efekt? Naukowiec Nvidia Jim Fan twierdzi, że jest ona bardziej silnikiem fizycznym opartym na danych. Dzięki czemu jest w stanie określać fizykę obiektu w środowisku wirtualnym.
- Te możliwości sugerują, że ciągłe skalowanie modeli wideo jest obiecującą ścieżką w kierunku rozwoju wysoce wydajnych symulatorów świata fizycznego i cyfrowego oraz żyjących w nich obiektów, zwierząt i ludzi. - pisze OpenAI.
Natomiast mimo wielu zalet Sora posiada także i wady, gdyż nie jest w stanie ona dokładnie symulować fizyki złożonych treści wideo.
- Sora może mieć trudności z dokładnym symulowaniem fizyki złożonej sceny i może nie rozumieć konkretnych przypadków przyczyny i skutku. Na przykład osoba może ugryźć ciasteczko, ale potem ciasteczko może nie mieć śladu ugryzienia. Model może także mylić szczegóły przestrzenne podpowiedzi, np. pomieszanie lewej i prawej strony, oraz może mieć trudności z precyzyjnym opisem zdarzeń zachodzących w czasie. - kontynuuje OpenAI.
Naukowcy z OpenAI zapowiadają, że będą cały czas ulepszać i badać model pod kątem exploitów. Jeśli produkt trafi do przestrzeni publicznej, to firma gwarantuje, że w wygenerowanych wynikach zostaną uwzględnione metadane dotyczące pochodzenia. Na obecną chwilę projekt ma status: programu o bardzo ograniczonym dostępie.
- Będziemy angażować decydentów, nauczycieli i artystów na całym świecie, aby zrozumieć ich obawy i zidentyfikować pozytywne przypadki zastosowania tej nowej technologii. Pomimo szeroko zakrojonych badań i testów nie jesteśmy w stanie przewidzieć wszystkich korzystnych sposobów, w jakie ludzie będą korzystać z naszej technologii, ani wszystkich sposobów, w jakie będą ją nadużywać. - oświadcza OpenAI.
