Was ist 'Sora'?
Sora ist ein von OpenAI veröffentlichtes künstliche Intelligenzmodell, das entwickelt wurde, um Text in hochauflösende Videos beliebiger Größe umzuwandeln. Es ist in der Lage, flüssige Videos von bis zu einer Minute Länge zu generieren und kann auch Videos basierend auf Bildern oder anderen Videos erstellen. Dies ermöglicht die Erstellung sowohl realistischer als auch einfallsreicher Szenen.
Sora ist das neueste Text-zu-Video-Modell, das von OpenAI veröffentlicht wurde. Es kann Videos von bis zu einer Minute Länge generieren, die vollständig der Benutzeranweisung entsprechen und dabei die visuelle Qualität beibehalten. Die Vision von OpenAI ist großartig. Im Gegensatz zu typischen Unternehmen, die Slogans wie 'jeder ist ein Regisseur/Künstler' preisen, engagiert sich OpenAI für die Entwicklung von AGI und Welt-Simulatoren, um den Menschen bei der Lösung von Problemen zu helfen, die eine Interaktion mit der realen Welt erfordern.
Als beeindruckend leistungsstarkes neues Video-Generationsmodell ebnet Sora den Weg für eine neue Ära in der KI-Videoerstellung!
Die offizielle Website von Sora: https://openai.com/sora
Der technische Berichts-URL von Sora: https://openai.com/research/video-generation-models-as-world-simulators
Wie erstelle ich ein Video mit Sora?
Zurzeit hat OpenAI Sora noch nicht für öffentliche Tests geöffnet, und es gibt auch keinen öffentlichen Kanal für Beta-Tests. Wir glauben jedoch, dass wir in naher Zukunft alle dieses erstaunliche neue Modell bequem erleben können. Bleibt dran!
Was sind die Funktionen von Sora? (die Laienversion)
Unten sind einige ausgewählte Merkmale des Sora-Modells.
- Das größte Modell unterstützt die Erstellung hochauflösender Videos von bis zu 60 Sekunden Länge;
- Es unterstützt die Erweiterung von kurzen Videos sowohl vorwärts als auch rückwärts, wobei die Kontinuität während der Verlängerung der Dauer erhalten bleibt;
- Es unterstützt die Videobearbeitung auf der Grundlage von Video + Text, wodurch ein einziger Satz das ursprüngliche Video verändern und die Logik der Videobearbeitung vollständig verändern kann.
- Videoinformationen werden in Raum-Zeit-Patches komprimiert und mit einer Diffusions-Transformer-Struktur modelliert.
- Aufgrund der Kompression von Videoinformationen in Raum-Zeit-Patches wird die direkte Generierung von verschiedenen Größen, Zeiten und Auflösungen unterstützt.
- Dalle3 wird für die feinkörnige Video-Text-Anmerkung verwendet, und ein Modell wird trainiert, um kurze Anweisungen in komplexe Texte für die Videogenerierung zu erweitern.
- Es gibt immer noch einige Mängel bei physischen Interaktionen, wie die Unfähigkeit, zersplittertes Glas oder Fußspuren im Schnee zu generieren.
- Es wurde nicht erwähnt, ob ein Physik-Engine verwendet wird, aber es könnte bei der Datensammlung genutzt worden sein.
Was sind die Funktionen von Sora? (die Expertenversion)
Einheitliche visuelle Datenrepräsentation
Forscher wandeln alle Arten von visuellen Daten in eine einheitliche Darstellung für das Training von groß angelegten generativen Modellen um. Sora verwendet visuelle Patches als seine Darstellung, ähnlich wie Text-Token in großen Sprachmodellen (LLMs).
Video-Komprimierungsnetzwerk
Forscher haben ein Netzwerk trainiert, um originale Videos in einen niedrigdimensionalen latenten Raum zu komprimieren und ihre Darstellung in Raum-Zeit-Patches zu zerlegen. Sora ist in diesem komprimierten latenten Raum trainiert und generiert Videos.
Diffusionsmodell
Sora ist ein Diffusionsmodell, das Videos aus Eingangsrauschflecken generiert, indem es die ursprünglichen 'sauberen' Flecken vorhersagt. Diffusionsmodelle haben eine signifikante Skalierbarkeit in der Sprachmodellierung, Computer Vision und Bildgenerierung gezeigt.
Skalierbarkeit der Videogenerierung
Sora kann Videos in verschiedenen Auflösungen, Dauern und Seitenverhältnissen generieren, einschließlich Full-HD-Videos. Diese Flexibilität ermöglicht es Sora, Inhalte direkt für verschiedene Geräte zu generieren oder schnell Prototypeninhalte zu erstellen, bevor vollständige Videos generiert werden.
Sprachverständnis
Um ein Text-zu-Video-Generierungssystem zu trainieren, werden eine große Anzahl von Videos und entsprechende Textunterschriften benötigt. Forscher haben die in DALL·E 3 eingeführte Re-Beschreibungstechnik angewendet, zuerst ein hochdeskriptiver Untertitelgenerator trainiert und dann Textunterschriften für alle Videos im Trainingsdatensatz generiert.
Bild- und Videobearbeitung
Sora kann Videos basierend auf Texteingaben generieren sowie Eingaben basierend auf vorhandenen Bildern oder Videos. Dies ermöglicht es Sora, eine Vielzahl von Bild- und Videobearbeitungsaufgaben auszuführen, wie z.B. das Erstellen von perfekten Loop-Videos, das Animieren statischer Bilder, das Verlängern von Videos nach vorne oder hinten usw.
Imitationsfähigkeit
Wenn Videomodelle im großen Maßstab trainiert werden, zeigen sie einige interessante aufkommende Fähigkeiten, die es Sora ermöglichen, bestimmte Aspekte der physischen Welt zu simulieren, wie dynamische Kamerabewegung, langfristige Konsistenz und Objektbeständigkeit.
Diskussion
Obwohl Sora als Simulator Potenzial gezeigt hat, hat er immer noch viele Einschränkungen, wie zum Beispiel eine mangelnde Genauigkeit bei der Simulation grundlegender physikalischer Interaktionen (wie Glas, das zerbricht). Forscher glauben, dass die Weiterentwicklung von Videomodellen ein vielversprechender Weg ist, um Simulatoren für die physische und digitale Welt zu entwickeln.