什麼是「Sora」？
Sora 是由 OpenAI 發布的人工智慧模型，旨在將文字轉換為任何尺寸的高清晰度視頻。它能夠生成長達一分鐘的流暢視頻，還可以基於圖像或其他視頻創建視頻。這使得可以創建出既真實又富有想像力的場景。
Sora 是由 OpenAI 發布的最新文本到視頻模型。它可以生成長達一分鐘的視頻，完全遵循用戶的提示，同時保持視覺質量。OpenAI 的願景宏大。與典型的標榜口號如 '每個人都是導演/藝術家' 的公司不同，OpenAI 致力於開發 AGI 和世界模擬器，以幫助人們解決需要與現實世界互動的問題。
作為一個令人印象深刻的強大新一代視頻生成模型，Sora正在為AI視頻創作的新時代鋪平道路！
Sora 的官方網站: https://openai.com/sora
如何使用 Sora 生成視頻？
目前，OpenAI 尚未開放 Sora 進行公開測試，也沒有公開的渠道進行測試版測試。然而，我們相信在不久的將來，我們都將能夠方便地體驗這款令人驚嘆的新模型。敬請期待！
Sora 有哪些功能？（門外漢版本）
以下是 Sora 模型的一些精煉特點。
- 最大的模型支援生成長達 60 秒的高保真度影片；
- 它支援對短影片進行向前和向後的擴展，同時保持連貫性並延長持續時間；
- 它支援基於影片 + 文本的影片編輯，允許單句改變原始影片，徹底改變影片編輯的邏輯；
- 影片信息被壓縮成時空補丁，並使用擴散-變壓器結構進行建模；
- 由於將影片信息壓縮成時空補丁，支援直接生成不同大小、時間和解析度的影片；
- Dalle3 用於精細的影片文本標註，並訓練模型將簡短提示擴展為複雜文本以生成影片；
- 在物理交互方面仍存在一些缺陷，例如無法生成破碎的玻璃或雪地上的腳印；
- 雖然未提及是否使用物理引擎，但可能已在數據收集中使用。
Sora 的特點是什麼？（專家版本）
統一的視覺數據表示
研究人員將所有類型的視覺數據轉換為統一的表示形式，用於大規模生成模型訓練。Sora 使用視覺補丁作為其表示形式，類似於大型語言模型（LLMs）中的文本標記。
影片壓縮網路
研究人員已經訓練了一個網絡，將原始視頻壓縮成低維度的潛在空間，並將其表示分解為時空補丁。Sora在這個壓縮的潛在空間中接受訓練並生成視頻。
擴散模型
Sora 是一種擴散模型，通過預測原始的 '乾淨' 補丁，從輸入的噪音補丁生成視頻。擴散模型在語言建模、計算機視覺和圖像生成方面展現了顯著的可擴展性。
影片生成的可擴展性
Sora 可以生成不同解析度、持續時間和長寬比的影片，包括全高清影片。這種靈活性使 Sora 能夠直接為不同設備生成內容，或在生成全解析度影片之前快速製作原型內容。
語言理解
為了訓練一個文本到視頻生成系統，需要大量的視頻和相應的文本標題。研究人員應用了DALL·E 3中介紹的重新描述技術，首先訓練了一個高度描述性的標題生成器，然後為訓練集中的所有視頻生成文本標題。
圖像和視頻編輯
Sora 可以根據文字提示生成視頻，也可以根據現有圖像或視頻生成提示。這使得 Sora 能夠執行各種圖像和視頻編輯任務，例如創建完美循環視頻，為靜態圖像添加動畫，向前或向後延長視頻等。
模仿能力
當視頻模型在大規模訓練時，它們展現出一些有趣的新能力，使 Sora 能夠模擬物理世界的某些方面，如動態攝像機運動、長期一致性和對象持久性。
討論
儘管 Sora 在模擬器方面展現了潛力，但仍存在許多限制，例如在模擬基本物理互動（如玻璃破碎）方面缺乏準確性。研究人員認為，持續擴展視頻模型是發展物理和數位世界模擬器的有前途途徑。