Sora是一個(gè)以視頻生成為核心的多能力模型，具備以下能力：

• 文/圖生成視頻

• 視頻生成視頻

• 1分鐘超長(zhǎng)高質(zhì)量視頻生成

• 視頻裂變多視角生成

• 準(zhǔn)工業(yè)級(jí)數(shù)字孿生游戲/科幻片等特效，物理引擎能力

1.Sora 與 Runway Gen2、Pika 等能力差異對(duì)比

1. 視頻清晰度，OpenAI Sora 默認(rèn)是 1080P，而且其它平臺(tái)大多數(shù)默認(rèn)的清晰度也都是 1080P 以下，只是在經(jīng)過(guò) upscale 等操作之后可以達(dá)到更清晰的水平。

2. Sora 開(kāi)箱即用生成60s 的時(shí)長(zhǎng)視頻，其中視頻連接、數(shù)字世界模擬、影響世界狀態(tài)（世界交互）、運(yùn)動(dòng)相機(jī)模擬等都是此前視頻平臺(tái)或者工具中不具備的。

3. OpenAI Sora 模型還可以直接生成圖片，它是一個(gè)以視頻生成為核心的多能力模型。

2. Sora技術(shù)突破點(diǎn)

sora 是一個(gè)以 latent、transformer、diffusion 為三個(gè)關(guān)鍵點(diǎn)的模型。

• 官網(wǎng)案例展示

  

  世界模型和物理引擎是虛擬現(xiàn)實(shí)（VR）和計(jì)算機(jī)圖形學(xué)中的兩個(gè)關(guān)鍵概念。世界模型是描述虛擬環(huán)境的框架，包括場(chǎng)景、對(duì)象、光照等元素，用于呈現(xiàn)虛擬世界的外觀和感覺(jué)。物理引擎則是用于模擬和計(jì)算物體之間的物理運(yùn)動(dòng)和互動(dòng)，如重力、碰撞、摩擦等。簡(jiǎn)而言之，世界模型是虛擬環(huán)境的靜態(tài)描述，而物理引擎則負(fù)責(zé)模擬虛擬環(huán)境中物體的動(dòng)態(tài)行為。它們共同作用于虛擬現(xiàn)實(shí)技術(shù)中，為用戶提供沉浸式的體驗(yàn)。

  世界模型要求更高，這包括對(duì)復(fù)雜場(chǎng)景和物理效果的處理能力、提高在新環(huán)境中的泛化能力、以及更好地利用先驗(yàn)知識(shí)進(jìn)行實(shí)時(shí)推理、預(yù)測(cè)和決策等。雖然 Sora 已經(jīng)能夠生成較為準(zhǔn)確的視頻內(nèi)容，但當(dāng)場(chǎng)景中涉及到多個(gè)物體的交互或復(fù)雜的物理運(yùn)動(dòng)時(shí)，Sora 可能會(huì)出現(xiàn)失誤或偏差。其次 Sora 目前主要依賴于大量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)視頻的生成規(guī)律，但這種方式可能限制了其在新環(huán)境中的泛化能力和實(shí)時(shí)決策能力。這也是目前 Sora 并非一個(gè)世界模型的原因

• 模擬器實(shí)例化了兩種精美的 3D 資產(chǎn)：具有不同裝飾的海盜船。 Sora 必須在其潛在空間中隱式地解決文本到 3D 的問(wèn)題。

• 3D 對(duì)象在航行并避開(kāi)彼此路徑時(shí)始終保持動(dòng)畫效果。

• 咖啡的流體動(dòng)力學(xué)，甚至是船舶周圍形成的泡沫。流體模擬是計(jì)算機(jī)圖形學(xué)的一個(gè)完整子領(lǐng)域，傳統(tǒng)上需要非常復(fù)雜的算法和方程。

• 照片寫實(shí)主義，幾乎就像光線追蹤渲染一樣。

• 模擬器考慮到杯子與海洋相比尺寸較小，并應(yīng)用移軸攝影來(lái)營(yíng)造 “微小” 的氛圍。

• 場(chǎng)景的語(yǔ)義在現(xiàn)實(shí)世界中并不存在，但引擎仍然實(shí)現(xiàn)了我們期望的正確物理規(guī)則。

• 提示詞：“兩艘海盜船在一杯咖啡內(nèi)航行時(shí)互相戰(zhàn)斗的逼真特寫視頻?！?/p>

  

• 提示詞：一位時(shí)尚的女人走在東京的街道上，街道上到處都是溫暖的發(fā)光霓虹燈和動(dòng)畫城市標(biāo)志。她身穿黑色皮夾克，紅色長(zhǎng)裙，黑色靴子，背著一個(gè)黑色錢包。她戴著墨鏡，涂著紅色口紅。她自信而隨意地走路。街道潮濕而反光，營(yíng)造出五顏六色的燈光的鏡面效果。許多行人四處走動(dòng)

  

  視頻鏈接：https://live.csdn.net/v/364231

• 自主創(chuàng)建多個(gè)視角的視頻

從 Sora 模型的技術(shù)報(bào)告中，我們可以看到 Sora 模型的實(shí)現(xiàn)，是建立在 OpenAI 一系列堅(jiān)實(shí)的歷史技術(shù)工作的沉淀基礎(chǔ)上的包括不限于視覺(jué)理解（Clip），Transformers 模型和大模型的涌現(xiàn)（ChatGPT），Video Caption（DALL·E 3）

2.1 核心點(diǎn)1：視頻壓縮網(wǎng)絡(luò)

patches 是從大語(yǔ)言模型中獲得的靈感，大語(yǔ)言模型范式的成功部分得益于使用優(yōu)雅統(tǒng)一各種文本模態(tài)（代碼、數(shù)學(xué)和各種自然語(yǔ)言）的 token。大語(yǔ)言模型擁有文本 token，而 Sora 擁有視覺(jué)分塊（patches）。OpenAI 在之前的 Clip 等工作中，充分實(shí)踐了分塊是視覺(jué)數(shù)據(jù)模型的一種有效表示（參考論文：An image is worth 16x16 words: Transformers for image recognition at scale.）這一技術(shù)路線。而視頻壓縮網(wǎng)絡(luò)的工作就是將高維度的視頻數(shù)據(jù)轉(zhuǎn)換為 patches，首先將視頻壓縮到一個(gè)低緯的 latent space，然后分解為 spacetime patches。

難點(diǎn)：視頻壓縮網(wǎng)絡(luò)類比于 latent diffusion model 中的 VAE，但是壓縮率是多少，如何保證視頻特征被更好地保留，還需要進(jìn)一步的研究。

2.2 核心點(diǎn)2：長(zhǎng)視頻的 scaling transformer

給定輸入的噪聲塊 + 文本 prompt，它被訓(xùn)練來(lái)預(yù)測(cè)原始的 “干凈” 分塊。重要的是，Sora 是一個(gè) Scaling Transformers。Transformers 在大語(yǔ)言模型上展示了顯著的擴(kuò)展性，

難點(diǎn)：能夠 scaling up 的 transformer 如何訓(xùn)練出來(lái)，對(duì)第一步的 patches 進(jìn)行有效訓(xùn)練，可能包括的難點(diǎn)有 long context（長(zhǎng)達(dá) 1 分鐘的視頻）的支持、期間 error accumulation 如何保證比較低，視頻中實(shí)體的高質(zhì)量和一致性，video condition，image condition，text condition 的多模態(tài)支持等。

2.3 核心點(diǎn)3：Video recaption

視頻摘要 / 視頻字母生成屬于多模態(tài)學(xué)習(xí)下的一個(gè)子任務(wù)，大體目標(biāo)就是根據(jù)視頻內(nèi)容給出一句或多句文字描述。所生成的 caption 可用于后續(xù)的視頻檢索等等，也可以直接幫助智能體或者有視覺(jué)障礙的人理解現(xiàn)實(shí)情況。通過(guò)這樣的高質(zhì)量的訓(xùn)練數(shù)據(jù)，保障了文本（prompt）和視頻數(shù)據(jù)之間高度的 align。Sora 還使用 DALL·E 3 的 recaption技巧，即為視覺(jué)訓(xùn)練數(shù)據(jù)生成高度描述性的 caption，這讓 Sora 能夠更忠實(shí)地遵循生成視頻中用戶的文本指令，而且會(huì)支持長(zhǎng)文本，這個(gè)應(yīng)該是 OpenAI 獨(dú)有的優(yōu)勢(shì)。在生成階段，Sora 會(huì)基于 OpenAI 的 GPT 模型對(duì)于用戶的 prompt 進(jìn)行改寫，生成高質(zhì)量且具備很好描述性的高質(zhì)量 prompt，再送到視頻生成模型完成生成工作。caption 訓(xùn)練數(shù)據(jù)都匱乏：

1. 一方面，圖像常規(guī)的文本描述往往過(guò)于簡(jiǎn)單（比如 COCO 數(shù)據(jù)集），它們大部分只描述圖像中的主體而忽略圖像中其它的很多信息，比如背景，物體的位置和數(shù)量，圖像中的文字等。

2. 另外一方面，目前訓(xùn)練文生圖的圖像文本對(duì)數(shù)據(jù)集（比如 LAION 數(shù)據(jù)集）都是從網(wǎng)頁(yè)上爬取的，圖像的文本描述其實(shí)就是 alt-text，但是這種文本描述很多是一些不太相關(guān)的東西，比如廣告。

技術(shù)突破：訓(xùn)練一個(gè) image captioner 來(lái)合成圖像的 caption，合成 caption 與原始 caption 的混合比例高達(dá) 95%：5%；但是不過(guò)采用 95% 的合成長(zhǎng) caption 來(lái)訓(xùn)練，得到的模型也會(huì) “過(guò)擬合” 到長(zhǎng) caption 上，如果采用常規(guī)的短 caption 來(lái)生成圖像，效果可能就會(huì)變差。為了解決這個(gè)問(wèn)題，OpenAI 采用 GPT-4 來(lái) “upsample” 用戶的 caption，下面展示了如何用 GPT-4 來(lái)進(jìn)行這個(gè)優(yōu)化，不論用戶輸入什么樣的 caption，經(jīng)過(guò) GPT-4 優(yōu)化后就得到了長(zhǎng) caption：

難點(diǎn)：這項(xiàng)技術(shù)并不新，難的是積累，即便是合成數(shù)據(jù)也需要大量的專業(yè)標(biāo)注和評(píng)測(cè)?！按蟆?模型，“高” 算力，“海量” 數(shù)據(jù)

更多內(nèi)容見(jiàn)：探索AI視頻生成新紀(jì)元：文生視頻Sora VS RunwayML、Pika及StableVideo——誰(shuí)將引領(lǐng)未來(lái)：https://blog.csdn.net/sinat_39620217/article/details/136171409

3.sora存在不足

1. 物理交互邏輯錯(cuò)誤：Sora 有時(shí)會(huì)創(chuàng)造出物理上不合理的動(dòng)作； Sora 模型在模擬基本物理交互，如玻璃破碎等方面，不夠精確。這可能是因?yàn)槟Ｐ驮谟?xùn)練數(shù)據(jù)中缺乏足夠的這類物理事件的示例，或者模型無(wú)法充分學(xué)習(xí)和理解這些復(fù)雜物理過(guò)程的底層原理

2. 對(duì)象狀態(tài)變化的不正確：在模擬如吃食物這類涉及對(duì)象狀態(tài)顯著變化的交互時(shí)，Sora 可能無(wú)法始終正確反映出變化。這表明模型可能在理解和預(yù)測(cè)對(duì)象狀態(tài)變化的動(dòng)態(tài)過(guò)程方面存在局限。

3. 復(fù)雜場(chǎng)景精確性丟失：模擬多個(gè)對(duì)象和多個(gè)角色之間的復(fù)雜互動(dòng)會(huì)出現(xiàn)超現(xiàn)實(shí)結(jié)果； 長(zhǎng)時(shí)視頻樣本的不連貫性：在生成長(zhǎng)時(shí)間的視頻樣本時(shí)，Sora 可能會(huì)產(chǎn)生不連貫的情節(jié)或細(xì)節(jié)，這可能是由于模型難以在長(zhǎng)時(shí)間跨度內(nèi)保持上下文的一致性 ； 對(duì)象的突然出現(xiàn)：視頻中可能會(huì)出現(xiàn)對(duì)象的無(wú)緣無(wú)故出現(xiàn)，這表明模型在空間和時(shí)間連續(xù)性的理解上還有待提高

4.文生視頻prompt優(yōu)化

視頻	官方提示詞	優(yōu)化
	逼真的特寫視頻，展示兩艘海盜在一杯咖啡內(nèi)航行時(shí)互相爭(zhēng)斗的情況。	Context：一杯啡內(nèi)的微型世界。 Persona: 兩艘海盜船。 Goal: 展示海盜船在咖桿內(nèi)的逼真爭(zhēng)斗場(chǎng)景。 Constraints：視頻應(yīng)突出海盜船的細(xì)節(jié)和動(dòng)態(tài)，以及咖啡的紋理作為背景。 Steps:設(shè)定場(chǎng)景為充滿咖啡的杯子，咖啡表面作為海洋。描述海盜船：兩艘細(xì)致的海盜船在咖啡 “海洋” 中航行和爭(zhēng)斗。強(qiáng)調(diào)特寫頭：使用特寫鏡頭視角捕捉海盜船的動(dòng)態(tài)和咖啡的紋理。展現(xiàn)爭(zhēng)斗細(xì)爺：海盜船回的交火，船上海盜的動(dòng)作。 Examples: 相似效果鏈接 Template：cssCopy Code [場(chǎng)景描述] 在一桿充滿就的杯子中，咖啡表面波動(dòng)著仿佛一個(gè)微型的海洋。 [人物描述] 兩艘裝備精良的海盜船在這杯咖啡的海洋中航行，互相展開(kāi)烈的爭(zhēng)斗。 [目標(biāo)] 透過(guò)逼真的特寫鏡頭展現(xiàn)海盜船在咖啡杯子內(nèi)互相爭(zhēng)斗的壯場(chǎng)景。 [約束條件] 注意捕浞海盜的細(xì)節(jié)和動(dòng)態(tài)，以及咖啡作為背景的紋理和波動(dòng)
	一位時(shí)尚女性走在充滿溫暖霓虹燈和動(dòng)畫城市標(biāo)牌的東京街道上。她穿著黑色皮夾克紅色長(zhǎng)裙和黑色子，拎黑色錢包。她戴著太陽(yáng)墨鏡涂著紅色囗紅。她走路自信又隨意。街道潮濕且反光，在影色燈光的照射下形成鏡面效果。許多行人走來(lái)走去。	Context: 一條充滿活力的東京街道在夜晚燈火通明，霓虹燈和動(dòng)畫廣告牌交織成一道道流光溢彩的光帶。細(xì)雨過(guò)后的街道濕潤(rùn)且反光，在多彩的燈光照射下形成迷人的鏡面效果。許多行人在這燈光閃爍的夜色中來(lái)往匆匆。 Persona: 一位時(shí)尚女性身著黑色皮夾克，搭配鮮艷的紅色長(zhǎng)裙和黑色靴子，手拎一只黑色錢包。她戴著太陽(yáng)鏡，嘴唇涂抹著紅色口紅，走路自信又灑脫。 Goal: 展示這位時(shí)尚女性在霓虹燈光點(diǎn)綴的東京夜晚中自信與風(fēng)采。 Constraints: 視覺(jué)應(yīng)該突出夜晚的霓虹燈光效果，反映出潮濕街道的反光效果，以及人物的時(shí)尚裝扮，強(qiáng)調(diào)人物的自信步伐和隨性的走路風(fēng)格。- Steps:： 1.設(shè)定場(chǎng)景為東京的一個(gè)夜晚街道，由霓虹燈照明。 2.描述人物：一位穿著黑色皮夾克、紅色長(zhǎng)裙和黑色靴子的時(shí)尚女性，手拿黑色錢包，戴著太陽(yáng)鏡并涂有紅色口紅。 3.強(qiáng)調(diào)人物的自信步伐和隨性的走路風(fēng)格。 4.描述環(huán)境：潮濕的街道在燈光下反射，周圍有行人。示例: 提供一段描述或者圖片，展示類似場(chǎng)景的效果。 Template：cssCopy Code： [場(chǎng)景描述] 在一個(gè)充滿活力的街道上，霓虹燈的彩光波動(dòng)著，仿佛一個(gè)微型的夜晚海洋。 [人物描述] 一位時(shí)尚女性在這條街道上自信地行走，她的黑夾克和紅裙在燈光下顯得格外搶眼。 [目標(biāo)] 通過(guò)鮮明的場(chǎng)景描述，展現(xiàn)時(shí)尚女性在霓虹燈光下的自信與風(fēng)采。 [約束條件] 注重捕捉人物裝扮的細(xì)節(jié)和動(dòng)態(tài)，以及潮濕街道作為背景的紋理和反光。

5.Sora的出現(xiàn)以及AI的出現(xiàn)會(huì)對(duì)程序員產(chǎn)生什么影響呢

• 積極影響：

• 提高編程效率：AI工具可以自動(dòng)化一些繁瑣的編程任務(wù)，如代碼檢查、代碼重構(gòu)等，從而減少了程序員的工作量，提高了編程效率。同時(shí)，Sora文生視頻也為程序員提供了更加高效和智能的視頻開(kāi)發(fā)工具，可以加快開(kāi)發(fā)速度。

• 改善代碼質(zhì)量：AI工具可以幫助程序員發(fā)現(xiàn)代碼中的缺陷和潛在問(wèn)題，提高代碼的質(zhì)量和可靠性。這對(duì)于保證軟件質(zhì)量和用戶體驗(yàn)至關(guān)重要。

• 促進(jìn)編程教育：AI工具和Sora文生視頻可以為編程初學(xué)者提供更加友好的編程環(huán)境和工具，使得編程教育更加容易上手和有趣，從而吸引更多的人加入編程領(lǐng)域。

• 提供更多創(chuàng)新機(jī)會(huì)：AI工具可以為程序員提供更多的靈感和創(chuàng)意，幫助他們創(chuàng)造出更加優(yōu)秀的程序。同時(shí)，Sora文生視頻也為程序員提供了更多的應(yīng)用場(chǎng)景和市場(chǎng)需求，從而激發(fā)他們的創(chuàng)新熱情。

• 負(fù)面影響：

• 職業(yè)競(jìng)爭(zhēng)壓力增加：隨著AI技術(shù)的發(fā)展，一些簡(jiǎn)單的編程任務(wù)可能會(huì)被自動(dòng)化工具所取代，這就要求程序員需要不斷學(xué)習(xí)和掌握新的技能，以適應(yīng)技術(shù)變革的需要。這可能會(huì)導(dǎo)致職業(yè)競(jìng)爭(zhēng)壓力增加，一些技能不足的程序員可能會(huì)面臨失業(yè)的風(fēng)險(xiǎn)。

• 道德和倫理挑戰(zhàn)：AI工具的發(fā)展和應(yīng)用也帶來(lái)了一些道德和倫理問(wèn)題，如數(shù)據(jù)隱私、算法公平性等。程序員需要關(guān)注這些問(wèn)題，并在開(kāi)發(fā)過(guò)程中遵守相關(guān)的法律法規(guī)和道德規(guī)范。

6.Sora 技術(shù)原理全解析&小結(jié)

OpenAI 的研究論文《Video generation models as world simulators》探討了在視頻數(shù)據(jù)上進(jìn)行大規(guī)模訓(xùn)練生成模型的方法。這項(xiàng)研究特別關(guān)注于文本條件擴(kuò)散模型，這些模型同時(shí)在視頻和圖像上進(jìn)行訓(xùn)練，處理不同時(shí)長(zhǎng)、分辨率和寬高比的數(shù)據(jù)。研究中提到的最大模型 Sora 能夠生成長(zhǎng)達(dá)一分鐘的高保真視頻。以下是論文的一些關(guān)鍵點(diǎn)：

1. 統(tǒng)一的視覺(jué)數(shù)據(jù)表示：研究者們將所有類型的視覺(jué)數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的表示，以便進(jìn)行大規(guī)模的生成模型訓(xùn)練。Sora 使用視覺(jué)補(bǔ)?。╬atches）作為其表示方式，類似于大型語(yǔ)言模型（LLM）中的文本標(biāo)記。

2. 視頻壓縮網(wǎng)絡(luò)：研究者們訓(xùn)練了一個(gè)網(wǎng)絡(luò)，將原始視頻壓縮到一個(gè)低維潛在空間，并將其表示分解為時(shí)空補(bǔ)丁。Sora 在這個(gè)壓縮的潛在空間中進(jìn)行訓(xùn)練，并生成視頻。

3. 擴(kuò)散模型：Sora 是一個(gè)擴(kuò)散模型，它通過(guò)預(yù)測(cè)原始“干凈”的補(bǔ)丁來(lái)從輸入的噪聲補(bǔ)丁中生成視頻。擴(kuò)散模型在語(yǔ)言建模、計(jì)算機(jī)視覺(jué)和圖像生成等領(lǐng)域已經(jīng)顯示出了顯著的擴(kuò)展性。

4. 視頻生成的可擴(kuò)展性：Sora 能夠生成不同分辨率、時(shí)長(zhǎng)和寬高比的視頻，包括全高清視頻。這種靈活性使得 Sora 能夠直接為不同設(shè)備生成內(nèi)容，或者在生成全分辨率視頻之前快速原型化內(nèi)容。

5. 語(yǔ)言理解：為了訓(xùn)練文本到視頻生成系統(tǒng)，需要大量的視頻和相應(yīng)的文本標(biāo)題。研究者們應(yīng)用了在 DALL·E 3 中引入的重新描述技術(shù)，首先訓(xùn)練一個(gè)高度描述性的標(biāo)題生成器，然后為訓(xùn)練集中的所有視頻生成文本標(biāo)題。

6. 圖像和視頻編輯：Sora 不僅能夠基于文本提示生成視頻，還可以基于現(xiàn)有圖像或視頻進(jìn)行提示。這使得 Sora 能夠執(zhí)行廣泛的圖像和視頻編輯任務(wù)，如創(chuàng)建完美循環(huán)的視頻、動(dòng)畫靜態(tài)圖像、向前或向后擴(kuò)展視頻等。

7. 模擬能力：當(dāng)視頻模型在大規(guī)模訓(xùn)練時(shí)，它們展現(xiàn)出了一些有趣的新興能力，使得 Sora 能夠模擬物理世界中的某些方面，如動(dòng)態(tài)相機(jī)運(yùn)動(dòng)、長(zhǎng)期一致性和對(duì)象持久性等。

盡管 Sora 展示了作為模擬器的潛力，但它仍然存在許多局限性，例如在模擬基本物理交互（如玻璃破碎）時(shí)的準(zhǔn)確性不足。研究者們認(rèn)為，繼續(xù)擴(kuò)展視頻模型是開(kāi)發(fā)物理和數(shù)字世界模擬器的有前途的道路。
這篇論文提供了對(duì) Sora 模型的深入分析，展示了其在視頻生成領(lǐng)域的潛力和挑戰(zhàn)。通過(guò)這種方式，OpenAI 正在探索如何利用 AI 來(lái)更好地理解和模擬我們周圍的世界。

本文作者：汀、人工智能，轉(zhuǎn)自https://www.cnblogs.com/ting1/p/18023416