2022年底，OpenAI推出人工智能聊天机器人ChatGPT，开启了大模型领域的“竞速跑”模式。2024年2月15日，随着视频生成模型Sora的横空出世，OpenAI再度掀起热潮。


　　Sora将视频生成内容拉到了一个全新的高度，逼真的视频效果刷新了社会对AI能力边界的认知。它的问世，就如同一枚深水炸弹，瞬间引爆全球科技圈。


　　不少业内人士直言，Sora的到来标志着一次质的飞跃。英国皇家工程院国际院士、欧洲科学院院士许彬（Pan Hui）在接受《每日经济新闻》记者采访时表示，“目前Sora在视频生成品质上面绝对是无可匹敌的。Sora生成的视频可以从小特写切大全景，变换不同的机位。”


　　值得注意的是，文生视频大模型并不是一条全新的赛道。为了更直观地呈现Sora的文生视频能力，《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词，对Pika、Runway和PixVerse的文生视频能力进行了测试，并将生成结果与Sora视频进行了对比，测试场景涉及人物特写、电影预告片等5类。


　　对比结果显示，Sora在生成长度、连贯性和视觉细节方面表现出明显的优势，几乎实现了“降维打击”。


　　从ChatGPT到Sora，为何OpenAI能连续打造出“王炸级神器”？


　　加州大学伯克利分校计算机科学 PHD、知乎作者SIY.Z分析称，“如果必须用一个词来展现OpenAI最核心的技术，我觉得是scaling law——即怎么样保证模型越大，数据越多，效果就越好。”从文本生成模型 GPT、文生图模型 DALL·E，到文生视频模型 Sora，OpenAI或许已经打造出了一条自己的AGI通用技术路线。


　　5大场景实测：


　　Sora在时长等4个维度上实现“降维打击”


　　2月15日，OpenAI正式发布了首款文生视频大模型Sora。演示视频一经发布迅速引发业内热议，部分网友更是哀嚎，“要失业了”。


　　华大集团CEO尹烨在一篇文章中写道，“从这一刻，可拟合更多真实物理定律的数字孪生世界走进了人类社会。我愿意将其类比为，开启了AI发展的牛顿时代。”


　　Sora的文生视频能力到底有何突出之处？


　　由于Sora并未开放测试账号，因此《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词，在街头、卡通动画、人物特写、动物特写以及电影预告片这5大场景下对同类模型Runway、Pika和Pixverse进行了效果测试。同时，将OpenAI官方公布的Sora视频与前述3个文生视频大模型进行了对比。


　　效果测试对比发现，Sora在生成视频的时长、连贯性和视觉细节方面表现出明显的优势，几乎达到“吊打”的程度。


　　英国皇家工程院国际院士、欧洲科学院院士许彬（Pan Hui）在接受《每日经济新闻》记者采访时也表示，“Sora的核心优势可以总结为，生成高清晰度的长视频。不论是清晰度，还是时长，目前都是第一。OpenAI更专注在照片写实主义的技术，虽然现在去讨论它会否引领新浪潮可能为之尚早，但是目前Sora在视频生成品质上面绝对是无可匹敌的。”


　　不过，需要说明的是，本次效果对比仅基于5个场景下的提示词，场景和提示词的数量均较为有限，并且不同模型生成的结果可能存在随机性。


　　一位技术从业者也向每经记者表示，尽管Sora与其他文生视频大模型的结果对比非常强烈，但不排除Sora的视频是OpenAI多次生成后选取最好的一条予以发布，因此展示效果更优。


El2SPz91MAibSuSIVN5pFhRsqr6LDxnA3Mm3ebicuuLDCibgnT5vJrooWgk9jI7206akUXqXp6jFwhhzoadGYAoUA.png

　　（1）更长的视频时长


　　在与Runway、Pika和PixVerse的对比中，Sora生成的视频平均长度将近16秒，最长达到20秒，而相比之下，其他三个模型生成的视频长度均在3~4秒左右。Sora最长可以生成长达一分钟的视频，这使得Sora能够更完整地呈现视频内容，使其更适合制作短片、广告和其他应用。


　　（2）更强的视频连贯性


　　Sora生成的视频具有无缝过渡、自然的摄像机移动和流畅的角色动画，增强了整体观看体验。而相比之下，其他模型制作的视频经常会出现场景突变、画面不流畅等问题，影响观看体验。


　　许彬表示，“Sora可以改变视频的视角。Sora生成的视频，可以像一镜到底一样，从小特写切大全景，变换不同的机位，但是保证画面中的人物/物品。同时，（Sora生成的视频中）物体的一致性很强。一致性一向是在视频生成的领域里比较挑战性的一环，而Sora在此方向表现很好。”


　　（3）更丰富的视觉细节


　　此外，每经记者发现，Sora生成的视频视觉细节丰富，物体纹理清晰，色彩逼真，整体视频质量更高。相比之下，其他模型生成的视频通常显得模糊、细节不足、色彩不那么鲜艳。


　　例如，在生成的“女人眨眼睛”的视频中，Sora对女性眼部的特写十分到位，从眉毛、睫毛、眼皮褶皱、眼袋、卧蚕和细纹的细节来看，已经达到以假乱真的效果。


El2SPz91MAibSuSIVN5pFhRsqr6LDxnA3W1xEDBNQicyhDyAjCPVD3xFqqxdZM1ibbNvK22cy16sEm6ssNd3XlLpg.jpg

　　（4）更能满足不同的场景


　　从上述5大不同场景的呈现效果不难看出，Sora明显更能够满足不同创作者的需求，无论是创作科幻场景、动画人物，还是模拟真实场景，都可以轻松实现。


　　华鑫证券研报称，Sora的核心技术是基于OpenAI在自然语言处理和图像生成方面的深厚积累，与Runway、Pika等相比，Sora在视频生成的真实感、细节表现上均具标志性价值。AI视频生成虽不是新事，但Sora的推出有望推高AI多模态的热度，可关注AI多模态应用塑造数字内容生产与交互新范式，赋能视觉行业，从文字、3D生成、动画、电影、图片、视频、剧集等方面，有望带来内容消费市场的繁荣发展。


　　从GPT到Sora，OpenAI打通AGI技术栈


　　从Sora身上，可以看到OpenAI沿袭了过往大语言模型训练的许多成功经验。


　　Sora视频的逼真和连贯程度着实令人惊叹，而帮助Sora实现能力飞跃的是该模型的两项核心突破。


　　首先在底层架构上，Sora采用的Diffusion Transformer（DiT，或扩散型 Transformer）架构。


　　OpenAI的文本模型，例如GPT-4，就是采用的Transformer模型，传统的文本到视频模型通常是扩散模型（Diffusion Model），Sora采用的DiT架构则融合了GPT和传统的扩散模型架构。


　　从OpenAI官网公布的Sora技术报告中可以发现，Sora采用的DiT架构的理论基础是一篇名为Scalable diffusion models with transformers的学术论文。该篇论文是2022年12月由伯克利大学研究人员、现Sora团队技术领导William (Bill) Peebles和纽约大学研究人员谢赛宁共同发表。


　　在Sora发布后，谢赛宁在X平台上写道，“当Bill和我参与DiT项目时，我们并未专注于创新，而是将重点放在了两个方面：简洁性（Simplicity）和可扩展性（Scalability）”。他表示，“可扩展性是论文的核心主题，优化的DiT架构的运行速度比UNet（传统文本到视频模型的技术路线）快得多。更重要的是，Sora证明了DiT缩放定律不仅适用于图像，现在也适用于视频——Sora复制了DiT中观察到的视觉缩放行为。”



　　其次，Spacetime Patch也是Sora创新的核心之一。在这一点上，Sora的设计思路和GPT-4也是一致的。


　　Patch可以理解为Sora的基本单元，Patch是视频的片段，一个视频可以理解不同Patch按照一定序列组织起来的。就像GPT-4 的基本单元是Token，而Token是文字的片段。GPT-4被训练以处理一串Token，并预测出下一个Token。Sora遵循相同的逻辑，可以处理一系列的Patch，并预测出序列中的下一个Patch。


　　许彬向记者解释，“把视频数据变成一个个小块（patches），让模型对图像的理解能够像文字一样。参考过往GPT的表现，GPT对文本的语义理解水平非常细腻，将同样的原理应用在视频上，可以增加数据的灵活性以及模型最后的表达能力。”