Sora开创视频生成新纪元
OpenAI近日发布了其首款文本生成视频模型Sora，视频内容创作进入一个崭新的时代。
Sora的亮点在于其能够根据文本指令生成长达60秒的高清视频，还能够创造出从多个角度拍摄的单视频，且视频中的角色及背景人物均表现出惊人的一致性和细节精准度。
一位时尚的女士穿行在东京的街头：
从大中景的无缝切换到脸部特写，角色的情感表达和场景的复杂度，都展现了Sora对语言的深刻理解和现实世界表现形式的精确把握。
这在以往的AI视频工具中是前所未有的。相比于其他工具如Runway Gen 2和Pika仅能处理短暂几秒视频的连贯性，Sora的这些突破可谓是历史性的。
突破极限视频长度
在AI视频制作领域，大多数工具如Runway Gen 2和Pika仍在努力实现几秒钟视频的连贯性。然而，OpenAI的Sora模型轻易地将这一界限推进到了惊人的60秒，实现了前所未有的长时视频生成。这不仅令人震惊，而且彻底改写了视频内容创作的规则。
再来一个长镜头，维多利亚冠鸽长特写镜头：
Sora不仅在视频长度上实现了质的飞跃，其生成的视频内容在稳定性和连贯性方面也达到了新高。无论是主角还是背景人物，都能在视频中保持惊人的一致性。更令人赞叹的是，Sora能够根据文本指令精确创造出复杂的场景，包括多个角色、特定的动作，以及对细节的精确描绘，如人物的瞳孔、睫毛和皮肤纹理，都逼真到让人难以区分虚拟与现实。
比如，一位六十多岁、头发灰白、留着胡须的男士的特写镜头：
又比如，一位24岁女性的眼睛大特写：
多镜头角度视觉革命
OpenAI的Sora模型在视频生成领域还实现了另一突破：单视频多角度镜头的创造。
以往的AI视频工具仅能从单一视角生成内容，而Sora却能在同一视频中实现多角度的镜头切换，保持着物体和角色的完美一致性。这种能力在之前是难以想象的。
比如这个电影预告片，讲述一个30岁太空人的冒险故事：
又比如这片折纸珊瑚海：
Sora通过对语言的深入理解，准确解释提示词，实现了无缝的多镜头切换。每个分镜的应用都极其讲究，显示了其在视觉风格和角色一致性保持上的高级技巧。
世界模型探索物理世界
OpenAI的视频模型Sora不仅在视频生成技术上取得了革命性进步，而且在理解和模拟物理世界方面也展现出了惊人的能力。
Sora通过分析和学习大量数据，已经开始掌握了物理规律，这在AI领域是一个重大的突破。相比于其他尝试中的世界模型，Sora展示了其在理解真实世界互动问题上的潜力。
比如，在雪地中玩耍的小狗狗：
收集和清洗数据是构建世界模型中最具挑战性的任务之一，但Sora似乎找到了解决这一难题的方法。通过观察大量的视频数据，Sora学会了许多关于世界的物理规律。
Sora所展示的能力，如根据文本提示生成不仅具有多个角色且包含特定运动的复杂场景，进一步证明了其对物理世界的理解。这一进步意味着Sora不仅能按照用户的指令创造视频，还能确保视频中的对象在物理上是准确的。
比如这个中国新年舞龙场景：
又比如这辆白色的复古SUV行驶在山间：
研究科学家Tim Brooks的评论凸显了Sora的独特之处：它能学习3D几何形状和一致性的知识，并且这种学习是自发的，不需要预先设定的规则。这表明Sora不仅是一个视频生成工具，而是一个正在逐步理解我们物理世界的先进AI模型。这和之前我介绍的SVD的观点是一致的。
局限与弱点
尽管Sora在视频生成领域取得了显著进步，OpenAI公开承认其模型仍面临一些关键弱点。
一个主要挑战是Sora在模拟复杂场景时对物理原理的准确性不足，以及在理解特定情境下因果关系的能力上的限制。
比如凭空生出的小狼：
奶奶吹蜡烛但焰火不动：
除此之外，Sora在处理空间细节，如正确区分场景中的左右方向，以及描述随时间发生变化的事件，比如摄影机的动作轨迹时，也可能表现出不足。
比如在跑步机上倒着跑步：
这些局限性揭示了当前AI视频生成技术的边界，同时也指出了未来研究和开发的方向，特别是在提高模型对复杂物理场景理解和因果逻辑处理的精确度方面。
结语：Sora重塑视觉创作
随着Sora模型的推出，一批视觉艺术家、设计师、电影制作人，以及OpenAI的员工开始探索其潜力，通过发布他们的创新作品，展示Sora在视觉艺术和视频制作领域的巨大潜力。
甚至OpenAI的CEO Sam Altman也加入了这一行列，不仅在社交媒体上大力推广Sora，还亲自参与视频生成的挑战，回应网友的prompt请求，显示了Sora对于创意表达的无限可能。
发挥你的想象力，微距摄影下的禅院小人：
亦或是咖啡杯里上演的海盗大战：
这也表明Sota离发布就差几个安全审查了。Sora的发展进入了一个新的阶段，接近于成为一个成熟的产品，尽管还需完成一些安全性的工作。
它不仅预示着AI视频行业的巨大变革，也对传统影视制作行业形成了挑战。业内专家张启煊的评价，“Sora是目前看到的唯一真正的视频生成工作”，凸显了Sora与现有其他AI视频技术之间的巨大差异，以及它在视频生成领域的领导地位。
Sora的推出不仅是技术的突破，更是对未来视觉内容创作方式的重新定义。它使得制作高质量视频内容不再需要昂贵的设备或专业知识，从而彻底改变了社交平台上的内容创作。如此一来，Sora不仅为专业人士提供了强大的工具，也为普通用户打开了创作高质量视觉内容的大门，预示着一个全新的创作时代的到来。
OpenAI已经发布Sora技术细节，我将在之后的文章中详细介绍。
本文链接：https://www.awyerwu.com/13299.html ,转载需注明文章链接来源：https://www.awyerwu.com/
