全球首款实时生成游戏Oasis

爱玩的蛋哥 2024-11-06 09:06:17
一、Oasis 惊艳登场

这款游戏由初创公司 Decart 和 Etched 共同打造,一经推出便引发了巨大轰动。它经过了数百万小时游戏视频的训练,能够仅接收用户的键盘输入即可实时生成开放世界游戏。在没有任何延迟的情况下,Oasis 在 H100 上运行时能以 360p 的分辨率实现每秒 20 帧的渲染,并实时生成视频交互内容。其代码和 500M 参数版本的模型权重均已开源,吸引了众多开发者的关注。

Oasis 的诞生背景也值得一提。随着人工智能技术的不断发展,游戏产业也在寻求新的突破。Oasis 正是在这样的背景下应运而生,它不仅是一款游戏,更是技术创新的结晶。它的出现,让人们看到了 AI 在游戏领域的巨大潜力。

红杉资本以 2100 万美金投资 Oasis 背后的其中一家初创公司 Decart,这也充分说明了资本市场对这款游戏的看好。未来,Oasis 有望成为游戏产业的新标杆,引领游戏行业迈向新的高度。

二、独特魅力与争议并存

(一)似曾相识的体验

Oasis 一上线,就被众多玩家指出与《我的世界》极为相似。从游戏画面风格到玩法,都有着强烈的既视感。比如玩家在游戏中搭房子的体验与《我的世界》如出一辙。Oasis 的出现引发了广泛的版权争议。该项目使用了 OpenAI 的 Minecraft VPT 数据集进行训练,其中大部分数据来自《我的世界》。虽然 Oasis 声称将开源代码,但这种行为还是引发了外界对其侵权行为的质疑。有观点认为,AI 生成的游戏应该具有原创性,而不是过度借鉴现有游戏。然而,也有人认为,在技术发展的初期,借鉴是不可避免的,关键是要在后续的发展中逐渐形成自己的特色。

(二)技术亮点与短板

Oasis 有着诸多技术亮点。其能够实时生成画面,在没有游戏引擎的情况下,仅靠一个 AI 基座模型,接收用户键盘输入即可实现每秒 20 帧的渲染,为玩家带来了全新的游戏体验。自回归生成帧的技术使得游戏能够根据游戏输入调节每一帧,构成了 AI 生成的游戏实时与世界互动的基础。例如,当玩家把栅栏放在另一个栅栏旁边时,模型能够识别并完成复杂的转化,呈现出合理的画面。然而,Oasis 也存在明显的短板。首先是记忆问题,相比其强大的预测能力,Oasis 的记忆表现不佳。如画面左边的山可能会在视线转回去后消失,而类似 Sora 的模型则不会有这种明显的记忆损失。有网友猜测这是为了换取实时的推理速度而牺牲了参数数量。其次,操作困难也是一个大问题。虽然官方声称游戏操作是 0 延迟,但实际使用鼠标操控时,却感觉有一股神秘的力量影响鼠标和电脑之间的连接,点击背包物品时也容易识别错误。这些问题都影响了玩家的游戏体验。

三、诞生历程与技术探秘

(一)强强联手的成果

Etched 和 Decart AI 这两家初创公司的合作可谓是天作之合。Decart 成立于 2023 年 9 月,一直致力于提高 AI 模型的效率和降低运行成本,为 Oasis 提供了强大的训练和实时推理能力。成立仅三个月,Decart 就与一家 GPU 云服务商达成了数百万美元的交易,展现出了强大的技术实力和商业潜力。Etched 则是一家成立于 2022 年的美国人工智能芯片公司,三位核心创始人均为哈佛辍学生。他们为 Oasis 提供了算力支持,确保了游戏的实时生成和渲染。两家公司的合作,汇聚了顶尖的技术人才和创新思维,共同打造出了全球首款 AI 实时生成游戏 Oasis。

(二)技术架构详解

Oasis 基于 Transformer 的架构由空间自编码器和潜在扩散主干两部分组成。空间自编码器基于 ViT,就像工厂里负责整理和识别原材料的车间,能够对游戏画面的相关信息进行加工整理。它可以识别游戏中的各种元素,如物体、地形、角色等,并将这些信息转化为可处理的形式。潜在扩散主干基于 DiT,如同工厂的核心生产线,负责将加工处理好的信息产出游戏内容,比如游戏场景、物体等。这种架构选择保证了在 Etched 公司的 Sohu(Transformer 架构的 ASIC)芯片上的稳定扩展和快速推理,并且以自回归方式生成帧,能够根据游戏输入实时交互。

(三)创新训练方法

Oasis 采用的 Diffusion Forcing 训练方法具有独特的优势。它能够独立对每个 token 进行去噪,通过在空间注意力层之间加入额外的时间注意力层,来利用前几帧的上下文。这样可以使生成的画面更加连贯和自然。同时,Oasis 还采用了动态噪声调整的方法来解决时间稳定性问题。在推理时,噪声的强度是有计划地变化的。在前期的扩散过程中,Oasis 引入噪声以减少错误累积,然后在后期逐渐去除噪声,这样模型能够捕捉和保持之前帧中的高频细节,从而提高一致性。由于 Oasis 的模型在训练时接触过噪声,因此它能够成功处理推理时的噪声样本。这种创新的训练方法为 Oasis 的实时生成和稳定运行提供了有力的技术支持。

四、AI 游戏的未来展望

(一)Oasis 的启示

Oasis 的诞生展示了 AI 在游戏领域的巨大潜力。通过数百万小时的游戏视频训练,Oasis 能够实时生成开放世界游戏,为玩家带来全新的游戏体验。这表明,AI 可以在游戏开发中发挥重要作用,不仅可以提高游戏的开发效率,还可以为玩家提供更加丰富和个性化的游戏内容。

Oasis 的开源模式为 AI 游戏的发展提供了新的思路。开源代码和模型权重可以吸引更多的开发者参与到 AI 游戏的开发中来,促进技术的创新和进步。同时,开源模式也可以提高游戏的透明度和可信度,减少玩家对游戏版权和安全性的担忧。

0 阅读:29