子川投资笔记微信公众号：“新知”栏目，以人文视角关注AI、认知与意识、前沿科技，力图提供最新和最好的外刊文章中译；“经典”栏目，持续更新“科技人文”佳作；“巴菲特致股东信”精译及评注系列；“维特根斯坦”哲学系列；“洞见”栏目：分享关于技术进步、AI哲学与伦理、投资哲学的深度思考。
译者导读：
原文链接：https://www.microsoft.com/en-us/research/people/kahofman/
发布日期：2025年2月19日
作者：Katja Hofmann，微软研究院游戏智能团队高级首席研究经理
译文：
介绍Muse：我们首个专为游戏创意设计的生成式AI模型
今天，《自然》（Nature）期刊发表了我们最新研究成果，介绍了首个世界与人类行为模型（World and Human Action Model，WHAM）。这个被命名为"Muse"的WHAM是一个游戏生成式AI模型，能够同时生成游戏画面和自动操作手柄。
（https://www.nature.com/articles/s41586-025-08600-3）
这篇发表在《自然》上的论文详细介绍了Muse。该模型由微软研究院游戏智能团队（Microsoft Research Game Intelligence）和可教育AI体验团队（Teachable AI Experiences，Tai X）与Xbox游戏工作室的忍者理论工作室（Ninja Theory）合作开发。同时，为帮助其他研究者探索这些模型并在我们的工作基础上继续发展，我们开源了模型权重和样本数据，并提供了WHAM演示程序（WHAM Demonstrator）的可执行文件。WHAM演示程序提供了与WHAM模型交互的可视化界面和多种模型提示方式。开发者可以在Azure AI Foundry平台上学习和试验这些权重、样本数据和WHAM演示程序。
在研究中，我们专注于探索模型所需的能力，以有效支持人类创意工作。我为我们团队取得的里程碑成就感到无比自豪。正如下面视频演示所展示的，我们不仅展示了Muse这类模型能够学习到的丰富游戏世界结构，更重要的是，我们展示了如何开拓研究洞见，来支持生成式AI模型的创意应用。
生成的游戏示例
Muse（基于WHAM-1.6B）生成的游戏示例展示了我们的模型能够生成持续数分钟且保持一致性的复杂游戏序列。这里展示的所有示例都是通过向模型提供10帧（1秒）的人类游戏画面和整个游戏序列的控制器操作来生成的。Muse在'世界模型模式'下运行，这意味着它用于预测游戏将如何从初始提示序列演变。生成的游戏序列越接近实际游戏，就说明Muse越准确地捕捉到了该游戏的动态特征。
这些研究的动机是什么？
在今天发布我们的研究见解和模型时，我不禁回想起这一切的起点。2022年12月有一个关键时刻，我至今记忆犹新。当时我刚从产假回来，而在我离开期间，机器学习领域发生了根本性的变化。ChatGPT已经公开发布，试用过的人都对OpenAI的技术成就和模型能力赞叹不已。这有力地展示了基于transformer的生成模型在训练大量文本数据后能够实现什么。那时重返工作岗位，我脑海中的关键问题是："这一成就对我们团队在AI和视频游戏交叉领域的工作有何启示？"
数据带来的新研究机遇
我们团队获取了一个截然不同的数据来源。多年来，我们与Xbox游戏工作室的忍者理论工作室（与我们的研究团队同在英国剑桥）合作，收集了他们2020年Xbox游戏《Bleeding Edge》的游戏数据。《Bleeding Edge》是一款4对4的在线对战游戏，如果玩家同意最终用户许可协议（EULA），游戏对局就会被记录下来。我们与忍者理论工作室的同事和微软合规团队密切合作，确保数据收集符合伦理，并负责任地用于研究目的。
忍者理论工作室技术总监Gavin Costello表示："看到微软研究院以各种方式利用《Bleeding Edge》环境和数据探索新技术，真是令人惊叹。从最初将AI整合进《Bleeding Edge》的黑客马拉松，到开发能够更像人类玩家行为的AI代理，再到Muse能够在人类指导下，构想全新的《Bleeding Edge》游戏片段，这让我们看到了这类技术的潜力。"
Muse训练数据
左图：当前的Muse实例是在人类游戏数据（画面和控制器操作）基础上训练的，来自Xbox游戏《Bleeding Edge》——这里展示的是我们训练当前模型时使用的300×180像素分辨率。Muse（使用WHAM-1.6B）已经在超过10亿张图像和控制器操作上进行训练，相当于超过7年的持续人类游戏时间。
右图：游戏智能团队和可教AI体验团队一起玩《Bleeding Edge》游戏
直到2022年底，我们一直将《Bleeding Edge》来研究如何让AI模仿人类在游戏中的移动方式，但还未充分利用我们已收集的大量人类玩家数据。在文本模型展示出强大能力的情况下，下一个问题显而易见："如果我们用大量人类游戏数据训练一个基于transformer的模型，能够实现什么？"
纵向扩展模型训练
随着团队开始工作，主要挑战之一是扩大模型训练规模。我们最初使用V100集群，在那里我们证明了如何扩展到使用多达100个GPU进行训练；这最终为在H100上大规模训练铺平了道路。我们早期做出的关键设计决策集中在如何最好地利用大语言模型（LLM）社区的见解，包括如何有效表示手柄操作，特别是图像等选择。
首个取得成效的信号来自一个令人印象深刻的演示。当时游戏智能团队的研究员Tim Pearce整理了训练早期与后期的对比示例。在这里，你就像观看模型的学习过程。这启发了我们后续研究，展示了此类模型中扩展定律是如何浮现的。
Muse在训练过程中的一致性
多学科协作：从一开始就让用户参与
我们很早就开始研究如何评估这类模型。例如，我们希望通过线性探针来理解模型学习到的特征表示，这项工作由研究实习生Gunshi Gupta和高级研究科学家Sergio Valcarcel Macua主导；探索在线评估方法，这由高级研究科学家Raluca Georgescu负责；以及同时生成视觉内容和动作，最初称为'完全梦境'，这项工作由研究实习生Tarun Gupta主导。但要系统地评估Muse，需要更广泛的见解。更重要的是，我们需要了解人们可能如何使用这些模型，才能确定如何评估它们。
这正是多学科研究机会变得至关重要的地方。我们已经与高级首席研究经理Cecily Morrison和她的可教育AI体验团队讨论了这项工作的各个方面数月之久。我们还与游戏创作者合作（由Cecily、设计研究员Linda Wen和首席研究软件开发工程师Martin Grayson推动），调研游戏创作者希望如何在创作实践中使用生成式AI功能。
Cecily说："能在这么早的阶段加入合作，从一开始就塑造模型能力以满足创作者需求，而不是试图改造已开发的技术，这是一个很好的机会。"
Linda对我们的工作方法提供了一些宝贵见解："我们看到技术驱动的AI创新如何颠覆创意产业，常常让创作者措手不及，让许多人感到被排除在外。这就是为什么我们从一开始就邀请游戏创作者帮助我们塑造这项技术。意识到大多AI创新都来自全球北方，我们也特别优先考虑招募来自代表性不足地区和群体的游戏创作者。我们的目标是创造一项能让所有人受益的技术，而不仅仅是那些已经处于优势地位的人。"
用WHAM演示程序解锁新的创意用例
现在，随着模型能力的显现和用户洞见积累，是时候将所有部分组合在一起了。团队在微软内部黑客马拉松期间联手探索Muse可能解锁的新交互范式和创意用途。因此，我们开发了一个称为WHAM演示程序的原型，允许用户直接与模型交互。
Martin说："全球黑客马拉松是让所有人聚在一起构建我们第一个工作原型的绝佳机会。我们想为WHAM模型开发一个界面，让我们能够探索其创意潜力，并开始测试我们从与游戏开发者的访谈中学到的想法和用途。"
WHAM演示程序
WHAM演示程序为与Muse等世界与人类行为模型交互提供了可视化界面。
在这个例子中，用户正在加载一张视觉图像作为模型的初始提示，这里是游戏《Bleeding Edge》的一张宣传图片。他们使用Muse从这个起点生成多个潜在的延续序列。
用户探索生成的序列，并可以对其进行调整，例如使用游戏手柄来指导角色。这些功能展示了Muse的能力如何能够支持创作过程中的迭代。
识别关键能力及其评估方法
通过WHAM演示程序亲身探索Muse的能力，并借鉴用户研究中获得的见解，我们能够系统地识别游戏创作者使用生成模型（如Muse）所需的能力。这反过来让我们能够为三个关键能力建立评估协议：一致性、多样性和持续性。一致性指模型生成符合游戏动态特征的游戏序列的能力。例如，角色的移动与控制器操作保持一致，不会穿墙而过，并且普遍反映了游戏的物理特性。多样性指模型在给定相同初始提示的情况下，生成涵盖游戏可能演变的各种方式的能力。最后，持续性指模型将用户修改（如复制粘贴到游戏画面中的角色）整合到生成的游戏序列中的能力。下面我们概述这些能力。
Muse一致性、多样性和持续性的评估
一致性
我们通过向模型提供真实游戏序列和手柄操作数据，让模型生成游戏画面来评估一致性。这里展示的视频是使用Muse（基于WHAM-1.6B）生成的，展示了模型生成长达两分钟的一致游戏序列的能力。在我们的论文中，我们还使用FVD（Fréchet视频距离，视频生成领域的既定指标）将生成的画面与真实画面进行比较。
多样性
Muse（基于WHAM-1.6B）生成的行为和视觉多样性示例，基于相同的10帧（1秒）真实游戏画面。上面三个例子展示了行为多样性（不同的相机移动、在出生点附近徘徊、以及通过各种路径到达中间跳跃台）。下面三个例子展示了视觉多样性（角色的不同悬浮板）。在论文中，我们还使用Wasserstein距离（衡量两个分布之间距离的指标）定量评估多样性，将模型生成的序列与人类游戏录像中反映的多样性进行比较。
有了评估框架，并获得了H100计算资源配额，团队能够进一步改进Muse实例，包括更高分辨率的图像编码器（我们当前的模型能生成300×180像素的画面，相比早期模型的128×128分辨率有所提升）和更大的模型，并扩展到所有七张《Bleeding Edge》地图。为展示我们今天发布的模型的部分能力，我们在上面包含了2分钟长的生成游戏序列视频，展示了模型能够生成的游戏序列的一致性和多样性。
高级研究员Tabish Rashid表示："刚开始获得H100计算资源时确实令人生畏，尤其是在初期，我们要探索如何利用这些GPU，结合新的图像编码器来训练更大规模的模型。经过数月实验，终于能在不同地图上看到模型输出（不是说Skygarden的绿色景观不好），而且不用那么费劲地盯着小图像，这感觉非常令人满足。我相信此时我们中的许多人已经看了太多Muse的视频，都快忘记真实游戏是什么样子了。"
模型最让我喜欢的能力之一是它可以接受对游戏序列的修改，并保持新加入的元素。例如，在下面的演示中，我们在游戏原始画面中添加了一个角色。当我们用这个修改后的画面来提示模型时，可以看到模型能够'保持'这个新添加的角色，并以这个修改后的点作为起点，生成合理的游戏序列变体。
持续性
展示Muse（基于WHAM-1.6B）如何保持修改。从原始游戏数据中取一张画面，并在画面中编辑添加一个额外的角色。生成的游戏序列展示了该角色如何被适应到生成的游戏序列中。
结论
今天，我们团队很高兴在《自然》期刊上发表我们的工作，同时向社区发布Muse开源权重、WHAM演示程序和样本数据。
我期待看到社区以多种方式探索这些模型并在我们的基础上继续研究。我迫不及待地想看到这些模型和后续研究将如何帮助我们理解：基于人类游戏数据的生成式AI模型能够如何支持游戏创意，并为未来新型的AI游戏体验铺平道路。Xbox的同事们已经开始探索这些应用场景。
～完～
感谢阅读，欢迎转发、点赞👍和推荐❤️，谢谢！