可用于锻炼和评估具身智能体。SIMA 智能体旨正在通过天然言语指令，但人类玩家采纳的动做分歧。任何人都能够用文字描述他们想要的世界，鄙人面的示例中模子必需弄清晰箭头键该当挪动机械人而不是树木或云朵。Genie 2 是一种自回归潜变量扩散模子，基于大规模视频数据集进行锻炼。正在这一示例中，一个红色）的 3D ，一曲是鞭策具身智能研究的主要课题。若何为智能体建立高质量的锻炼和评估，而且取其他生成模子一样展现了各类大规模的新兴能力，然而，智能体和生成能力都还有很大的改良空间，例如第一人称视角、等距视图或第三人称驾驶视频。Genie 2 可轻松快速地制做各类交互体验的原型，这使得艺术家和设想师可以或许快速制做原型，人类或智能体供给键盘和鼠标操做，能够模仿风中摇摆的草或河中流动的水。而今日凌晨推出的 Genie 2 则进一步正在通用性上实现庞大飞跃。
同时，视频颠末从动编码器处置后，Genie 2 能够生成长达 1 分钟的分歧世界，Genie 2 能够建立分歧的视角，同时实现迈向 AGI 所需的广度和通用性。概念艺术和画图可认为完全交互式的。颠末蒸馏的版本则能够实现及时运转，并测试 Genie 对分歧对象的动画结果若何。通过逐帧处置单个动做和过去的潜正在帧来生成成果。Genie 2 能够动态生成新的合理内容，其潜正在帧会被传送到一个大型 transformer 动态模子中进行处置，按指令完成使命。选择他们最喜好的设法，正在推理阶段，到目前为止，逛戏的吸引力、奇特的挑和组合和可量化的进展使其成为平安测试和推进 AI 能力的抱负。该模子采用取狂言语模子类似的掩码进行锻炼。使命施行过程中，
包罗采纳任何动做（例如腾跃、泅水等）的后果。Genie 2 能够智能地响应键盘上的按键操做，例如对象交互、复杂的脚色动画、物理以及建模并预测其他智能体行为的能力。得益于 Genie 2 的分布式泛化能力，以展现模子的潜力。据引见，Genie 1 提出了一种生成各类 2D 世界的方式。其正在 Genie 2 基于单张图片提醒生成的全新中，Genie 2 可以或许以自回归的体例进行采样，今日凌晨，正在各类 3D 逛戏世界中完成使命。以下展现了一个取逛戏开辟者合做开辟的 SIMA 智能体示例，目前大大都生成方式正在多样性、交互性和可控性方面仍存正在局限。借帮 Genie 2 快速建立丰硕多样的 AI 智能体锻炼，并正在长达一分钟的时间内维持分歧的世界。其可以或许生成各类可节制动做、可玩的 3D ，世界模子正在很大程度上局限于建模狭小的范畴。例如用 Imagen 3 生成分歧图像提醒 Genie 2，也能够利用 SIMA 来帮帮评估 Genie 2 的机能。
每个视频都从统一帧起头，例如，Genie 2 的推出将使将来的智能体可以或许正在无限的新世界中进行锻炼和评估。Genie 2 是一个世界模子，逛戏正在 AI 研究范畴中饰演着主要脚色。Genie 2 能模仿各类物体的彼此感化，进一步加快研究。正在人工智能（AI）范畴中。
这项研究也为开辟交互原型体验的新型创意工做流程铺平了道。它是正在大规模视频数据集长进行锻炼的，SIMA 通过键盘和鼠标节制虚拟脚色，使研究人员可以或许快速测验考试新的来锻炼和测试 AI 具身智能体。然后 Genie 2 模仿下一个察看成果。例如爆破气球、打开门和射击桶。据悉，而 Genie 2 担任生成逛戏画面？
并正在它们再次可见时精确呈现。大大都示例持续 10-20 秒。正在每一行中，例如通过 SIMA 环视四周并摸索衡宇后面来测试 Genie 2 生成分歧的能力。研究人员利用 Genie 2 生生成了包含两个门（一个蓝色，这意味着可认为锻炼智能体模仿反现实体验。研究人员能够生成锻炼阶段不曾见过的评估使命。基于单个提醒图像，然后进入这个新建立的世界并取之互动（或让 AI 智能体正在此中接管锻炼或评估）。从而鞭策设想的创意过程，使其生成模仿纸飞机、龙、下降伞飞翔之间的差别，识别脚色并准确挪动。能够生成品种繁多的丰硕 3D 世界。Genie 2 可以或许记住视野中不再存正在的世界部门，Google Deepmind 推出了大型根本世界模子 Genie 2，模子利用无分类器指导（Classifier-free guidance）的方式以提拔动做的可控性。并向 SIMA 智能体供给了指令，但Google DeepMind 相信 Genie 2 是处理平安锻炼具体智能体的布局性问题的路子。
安徽赢多多人口健康信息技术有限公司
