Runway 已发布其机器人控制模型 Praxis-1,并依据 Apache 2.0 许可开放模型训练所得的参数(权重)和代码,机器人开发者与研究人员可以下载、改造并用于商业用途。
Praxis-1 首次于 9 月亮相,此后 Runway 与合作伙伴 Noble Machines、Standard Bots 和 Ultra 一起,在人形机器人、工业机械臂和双臂仓储机器人上进行了测试。Runway 将 Praxis-1 称为“世界动作模型”。它通过大量视频学习物体和任务如何随时间变化。
随后,它会同时预测视频和机器人动作。该模型拥有 270 亿个参数,可通过 GitHub 和 Hugging Face 获取。它还配备了运行模型和进一步调整模型的工具,支持全量微调或 LoRA。
Runway 表示,开发者可以基于已保存的模型版本进行改造,使其适用于不同的机器人、摄像头和任务。不过,针对特定硬件或应用领域,模型仍需进一步调整。Runway 报告称,Praxis-1 在 NVIDIA 的 RoboLab-120 基准测试中进行了 1,200 次测试,得分为 46.2%,超过了几款已公开模型权重的具名竞品。
Runway 还报告称,使用 Google 的 RT-1 机器人对 Praxis-1 进行调整后,该模型在 SimplerEnv 中取得了 80% 的得分。Runway 表示,Praxis-1 的训练数据中并未包含 Google 的 RT-1 机器人。这些性能数据由 Runway 报告。
公开发布让外界能够获取该模型,但这本身并不能证明它在其他机器人或现实世界任务中的表现如何。