近年来，随着生成模型的快速发展，视频生成已经成为一个新兴的研究前沿。清华大学、华为诺亚方舟实验室和天津大学的研究团队最新提出了iVideoGPT(Interactive VideoGPT)，这是一个可扩展的自回归Transformer框架，能够将多模态信号集成到一系列token中，使智能体能够进行交互式体验。iVideoGPT的出现有望打破目前世界模型在交互性和可扩展性之间难以平衡的僵局，为构建通用交互式世界模型铺平道路。
高效的压缩tokenization技术突破世界模型瓶颈
iVideoGPT采用了创新的压缩tokenization技术，可以高效地将高维视觉观察离散化。通过双编码器和解码器的条件VQGAN，初始上下文帧被独立地进行token化和重构，而后续帧则利用条件编码器捕捉必要的变化信息。这种tokenization方式不仅大幅降低了token序列的长度，而且通过条件编码使得Transformer更容易保持时间一致性，聚焦于建模动态信息。研究表明，即使面对未见过的对象，iVideoGPT的Transformer也能泛化预测其自然运动，展现出卓越的跨领域迁移能力。
灵活整合动作和奖励信号，实现多功能交互式世界模型
iVideoGPT的架构被设计为能够灵活地整合额外模态，如动作和奖励信号，从而学习交互式世界模型。通过在slot token中加入动作嵌入，以及在观察token上添加奖励预测头，该模型实现了多任务学习，增强了对任务相关信息的关注。这种设计使得iVideoGPT在基于模型的强化学习算法中展现出了卓越的性能，在RoboDesk任务上大幅超越了所有基线，并达到了SOTA水平。
iVideoGPT的出现标志着交互式通用世界模型发展的一个里程碑。通过在海量视频数据上的预训练，该模型积累了广泛的世界知识，并能高效迁移到各种下游任务。iVideoGPT为未来打造更加智能、安全、高效的AI系统开辟了一条充满希望的道路。虽然目前的实验还局限于较低的分辨率，但iVideoGPT的可扩展架构有望支持更大规模和更高质量的世界模型构建。可以期待，随着算力的进一步发展和数据的不断丰富，iVideoGPT将助力人工智能在感知、推理和规划等方面取得更大的突破实盘杠杆炒股官网，加速通用人工智能的到来。
