uniact：一种新型具身基础模型框架
UniAct 是一种创新的具身基础模型框架，旨在解决机器人行为的异构性问题。它通过学习通用行为，提取不同机器人共享的原子行为特征，从而克服由物理形态和控制接口差异造成的行为不一致性。UniAct 的架构主要由通用行为提取器、通用行为空间和异构解码器三部分构成。通用行为提取器基于视觉语言模型，通过观察和任务目标来提取通用行为；通用行为空间采用向量量化码本的形式，每个向量代表一种原子行为；异构解码器则负责将通用行为转化为特定机器人的控制信号。
核心功能：
通用动作编码: UniAct 将不同机器人的原子行为（例如“移动到目标位置”或“避开障碍物”）转化为通用的向量化码本，每个代码代表一种可跨平台共享的通用技能。轻量高效: UniAct-0.5B 模型仅需 0.5 亿参数，其真实和模拟环境下的任务表现已超越参数规模达 14 亿的 OpenVLA 模型。快速适应性: UniAct 仅需 50 条专用示教数据即可在新环境中微调，并能快速适应新的机器人和控制接口。只需添加轻量级解码器，即可轻松扩展到新的机器人平台。跨领域数据利用: UniAct 通过通用行为空间，更有效地利用跨领域数据进行训练，从而在不同机器人和环境中实现更强大的泛化能力。行为一致性: 在不同的部署场景和机器人类型上，相同的通用动作能展现出一致的行为模式，为具身智能体的控制提供了更便捷的方式。用户只需从码本中选择相应的通用动作，即可指挥不同类型的机器人完成任务。
技术原理详解：
通用动作空间: UniAct 利用向量量化构建了一个离散的通用动作空间，该空间是一个向量化码本，每个向量嵌入代表一种通用的原子行为。这些原子行为是不同机器人在不同环境下共享的基本行为模式。通用动作提取器: 基于视觉语言模型 (VLM)，UniAct 的通用动作提取器能够识别和提取通用动作。它根据观察结果和任务目标，输出选择通用动作的概率。异构解码器: UniAct 使用异构解码器将通用动作转换为特定机器人的可执行命令。这些解码器针对不同的机器人平台进行设计，能根据机器人的具体特征将通用动作转换为具体的控制信号。轻量化架构与高效训练: UniAct 采用轻量化模型架构，即使参数较少也能保持优异的性能。它通过行为克隆损失进行训练，并根据动作标签的性质选择合适的损失函数。
项目信息：
项目官网: https://www.php.cn/link/a87823bb4525992c4faeea10b5965d6cGithub 仓库: https://www.php.cn/link/a87823bb4525992c4faeea10b5965d6carXiv 技术论文: https://www.php.cn/link/a87823bb4525992c4faeea10b5965d6c
应用场景：
UniAct 的应用前景广泛，包括自动驾驶、医疗机器人、工业自动化和智能家居等领域。其通用性使其能够高效地控制各种类型的机器人，并适应不同的环境和任务需求。
以上就是UniAct— 清华、商汤、北大、上海AI Lab共同推出的具身基础模型框架的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/3234065.html
