Active Understanding of the Physical World: ROMA Enables Robots to Learn Interactive Exploration of Objects
主动理解物理世界：ROMA让机器人学会交互探索物体
ROMA is a research initiative focused on real-world multimodal active perception, aiming to endow multi-sensor robots with the ability to actively understand the physical world. This study constructs the ROMI-2K dataset and ROMA Bench evaluation benchmark, and develops the ROMA-7B model, enabling robots to perform interactive exploration through multimodal perception such as vision, audition, touch, and force, to accomplish complex tasks.
Source: Machine Heart — Robotics on WeChat · Read original article ↗
English translation unavailable. Choose the original article to read it.
What the source reports
Publisher-reported claims, with original evidence. These results have not been independently verified by RoboSignal.
Reported numbers
objects
2,000
interactions
6
tasks
2,100
tasks
132
objects
2,000
- paper: not_reported
- code: not_reported
- dataset: not_reported
Source excerpts and review record
Automatically extracted; no manual editorial approval recorded.
ROMI-2K：近 2000 个真实物体， 多感官交互数据 要让机器人学会主动地交互与探索，一个核心的挑战在于： 机器人需要理解不同的物理交互会带来什么信息 。
Open source S14
为此，研究团队构建了一个大规模真实世界多模态物体交互数据集 ROMI-2K ，覆盖近 2000 个日常物体与内含物组合，并围绕 6 种基础物理交互（举起、按压、碰撞、捏紧、摇晃和旋转），进行手持设备和真实桌面机械臂场景的数据采集。
Open source S15
图 4 | ROMA 真实世界主动多模态物体感知系统示意图 多模态主动感知能力整体打平 GPT-6 Astra，领先多款前沿大模型 在多模态主动感知 ROMA Bench 的 2100 道多选题、判断题和排序题上， ROMA-7B 取得 72.9%的总体任务成功率，整体表现基本与最新的 GPT-6 Astra 持平，并明显优于 GPT-5.4 和 Gemini 3.5 Flash 。
Open source S20
表 1 | ROMA Bench 多模态主动感知测评结果 在真实世界实验中的 8 个多物体场景、132 道 开放问答题 上，ROMA-7B 仍取得 61.4%的总体成功率，接近于 GPT-6 Astra 并仍然大幅领先其他前沿大模型，证明通过 ROMI-2K 学习到的主动感知能力能够在真实世界的场景中保持，而不是仅仅局限于基准测试中的固定任务形式。
Open source S22
Source：Machine Heart — Robotics on WeChat · mp.weixin.qq.com