ReferTrack: Referring Then Tracking for Embodied Visual Tracking
南方科大& 腾讯开源ReferTrack：单目VLA 刷新具身视觉跟踪 ...
This paper proposes ReferTrack, a new paradigm for embodied visual tracking that combines referring and tracking. The model uses a single forward-facing camera, selects targets via index detection boxes, and employs TVBI temporal visual boundary information to achieve state-of-the-art results on EVT-Bench. It is deployable on quadruped and humanoid robots, showing strong simulation-to-reality transfer capabilities.
Source: Chinese robotics — Robot learning research · Read original article ↗
English translation unavailable. Choose the original article to read it.
What the source reports
Publisher-reported claims, with original evidence. These results have not been independently verified by RoboSignal.
- Environment
- SimulationOpen source S10
- code: Available Artifact link Open source S4
- paper: Available Artifact link Open source S4
Source excerpts and review record
Automatically extracted; no manual editorial approval recorded.
EVT‑Bench基准上单目设置拿下SOTA，在目标极易混淆的任务上，效果甚至优于部分多相机基线；同时完成四足、人形机器人部署，证明强大的仿真到现实迁移能力。
Open source S10
消融实验（在干扰跟踪DT任务上开展） Oracle实验组：去掉Refer‑CoT，直接给TVBI喂真值目标框，SR达到81.5%，和专家策略差距很小。
Open source S22
保留Refer‑CoT，移除TVBI模块：SR下降到70.4%。
Open source S23
Refer‑CoT+TVBI全部移除：SR暴跌至55.7%。
Open source S24
损失函数 总损失由三部分加权组合： 航点损失：预测航点和专家轨迹做 MSE 均方误差，权重系数 指代损失：交叉熵损失，监督 Refer‑CoT 输出正确的目标索引。
Open source S18
阶段2 ：导航仿真样本（130万）与Refer‑QA指代问答样本（130万）按1:1混合训练；视觉编码器冻结，其余全部参数参与更新。
Open source S20
任务成功判定标准：机器人和目标保持 1‑3米跟随距离 ，并且目标持续出现在相机视野内。
Open source S13
作者 ：Hanjing Ye , Tianle Zeng , Jiazhao Zhang , Shaoan Wang , Zibo Zhang , Weisi Situ , Yuchen Zhou , Yonggen Ling , Hong Zhang 单位 ： 南方科技大学RCV实验室， 腾讯Robotics X， 北京大学， 福田实验室 论文标题 ：ReferTrack: Referring Then Tracking for Embodied Visual Tracking 论文链接 ：https://arxiv.org/abs/2607.20061 代码链接 ：https://github.com/MedlarTea/referTrack 研究背景 具身视觉跟踪EVT ，简单说就是：机器人只靠自身机载摄像头，听懂人类自然语言指令，持续跟随指令描述的特定行人。
Open source S4
Source：Chinese robotics — Robot learning research · 163.com