← 返回视频对照页

Clean / Random 视频与任务能力分析

生成时间：2026-10-18T17:20:55.886876+08:00。录像状态：completed；已保留 200/200 段，完成 100/100 个任务设置。

视频浏览器：gallery.html。完整逐段指令与视频索引：video_catalog.csv。

服务入口：局域网 、ZeroTier 。服务由robotwin-video-gallery.service管理，支持视频拖动，随录制进度更新。

本次2回合测评成绩单独保存：video_run_results.csv，不与历史10/100回合结果混合。

1. 本次使用什么权重，怎样测

2. Clean 和 Random 的真实区别

项目 Clean Random
背景/桌面纹理 默认干净纹理 从unseen纹理池采样，墙面与桌面分别有2%概率保留默认纹理
桌面杂物 无额外杂物 启用杂物生成，数量取决于任务可放置区域
光照 固定设置 随机光照，其中2%为更极端光照
桌高偏移 0 实现中采样[-3厘米, 0]，不是±3厘米
头部相机距离随机化 0 0（本配置未启用）
指令 seen模板与物体描述 unseen模板与物体描述
机器人/相机类型 Aloha-AgileX / D435 相同

Clean仍会随机采样任务内的物体位置、姿态以及部分对象变体；它不是固定场景。Random这里指标准demo_randomized综合设置，不是随机动作。

本权重的导出说明记录了仅使用50任务×50条Clean/seen演示训练，因此Random引入了训练分布之外的因素；这一背景与较大的泛化差距一致，但不能单独证明具体失败原因。

因此差值同时混合视觉外观、杂物、几何高度和语言表述变化。它能说明综合鲁棒性不足，不能直接证明是背景、视觉编码器或语言模块中的哪一个造成。若要归因，应另做固定指令仅改环境、固定环境仅改指令，以及逐因素消融。

指令完整性也需要区分。 本次handover_block的两条Random指令实际都是“Grab the red block with the left arm.”，仅要求左手抓红块；环境最终却要求交接并放到蓝垫。原始unseen模板确实含有这类省略步骤的文本。评估仍沿用原模板，但不能把这种回合简单解释为完整长指令执行失败。

3. 已有测评总体结果

权重 每任务每设置回合数 Clean Random 综合
25k 100 71.88% 27.64% 49.76%
30k 10 69.00% 32.20% 50.60%
40k 10 73.20% 27.80% 50.50%
50k 10 72.40% 27.60% 50.00%

本次50k录像轮次（各任务每设置2回合，单独统计）：Clean 69/100（69.0%），Random 34/100（34.0%）。与上表历史测评使用相同权重，但场景筛选、实际指令与策略采样会影响本次结果。

50k的Clean到Random下降44.8个百分点，Random得分约为Clean的38.1%。50k中3个任务Clean为0/10，15个任务Random为0/10。

25k每项100回合，比30k/40k/50k每项10回合更适合判断稳定短板。30k的Random点估计最高，40k的Clean点估计最高；综合差异只有0.1～0.6个百分点，不能据此确定权重优劣，也不能把25k和其他轮次当成同样精度的实验。

每项10次时，0/10不代表真实成功率为零；Wilson 95%区间上界约27.8%，10/10下界约72.2%。整体变化也不能当作独立同分布回合直接做显著性结论，因为任务难度分布不同。

4. 哪些任务表现不好

4.1 Clean下就弱：优先检查任务基本能力

任务 25k Clean/Random（100次） 30k Clean/Random 40k Clean/Random 50k Clean/Random 可能的能力瓶颈（需要视频验证）
blocks_ranking_rgb（红绿蓝积木从左到右排序） 0%/1% 0%/0% 0%/0% 0%/0% 颜色与语言对应、多物体顺序规划、连续抓放
stack_blocks_three（红底绿中蓝顶叠三块积木） 0%/0% 0%/0% 0%/0% 0%/0% 颜色与顺序、三维精密对齐、多步骤稳定堆叠
stack_blocks_two（把绿积木叠到红积木上） 5%/3% 10%/10% 10%/0% 0%/0% 颜色与上下关系、精密三维放置、稳定释放
click_alarmclock（按闹钟顶部按钮） 18%/28% 20%/10% 10%/10% 10%/10% 小目标定位、手臂选择、末端接触
click_bell（按铃顶部中心） 9%/18% 10%/0% 10%/10% 10%/0% 小目标定位、精确接触、末端高度控制
hanging_mug（换手并把杯子挂到杯架） 12%/7% 20%/0% 20%/10% 20%/0% 杯柄朝向、重抓、双臂串联、挂接对准
handover_block（左手将积木交给右手并放到垫上） 49%/0% 50%/0% 40%/0% 30%/0% 双臂交接、释放时机、长流程与精确落放
move_stapler_pad（把订书机放到彩色垫上） 24%/7% 30%/20% 30%/0% 30%/0% 物体与目标匹配、位置和姿态同时对齐
place_mouse_pad（把鼠标放到彩色垫上） 62%/11% 30%/10% 50%/10% 50%/10% 小物体抓取、精密落放、姿态控制
place_a2b_left（把A放在B左边） 66%/21% 50%/30% 50%/20% 40%/30% 对象指代、左右空间关系、相对放置
place_a2b_right（把A放在B右边） 52%/26% 40%/30% 40%/20% 40%/30% 对象指代、左右空间关系、相对放置

25k的大样本也支持这一判断：颜色排序Clean为0/100、Random为1/100；三层叠积木两边均为0/100；两层叠积木为5/100与3/100。按铃为9/100与18/100、挂杯为12/100与7/100。

颜色排序与叠积木在多个检查点都很弱，更像持续的任务能力问题。不能仅凭最终成功率断言模型“不识别颜色”：抓取失败、顺序错误、放置偏差、释放不稳定都可能产生相同的0分。

按闹钟/按铃要求末端真正接触小目标；挂杯和交接积木包含多阶段和双手时序；鼠标、订书机落垫还同时要求紧的位置/姿态容差。这些可用于区分“接近了目标”与“完成成功条件”。

4.2 Clean较好而Random明显下降：优先检查泛化

任务 50k Clean 50k Random 下降百分点 能力与待检查点
move_pillbottle_pad（把药瓶放到垫子上） 100% 0% 100 小物体识别、精确抓取、落点与高度控制
open_laptop（打开笔记本电脑） 100% 0% 100 铰链物体操作、边缘定位、接触轨迹
open_microwave（打开微波炉门） 100% 0% 100 把手定位、抓拉、沿铰链轨迹操作
lift_pot（双臂抬锅） 90% 0% 90 双把手定位、双臂同步、姿态稳定
place_dual_shoes（把两只鞋放入鞋盒，鞋尖朝左） 90% 0% 90 双臂操作、物体朝向、位置姿态联合控制
beat_block_hammer（拿锤子敲击积木） 80% 0% 80 工具抓取、锤头功能点定位、接触控制
handover_mic（将麦克风从一只手交给另一只手） 100% 20% 80 交接姿态、双臂时序、接收与释放
move_can_pot（把罐子放在锅旁） 100% 20% 80 物体关系定位、抓放、朝向和落地状态控制
rotate_qrcode（转动二维码牌使其朝向机器人） 90% 10% 80 语义朝向、物体旋转、姿态控制
scan_object（一手拿扫描器、一手拿物体进行扫描） 100% 20% 80 双手功能点对准、方向与距离控制
place_can_basket（把罐子放篮中，再抬起篮子） 80% 10% 70 多阶段依赖、双臂分工、容器与内容物稳定
adjust_bottle（扶正并举起瓶子） 100% 30% 70 姿态调整、选择合适手臂、稳定抓持
press_stapler（按压订书机） 100% 30% 70 功能部位识别、末端接触、向下按压
place_phone_stand（把手机放到手机支架） 90% 30% 60 扁平物体抓取、支架对准、插放
move_playingcard_away（把纸牌向桌外侧移开） 100% 40% 60 薄物体抓取、外侧方向理解、释放

这组任务适合优先看成对视频：是否一开始就认错/漏抓，抓到后是否失去接触，目标点是否偏移，或者已经到位但未松爪。统计只能定位任务，不足以区分这些原因。

4.3 相对稳健的对照任务，以及判定的局限

50k中place_container_plate为100%/90%，place_cans_plasticbox为100%/80%，place_burger_fries为100%/70%，可作为容器放置的对照。

两种shake_bottle均为100%/100%，但代码只检查瓶子被举起一定高度，没有验证摇动方向、次数或幅度。不能据此宣称模型掌握了完整摇瓶动作。 类似地，scan_object检查几何对准而非真实扫码，stamp_seal不检查印迹，叠碗的高度判断也较宽松。任务名与测到的能力必须分开解释。

5. 50个任务：目标、考察能力与判定

任务 中文任务目标 主要考察能力（解释） 实现中的关键成功条件 50k Clean/Random
adjust_bottle 扶正并举起瓶子 姿态调整、选择合适手臂、稳定抓持 瓶子功能点抬高并位于指定侧 100%/30%
beat_block_hammer 拿锤子敲击积木 工具抓取、锤头功能点定位、接触控制 锤头与积木平面对齐约2厘米且发生接触 80%/0%
blocks_ranking_rgb 红绿蓝积木从左到右排序 颜色与语言对应、多物体顺序规划、连续抓放 红绿蓝按x坐标排序、相邻y差小于3厘米，并松开双爪 0%/0%
blocks_ranking_size 积木按大小从左到右排列 相对尺寸识别、排序、多次抓放 从大到小按x坐标排序、相邻y差小于3厘米，并松爪 60%/20%
click_alarmclock 按闹钟顶部按钮 小目标定位、手臂选择、末端接触 闭爪接触顶部目标区域，平面约3厘米容差 10%/10%
click_bell 按铃顶部中心 小目标定位、精确接触、末端高度控制 闭爪接触顶部目标区域，平面约2.5厘米容差 10%/0%
dump_bin_bigbin 将小桶内的球倒入大桶 容器抓持、倾倒、物体状态转移 小桶抬高且所有球高度进入指定区间；判定主要用高度 90%/70%
grab_roller 双臂抓起滚轴 双臂配合、长物体抓取、同步抬升 双爪闭合且滚轴高度超过0.8米 90%/60%
handover_block 左手将积木交给右手并放到垫上 双臂交接、释放时机、长流程与精确落放 最终落点平面误差小于3厘米、高度差小于1厘米，右爪松开；不单独验证交接轨迹 30%/0%
handover_mic 将麦克风从一只手交给另一只手 交接姿态、双臂时序、接收与释放 接收爪闭合、原爪张开，麦克风抬高且位于接收侧 100%/20%
hanging_mug 换手并把杯子挂到杯架 杯柄朝向、重抓、双臂串联、挂接对准 杯子功能点对准架子中部约2厘米、抬高且右爪松开 20%/0%
lift_pot 双臂抬锅 双把手定位、双臂同步、姿态稳定 锅抬高，双端点距把手各小于3厘米，锅保持较正 90%/0%
move_can_pot 把罐子放在锅旁 物体关系定位、抓放、朝向和落地状态控制 指定侧、前后对齐、姿态与高度均满足条件，并松爪 100%/20%
move_pillbottle_pad 把药瓶放到垫子上 小物体识别、精确抓取、落点与高度控制 平面约3厘米、高度约5毫米容差，并松开双爪 100%/0%
move_playingcard_away 把纸牌向桌外侧移开 薄物体抓取、外侧方向理解、释放 纸牌x方向越过边界并松开双爪；没有验证完整移出桌面 100%/40%
move_stapler_pad 把订书机放到彩色垫上 物体与目标匹配、位置和姿态同时对齐 三维位置约2/2/1厘米容差，姿态符合要求并松爪 30%/0%
open_laptop 打开笔记本电脑 铰链物体操作、边缘定位、接触轨迹 屏幕关节达到行程40%，末端仍接近指定接触点 100%/0%
open_microwave 打开微波炉门 把手定位、抓拉、沿铰链轨迹操作 门关节达到最大角度的60% 100%/0%
pick_diverse_bottles 双臂举起不同种类的瓶子 形状适应、双目标识别、双臂抓持 两个瓶子的功能点均抬高并靠近目标平面位置 70%/30%
pick_dual_bottles 双臂各举起一个瓶子 双目标抓取、双臂同步、稳定抬升 两个瓶子的功能点均抬高并靠近目标平面位置 100%/60%
place_a2b_left 把A放在B左边 对象指代、左右空间关系、相对放置 A在B左侧、距离8到20厘米、前后差小于5厘米并松爪 40%/30%
place_a2b_right 把A放在B右边 对象指代、左右空间关系、相对放置 A在B右侧、距离8到20厘米、前后差小于5厘米并松爪 40%/30%
place_bread_basket 把一个或两个面包放入篮子 数量适应、容器落放、单/双臂执行 所有面包平面进入篮子中心约5厘米范围且松开双爪 80%/40%
place_bread_skillet 把面包放入平底锅 容器识别、抓放、功能点对齐 面包对准锅中心约3.5厘米且达到所需高度 80%/40%
place_burger_fries 把汉堡和薯条放到托盘 双物体对应、双臂抓放、区域放置 两个物体分别接近托盘功能点8厘米内且松爪 100%/70%
place_can_basket 把罐子放篮中，再抬起篮子 多阶段依赖、双臂分工、容器与内容物稳定 篮与罐均抬高，罐接触篮而不接触桌面，篮较正 80%/10%
place_cans_plasticbox 把两个罐子放进塑料盒 双臂抓放、容器功能区域定位 两罐靠近盒内功能点约4厘米且松爪 100%/80%
place_container_plate 把容器放到盘子上 目标区域识别、抓放、稳定释放 位置约5/5/3厘米容差且松爪 100%/90%
place_dual_shoes 把两只鞋放入鞋盒，鞋尖朝左 双臂操作、物体朝向、位置姿态联合控制 两鞋位置、高度、四元数朝向均达标且松爪 90%/0%
place_empty_cup 把空杯放到杯垫 圆形目标定位、落放、垂直间隙控制 平面半径3.5厘米、高度差1.5厘米内且松爪 90%/50%
place_fan 把风扇放到垫上并朝向机器人 语言中的朝向约束、抓放、姿态调整 目标位置约4厘米容差且四元数达标，双爪松开 50%/10%
place_mouse_pad 把鼠标放到彩色垫上 小物体抓取、精密落放、姿态控制 平面约1.5/1.2厘米容差、姿态符合要求且松爪 50%/10%
place_object_basket 装物体入篮并提篮 目标识别、多阶段操作、容器稳定搬运 篮和物体抬高、保持接触、离开桌面且篮较正 80%/30%
place_object_scale 把物体放到秤上 目标区域定位、小平台落放、释放 平面距秤功能点3.5厘米内、物体高度达标且操作爪松开 70%/10%
place_object_stand 把物体放到展示台 对象识别、台面定位、抓放 平面位置距台中心3厘米内且松爪 90%/40%
place_phone_stand 把手机放到手机支架 扁平物体抓取、支架对准、插放 手机功能点与支架功能点三维误差约4厘米内且松爪 90%/30%
place_shoe 把鞋按指定朝向放到垫子上 朝向辨识、重定位、释放 位置和四元数姿态均符合要求且松爪 80%/70%
press_stapler 按压订书机 功能部位识别、末端接触、向下按压 接触订书机指定区域，约3厘米容差 100%/30%
put_bottles_dustbin 把瓶子投入桌子左侧垃圾桶 目标容器定位、多物体顺序操作、释放 所有瓶子平面与高度均落入桶的指定区域 60%/10%
put_object_cabinet 打开抽屉并把物体放进去 铰接操作与抓放组合、双臂分工、长流程 物体进入抽屉目标区域并达到高度区间、相关爪松开；没有单独计分开抽屉过程 60%/0%
rotate_qrcode 转动二维码牌使其朝向机器人 语义朝向、物体旋转、姿态控制 二维码牌最终四元数、位置高度达标且松爪；不检测码是否可识别 90%/10%
scan_object 一手拿扫描器、一手拿物体进行扫描 双手功能点对准、方向与距离控制 扫描方向几何关系、2.5厘米对齐及7厘米以内距离达标，双爪闭合；不模拟实际扫码识别 100%/20%
shake_bottle 摇动瓶子 主要可观测到瓶子定位、抓持、抬升 实现只检查瓶子高于桌面基准约6厘米，不检查摇动次数或幅度 100%/100%
shake_bottle_horizontally 水平摇动瓶子 主要可观测到瓶子定位、抓持、抬升 实现只检查瓶子高于桌面基准约6厘米，不检查水平摇动轨迹 100%/100%
stack_blocks_three 红底绿中蓝顶叠三块积木 颜色与顺序、三维精密对齐、多步骤稳定堆叠 相邻积木中心x/y约2.5厘米、层高差约1.2厘米容差，并松爪 0%/0%
stack_blocks_two 把绿积木叠到红积木上 颜色与上下关系、精密三维放置、稳定释放 积木中心x/y约2.5厘米、层高差约1.2厘米容差，并松爪 0%/0%
stack_bowls_three 叠三个碗 多次抓放、容器嵌套、长流程 检查平面对齐、排序后高度上界与松爪；高度判断没有绝对值 90%/40%
stack_bowls_two 叠两个碗 抓放、容器嵌套、稳定释放 检查平面对齐、排序后高度上界与松爪；高度判断没有绝对值 100%/50%
stamp_seal 把印章盖到指定颜色垫上 颜色对应、工具抓取、小目标定位 印章中心平面约1厘米容差并松爪；不检查真实印迹 70%/20%
turn_switch 拨动开关 小功能点定位、接触方向、关节操作 开关关节接近最大行程，差值不超过0.05弧度 60%/0%

本次录像观察

观察依据为本次录像的等间隔关键帧与起止帧，以下仅描述可见动作，不把视觉现象直接当成模型内部原因。

6. 本次每段录像与实际任务指令

以下英文来自实际传给策略的指令；中文是任务目标说明，不是额外输入。成功/失败来自环境判定。

adjust_bottle — 扶正并举起瓶子

考察能力：姿态调整、选择合适手臂、稳定抓持。

beat_block_hammer — 拿锤子敲击积木

考察能力：工具抓取、锤头功能点定位、接触控制。

blocks_ranking_rgb — 红绿蓝积木从左到右排序

考察能力：颜色与语言对应、多物体顺序规划、连续抓放。

blocks_ranking_size — 积木按大小从左到右排列

考察能力：相对尺寸识别、排序、多次抓放。

click_alarmclock — 按闹钟顶部按钮

考察能力：小目标定位、手臂选择、末端接触。

click_bell — 按铃顶部中心

考察能力：小目标定位、精确接触、末端高度控制。

dump_bin_bigbin — 将小桶内的球倒入大桶

考察能力：容器抓持、倾倒、物体状态转移。

grab_roller — 双臂抓起滚轴

考察能力：双臂配合、长物体抓取、同步抬升。

handover_block — 左手将积木交给右手并放到垫上

考察能力：双臂交接、释放时机、长流程与精确落放。

handover_mic — 将麦克风从一只手交给另一只手

考察能力：交接姿态、双臂时序、接收与释放。

hanging_mug — 换手并把杯子挂到杯架

考察能力：杯柄朝向、重抓、双臂串联、挂接对准。

lift_pot — 双臂抬锅

考察能力：双把手定位、双臂同步、姿态稳定。

move_can_pot — 把罐子放在锅旁

考察能力：物体关系定位、抓放、朝向和落地状态控制。

move_pillbottle_pad — 把药瓶放到垫子上

考察能力：小物体识别、精确抓取、落点与高度控制。

move_playingcard_away — 把纸牌向桌外侧移开

考察能力：薄物体抓取、外侧方向理解、释放。

move_stapler_pad — 把订书机放到彩色垫上

考察能力：物体与目标匹配、位置和姿态同时对齐。

open_laptop — 打开笔记本电脑

考察能力：铰链物体操作、边缘定位、接触轨迹。

open_microwave — 打开微波炉门

考察能力：把手定位、抓拉、沿铰链轨迹操作。

pick_diverse_bottles — 双臂举起不同种类的瓶子

考察能力：形状适应、双目标识别、双臂抓持。

pick_dual_bottles — 双臂各举起一个瓶子

考察能力：双目标抓取、双臂同步、稳定抬升。

place_a2b_left — 把A放在B左边

考察能力：对象指代、左右空间关系、相对放置。

place_a2b_right — 把A放在B右边

考察能力：对象指代、左右空间关系、相对放置。

place_bread_basket — 把一个或两个面包放入篮子

考察能力：数量适应、容器落放、单/双臂执行。

place_bread_skillet — 把面包放入平底锅

考察能力：容器识别、抓放、功能点对齐。

place_burger_fries — 把汉堡和薯条放到托盘

考察能力：双物体对应、双臂抓放、区域放置。

place_can_basket — 把罐子放篮中，再抬起篮子

考察能力：多阶段依赖、双臂分工、容器与内容物稳定。

place_cans_plasticbox — 把两个罐子放进塑料盒

考察能力：双臂抓放、容器功能区域定位。

place_container_plate — 把容器放到盘子上

考察能力：目标区域识别、抓放、稳定释放。

place_dual_shoes — 把两只鞋放入鞋盒，鞋尖朝左

考察能力：双臂操作、物体朝向、位置姿态联合控制。

place_empty_cup — 把空杯放到杯垫

考察能力：圆形目标定位、落放、垂直间隙控制。

place_fan — 把风扇放到垫上并朝向机器人

考察能力：语言中的朝向约束、抓放、姿态调整。

place_mouse_pad — 把鼠标放到彩色垫上

考察能力：小物体抓取、精密落放、姿态控制。

place_object_basket — 装物体入篮并提篮

考察能力：目标识别、多阶段操作、容器稳定搬运。

place_object_scale — 把物体放到秤上

考察能力：目标区域定位、小平台落放、释放。

place_object_stand — 把物体放到展示台

考察能力：对象识别、台面定位、抓放。

place_phone_stand — 把手机放到手机支架

考察能力：扁平物体抓取、支架对准、插放。

place_shoe — 把鞋按指定朝向放到垫子上

考察能力：朝向辨识、重定位、释放。

press_stapler — 按压订书机

考察能力：功能部位识别、末端接触、向下按压。

put_bottles_dustbin — 把瓶子投入桌子左侧垃圾桶

考察能力：目标容器定位、多物体顺序操作、释放。

put_object_cabinet — 打开抽屉并把物体放进去

考察能力：铰接操作与抓放组合、双臂分工、长流程。

rotate_qrcode — 转动二维码牌使其朝向机器人

考察能力：语义朝向、物体旋转、姿态控制。

scan_object — 一手拿扫描器、一手拿物体进行扫描

考察能力：双手功能点对准、方向与距离控制。

shake_bottle — 摇动瓶子

考察能力：主要可观测到瓶子定位、抓持、抬升。

shake_bottle_horizontally — 水平摇动瓶子

考察能力：主要可观测到瓶子定位、抓持、抬升。

stack_blocks_three — 红底绿中蓝顶叠三块积木

考察能力：颜色与顺序、三维精密对齐、多步骤稳定堆叠。

stack_blocks_two — 把绿积木叠到红积木上

考察能力：颜色与上下关系、精密三维放置、稳定释放。

stack_bowls_three — 叠三个碗

考察能力：多次抓放、容器嵌套、长流程。

stack_bowls_two — 叠两个碗

考察能力：抓放、容器嵌套、稳定释放。

stamp_seal — 把印章盖到指定颜色垫上

考察能力：颜色对应、工具抓取、小目标定位。

turn_switch — 拨动开关

考察能力：小功能点定位、接触方向、关节操作。

7. 文件与复现

所有视频均保留，没有挑选成功片段来替代失败片段。历史结果与本次2回合录像统计分开存放。