CH.07 / NOTES
07 // CHAPTER ROUTE

AI 先标 人来验

具身智能 · 第七章

VLM 把“从零画标签”改造成“检查并修正”，但最终质量仍由人工审核与统一标准负责。

01

没有答案的图， 教不会模型

标注把像素转成可监督的语义

02

从零作业，变成 批改作业

效率提升来自工作重心变化：机器先给候选答案

03

会看大概， 不会精确测量

精确质量和尺寸应读取 3D/物理参数

04

错在哪里，就 修哪里

类别错就改标签

05

确认一次，写入 两类出口

标注既可留在 USD Prim 属性中

UNIT 01 / MEETING NOTES

小节一 · 没有答案的图

AGENDA / 本节阅读顺序01没有答案的图， 教不会模型02同一个物体， 六种答案03从零作业，变成 批改作业
相机采集机器人工作台上的物体图像，显示器用几何框提出候选标注，人工审核者在纸质样本上修正并盖章确认
图 7.1　VLM 候选标注经过人工核验与修正

先围绕“没有答案的图， 教不会模型”建立问题，再逐页核对本小节的机制与证据。

01 // WHY LABEL

没有答案的图，教不会模型

RAW IMAGE只有像素箱子 · 塑料 · 可抓取ADD LABELS

标注把像素转成可监督的语义，让模型知道“什么答案才算正确”。

02 // LABEL TYPES

同一个物体，六种答案

类别CLASSBOXMASKKEYPOINTTRAJECTORY属性材质质量

类别回答“是什么”，掩码回答“每个像素属于谁”，属性补充“它有什么特征”。

03 // ASSISTED LABELING

从零作业，变成批改作业

纯人工 / 从零VLM + 人工找物体 → 画框描边 → 填属性逐张重复VLM 预标注类别 · 掩码 · 材质人工校验修错 · 补漏 · 确认讲义：效率提升约 8–10 倍

效率提升来自工作重心变化：机器先给候选答案，人负责检查与纠正。

UNIT 02 / MEETING NOTES

小节二 · 图像 + 指令

AGENDA / 本节阅读顺序01图像 + 指令，输出 候选标签02会看大概， 不会精确测量03预标注之后，必须过 三道门
小节二 · 图像 + 指令的章节概念路线图
图 7.2　小节二 · 图像 + 指令的观察入口

先围绕“图像 + 指令，输出 候选标签”建立问题，再逐页核对本小节的机制与证据。

04 // VLM FLOW

图像 + 指令，输出候选标签

场景图像MAIN CAMERA标注指令PROMPTVLMSEE + READ候选输出类别框 / 掩码材质属性推断FORMAT叠加显示人工审核CONFIRM

VLM 输出先被转换为结构化标注，再叠加到视口等待人工确认。

05 // BOUNDARY

会看大概，不会精确测量

VLM 擅长常见物体类别大致材质与颜色空间关系描述VLM 不擅长精确质量与尺寸被遮挡对象的细边界READ FROM 3D / HUMAN

精确质量和尺寸应读取 3D/物理参数，不能把视觉猜测当测量值。

06 // HUMAN REVIEW

预标注之后，必须过三道门

VLM自动预标注人工校验类别正确？掩码贴边？属性可信？FIX / ADD / DELETE确认统一标准保存USD 属性EXPORT

标准流程是预标注、人工修正、确认保存；任何一步都不能直接跳过审核。

UNIT 03 / MEETING NOTES

小节三 · 错在哪里，就 修哪里

AGENDA / 本节阅读顺序01错在哪里，就 修哪里02高质量标注， 四项同时过关03确认一次，写入 两类出口
小节三 · 错在哪里，就 修哪里的章节概念路线图
图 7.3　小节三 · 错在哪里，就 修哪里的观察入口

先围绕“错在哪里，就 修哪里”建立问题，再逐页核对本小节的机制与证据。

07 // ERROR CLINIC

错在哪里，就修哪里

REVIEWDIAGNOSE类别错误下拉框改为正确类别掩码偏差笔刷添加 · 橡皮擦删除漏标物体手动新增标签属性缺失读取场景参数后补齐

类别错就改标签，边界错就修掩码，漏标要补，物理属性要回到场景参数核对。

08 // QUALITY

高质量标注，四项同时过关

完整性NO MISSING准确性类别与属性正确精确性掩码贴边 · IoU ≥ 90%一致性同类同标准ONE RULESET

完整、准确、精确、一致缺一不可；数据量不能补偿系统性错标。

09 // SAVE & EXPORT

确认一次，写入两类出口

CONFIRMEDLABEL SETSAVESYNCUSD PRIM自定义属性EXPORTCOCO · YOLO · JSON

标注既可留在 USD Prim 属性中，也可导出标准格式进入训练管线。

RECAP // CHAPTER 07

机器提速， 人工保质

01

没有答案的图， 教不会模型

标注把像素转成可监督的语义

02

从零作业，变成 批改作业

效率提升来自工作重心变化：机器先给候选答案

03

会看大概， 不会精确测量

精确质量和尺寸应读取 3D/物理参数

04

错在哪里，就 修哪里

类别错就改标签

05

确认一次，写入 两类出口

标注既可留在 USD Prim 属性中

可靠的自动标注系统不是“全自动”，而是高效的人机协同质量流程。

SOURCE QUIZ // 10 MCQ

单选题 · 10题

第 1 / 10 题原讲义题库
得分 0 / 10
SOURCE PRACTICE 01

实操一 · 单物体全流程

VLM 自动标注 + 人工修正一个物体

任务描述：对场景中一个箱子完成从自动标注到人工确认的完整流程。

操作要求

  1. 打开上一章搭建的仓储场景
  2. 进入标注模式
  3. 运行 VLM 自动标注
  4. 选中红箱子，检查并修正类别、材质、颜色、质量、可抓取性
  5. 调整分割掩码使其精确贴合物体边缘
  6. 确认标注
  7. 截图保存标注结果（能看到彩色掩码和标签）
评分标准：VLM 预标注成功（20%）、属性填写正确（30%）、掩码精确（30%）、截图清晰（20%）。
SOURCE PRACTICE 02

实操二 · 三物体标注

完整标注 3 个物体

任务描述：对场景中 3 个待操作物体（2 个箱子 + 1 个托盘）完成全部标注。

操作要求

  1. 参照讲义步骤 3-5，完成所有 3 个物体的标注和审核
  2. 每个物体必须标注：类别、材质、颜色、质量、可抓取性
  3. 检查并修正所有分割掩码
  4. 确保没有漏标和错标
  5. 保存标注数据
  6. 验证：悬停物体显示正确的标注信息

提交要求

  • 场景文件（含标注数据）
  • 截图：标注模式下的整体场景截图（所有物体有彩色掩码）
  • 导出的 JSON 标注文件
评分标准：所有物体标注完整（30%）、属性正确（30%）、掩码精确（20%）、保存导出成功（20%）。
SOURCE PRACTICE 03

实操三 · 错误排查

标注错误排查

任务描述：老师提供一个有故意标注错误的场景文件，你需要找出并修正所有错误。

错误类型包括（至少 3 个错误）

  • 1 个漏标物体
  • 1 个类别错误
  • 1 个掩码边界不精确
  • 1 个物理属性缺失

操作要求

  1. 打开老师提供的"有错误"场景
  2. 逐一检查每个物体的标注
  3. 找出所有错误并修正
  4. 保存修正后的场景
  5. 提交一份错误报告：列出发现的错误类型、位置、修正方法
评分标准：找出所有错误（40%）、修正方法正确（40%）、错误报告清晰（20%）。