CH.13 / NOTES
13 // CHAPTER ROUTE

把十三章组装成 一条管线

具身智能 · 第十三章

结业项目不是再做一道题,而是独立完成从场景、数据、训练到部署与报告的完整工程闭环。

01

六步成模,每一步都有 交付物

数据、场景、标注、渲染、训练和部署构成一条不可跳步的证…

02

项目目标:让机器人 穿过仓库

结业项目以仓储导航为载体

03

五轮随机化,得到 1360 帧

两条轨迹共 272 帧

04

导出只是开始,安全响应 才算部署

模型文件、离线输出一致性和安全层正确触发

05

三条职业路径,共享一条 数据主线

先选一条路径深入

UNIT 01 / MEETING NOTES

小节一 · 六步成模

AGENDA / 本节阅读顺序01六步成模,每一步都有 交付物02质量门槛,不是最后才 检查03项目目标:让机器人 穿过仓库
仓库导航项目从场景采集深度数据训练工作站到机器人测试场的完整证据链
图 13.1 结业项目把数据、训练、部署与安全串成闭环

先围绕“六步成模,每一步都有 交付物”建立问题,再逐页核对本小节的机制与证据。

01 // SIX-STAGE PIPELINE

六步成模,每一步都有交付物

1 数据采集LeRobot2 场景搭建USD3 数据标注annotations4 离屏渲染RGB-D5 模型训练POLICY6 部署测试REPORT

数据、场景、标注、渲染、训练和部署构成一条不可跳步的证据链。

02 // QUALITY GATES

质量门槛,不是最后才检查

采集30fps · <5ms标注准确率 >95%渲染每场景 500+ 帧训练成功 >80%部署真实成功 >70%

每个阶段都要用可量化门槛验收,避免缺陷沿管线放大到最后。

03 // PROJECT BRIEF

项目目标:让机器人穿过仓库

SG周期 2–3 周 · 平台一站式

结业项目以仓储导航为载体,要求机器人从任意起点安全到达指定终点。

UNIT 02 / MEETING NOTES

小节二 · 先搭场景

AGENDA / 本节阅读顺序01先搭场景,再让两条轨迹 覆盖关键区02五轮随机化,得到 1360 帧03训练不仅看成功,还看 碰撞与路径
小节二 · 先搭场景的章节概念路线图
图 13.2 小节二 · 先搭场景的观察入口

先围绕“先搭场景”建立问题,再逐页核对本小节的机制与证据。

04 // SCENE & TRAJECTORY

先搭场景,再让两条轨迹覆盖关键区

轨迹 A · 沿通道巡检 · 200 帧关键区轨迹 B · 环绕关键障碍 · 72 帧

场景先保证存在无碰撞路径,两条轨迹再覆盖通道交叉口与障碍物附近。

05 // DATA MULTIPLIER

五轮随机化,得到1360 帧

TRAJECTORIES200 + 72巡检 + 环绕×5 ROUNDS光照 · 纹理 · 位置=TRAINING DATA1,360RGB + DEPTH

两条轨迹共 272 帧,经过五轮域随机化扩展为 1360 帧训练数据。

06 // TRAIN & EVALUATE

训练不仅看成功,还看碰撞与路径

BC · RESNET-1880 EPOCHSBATCH 32LR .001 → .0001CROP + COLOR JITTER成功率≥ 85%碰撞率≤ 5%SPL≤ 1.25

模型验收必须同时满足到达率、安全性和路径效率,不能只看训练损失。

UNIT 03 / MEETING NOTES

小节三 · 导出只是开始

AGENDA / 本节阅读顺序01导出只是开始,安全响应 才算部署02答辩讲清问题、方法、结果和 亮点03三条职业路径,共享一条 数据主线
小节三 · 导出只是开始的章节概念路线图
图 13.3 小节三 · 导出只是开始的观察入口

先围绕“导出只是开始,安全响应 才算部署”建立问题,再逐页核对本小节的机制与证据。

07 // EXPORT & DEPLOY

导出只是开始,安全响应才算部署

MODELONNXOFFLINE TEST仿真数据推理输出一致SAFETY障碍过近停止 / 减速EDGE READY本地 PCJetson 可选RUN + LOG

模型文件、离线输出一致性和安全层正确触发,三项共同证明部署可用。

08 // DEFENSE

答辩讲清问题、方法、结果和亮点

问题方法结果亮点3 MINPITCH失败案例 + 解决过程,比只报高分更有说服力

三分钟答辩要形成“问题—方法—结果—亮点”闭环,并诚实分析失败案例。

09 // CAREER MAP

三条职业路径,共享一条数据主线

数据工程采集 · 标注仿真工程USD · 渲染策略训练模型 · 部署GOOD DATA共同语言

先选一条路径深入,同时理解好数据、好场景与好模型之间的相互约束。

RECAP // CHAPTER 13

不是训练一个模型,而是 搭好整条管线

01

六步成模,每一步都有 交付物

数据、场景、标注、渲染、训练和部署构成一条不可跳步的证…

02

项目目标:让机器人 穿过仓库

结业项目以仓储导航为载体

03

五轮随机化,得到 1360 帧

两条轨迹共 272 帧

04

导出只是开始,安全响应 才算部署

模型文件、离线输出一致性和安全层正确触发

05

三条职业路径,共享一条 数据主线

先选一条路径深入

好项目用连续证据证明每一步可复现、可验收、可解释、可部署。

SOURCE CAPSTONE 01 / 03

综合项目 · 项目要求

综合项目:导航避障全流程实操 + 报告

项目要求:使用教学实训平台,独立完成一个从数据采集到模型部署的导航避障全流程项目。具体任务包括:

  • 场景搭建:搭建一个仓储/工厂/变电站仿真场景,包含至少 5 个障碍物
  • 数据标注:为场景中所有物体完成标注(类别+材质+物理属性)
  • 相机轨迹设计:设计至少 2 条相机轨迹,覆盖关键区域
  • 域随机化渲染:配置域随机化(至少 3 轮),批量渲染 500+ 帧
  • 模型训练:训练行为克隆模型,要求成功率 ≥ 80%,碰撞率 ≤ 10%
  • 模型评估与优化:分析模型在哪些场景表现好/差,提出优化方案
  • 项目报告:按模板撰写完整的项目报告(不少于 800 字)
讲义原始任务与权重:
  • 场景搭建(15%):搭建一个仓储/工厂/变电站仿真场景,包含至少 5 个障碍物
  • 数据标注(10%):为场景中所有物体完成标注(类别+材质+物理属性)
  • 相机轨迹设计(10%):设计至少 2 条相机轨迹,覆盖关键区域
  • 域随机化渲染(15%):配置域随机化(至少 3 轮),批量渲染 500+ 帧
  • 模型训练(25%):训练行为克隆模型,要求成功率 ≥ 80%,碰撞率 ≤ 10%
  • 模型评估与优化(15%):分析模型在哪些场景表现好/差,提出优化方案
  • 项目报告(10%):按模板撰写完整的项目报告(不少于 800 字)
SOURCE CAPSTONE 02 / 03

综合项目 · 提交要求

提交完整项目证据包

提交要求

  • 项目报告(PDF 或 Markdown 格式,不少于 800 字)
  • 模型训练评估结果截图(含成功率、碰撞率、SPL)
  • 损失曲线截图
  • 可视化测试录屏(至少 30 秒,展示 2 个不同场景)
  • 渲染数据样本(任意 10 帧的 RGB 图像 + 深度图)
  • (可选)模型文件(ONNX 格式)

项目完成时间建议:2-3 周

SOURCE CAPSTONE 03 / 03

综合项目 · 评分标准

先完成自评,再查看讲义分档矩阵

YOUR RESPONSE:依据项目要求检查自己的场景、数据、模型、分析和报告证据;先写出自评分与改进计划,再揭示讲义评分标准。

评分项权重优秀(90-100)良好(75-89)及格(60-74)
场景搭建15%场景复杂、布局合理、标注完整场景完整、标注基本正确场景简单但可用
数据渲染25%域随机化配置合理、数据量大、质量高有域随机化、数据量达标基础渲染完成
模型训练30%成功率 ≥ 90%、碰撞率 ≤ 5%成功率 ≥ 80%、碰撞率 ≤ 10%成功率 ≥ 70%
分析优化20%分析深入、优化方案具体可行有基本分析、提出改进方向简单描述结果
项目报告10%结构完整、逻辑清晰、有深度反思结构完整、内容充实基本完整