CH.12 / NOTES
12 // CHAPTER ROUTE

跨过最后一道 现实鸿沟

具身智能 · 第十二章

仿真中的高分模型只有经过域随机化、边缘部署与安全验证,才能成为现实中的可用系统。

01

仿真冠军,到了现实 可能撞墙

Sim-to-Real Gap 是仿真训练模型进入真实…

02

不要只做得像,要做得 足够多样

域随机化扩大仿真覆盖面

03

大量仿真预训练,少量真实 微调

域适配保留仿真学到的通用能力

04

.pth 经过 ONNX,最终变成 TensorRT

PyTorch 用于训练

05

低速起步,把异常送回 训练环

部署从离线验证和 30% 低速开始

UNIT 01 / MEETING NOTES

小节一 · 仿真冠军

AGENDA / 本节阅读顺序01仿真冠军,到了现实 可能撞墙02差距来自视觉、物理和 传感器03不要只做得像,要做得 足够多样
同一移动机器人在透明仿真模型和真实仓库跑道中接受域变化与安全测试
图 12.1 跨域部署要同时验证迁移效果与安全兜底

先围绕“仿真冠军,到了现实 可能撞墙”建立问题,再逐页核对本小节的机制与证据。

01 // THE GAP

仿真冠军,到了现实可能撞墙

SIMULATION85%GAPREAL WORLDPERF ↓Gap = Sim 成功率 − Real 成功率

Sim-to-Real Gap 是仿真训练模型进入真实环境后出现的性能下降。

02 // GAP SOURCES

差距来自视觉、物理和传感器

视觉差异光照 · 阴影纹理 · 白平衡物理差异摩擦 · 质量打滑 · 阻尼传感器差异噪点 · 延迟测量误差

真实环境会同时改变外观、运动规律和观测质量,三类差异共同拉低性能。

03 // DOMAIN RANDOMIZATION

不要只做得像,要做得足够多样

光照纹理位置噪声物理REAL WORLD多样性中的一种

域随机化扩大仿真覆盖面,让真实环境落入模型已经见过的变化范围。

UNIT 02 / MEETING NOTES

小节二 · 每轮在线增广

AGENDA / 本节阅读顺序01每轮在线增广,都看见 新变化02大量仿真预训练,少量真实 微调03模型留在机器人,延迟 更低
小节二 · 每轮在线增广的章节概念路线图
图 12.2 小节二 · 每轮在线增广的观察入口

先围绕“每轮在线增广,都看见 新变化”建立问题,再逐页核对本小节的机制与证据。

04 // ONLINE AUGMENTATION

每轮在线增广,都看见新变化

SAME SAMPLE每个 EPOCH 在线生成亮度 / 对比度高斯噪声随机裁剪 + 缩放颜色抖动不删除训练数据

训练时在线增广让每轮图像略有不同,比离线复制更省空间也更防过拟合。

05 // DOMAIN ADAPTATION

大量仿真预训练,少量真实微调

SIM DATA × MANY多样仿真场景预训练GENERAL FEATURESREAL DATA × FEW少量真实样本微调保留通用能力 · 适配现实外观

域适配保留仿真学到的通用能力,再用少量真实数据调整环境特征。

06 // EDGE DEPLOYMENT

模型留在机器人,延迟更低

EDGE / JETSONAIMODEL LOCAL< 10 ms不经网络,本地返回动作低延迟 · 隐私 · 离线可用CLOUD网络延迟 · 断连风险

边缘端把推理留在机器人本体,获得低延迟、离线可用与本地隐私。

UNIT 03 / MEETING NOTES

小节三 · .pth 经过 ON…

AGENDA / 本节阅读顺序01.pth 经过 ONNX02三层安全,硬件急停 最高优先03低速起步,把异常送回 训练环
小节三 · .pth 经过 ON…的章节概念路线图
图 12.3 小节三 · .pth 经过 ON…的观察入口

先围绕“.pth 经过 ONNX”建立问题,再逐页核对本小节的机制与证据。

07 // MODEL FORMAT

.pth 经过 ONNX,最终变成TensorRT

PYTORCH.pthTRAINONNX中间交换格式torch.onnx.exportTensorRT.engineJetson 优化推理DEPLOY

PyTorch 用于训练,ONNX 负责交换,TensorRT 针对 NVIDIA 边缘 GPU 优化推理。

08 // SAFETY STACK

三层安全,硬件急停最高优先

L3 硬件|物理急停L2 固件|力矩限制L1 软件|碰撞预测AI ACTION · 最低优先优先级 ↑故障安全 FAIL-SAFE深度图读取失败默认:立即停止

安全优先级是物理急停、力矩限制、碰撞预测、AI 输出,故障时默认停止。

09 // DEPLOYMENT LOOP

低速起步,把异常送回训练环

01仿真训练随机化 + 增广02模型导出03边缘环境04离线测试05真实测试先 30% 速度06迭代优化异常 → 数据

部署从离线验证和 30% 低速开始,真实异常必须回流为新数据与新参数。

RECAP // CHAPTER 12

真实考验,才算 真正能用

01

仿真冠军,到了现实 可能撞墙

Sim-to-Real Gap 是仿真训练模型进入真实…

02

不要只做得像,要做得 足够多样

域随机化扩大仿真覆盖面

03

大量仿真预训练,少量真实 微调

域适配保留仿真学到的通用能力

04

.pth 经过 ONNX,最终变成 TensorRT

PyTorch 用于训练

05

低速起步,把异常送回 训练环

部署从离线验证和 30% 低速开始

缩小域差距、优化边缘推理、独立安全保护和真实迭代共同决定部署质量。

SOURCE QUIZ // 8 MCQ

单选题 · 8题

第 1 / 8 题原讲义题库
得分 0 / 8
SOURCE QUIZ // 5 TRUE-FALSE

判断题 · 5题

第 1 / 5 题原讲义题库
得分 0 / 5