遥操作真正生产的是 训练数据
在具身智能中
CH.03 / NOTES
教机器人 干活
具身智能 · 第三章
把人的一次操作，录成机器可以学习的“观测 → 动作”序列。第三章从遥操作出发，走完整条硬件数据采集流水线。
不碰机器人，也能把人的动作 采下来
无本体采集不需要机器人实体
一条轨迹，就是完整的 观测—动作序列
模型学习的不是孤立视频或关节值
同步误差会把正确数据配成 错误因果
观测和动作必须对齐到同一时刻
好数据靠 质检 + 重采 炼成
质量门槛保证每条轨迹可信
UNIT 01 / MEETING NOTES
小节一 · 遥操作真正生产的是 …
先围绕“遥操作真正生产的是 训练数据”建立问题，再逐页核对本小节的机制与证据。
CH.03 / TELEOP
遥操作真正生产的是训练数据
核心目的：记录“观测 → 动作”
主端 Master
操作者输入设备
领导臂 / VR 手柄
从端 Slave
复现操作者动作
机械臂 / 夹爪
数据记录
Oₜ → Aₜ
每次操作生成一条轨迹
CH.03 / THREE RIGS
三种主端，没有一种通吃所有任务
ALOHALEADER ARMS
- 优势
- 低成本、开源、力反馈直观
- 边界
- 工作空间受限，精度一般
- 适合
- 桌面级精细操作
主从异构臂HAPTIC MASTER
- 优势
- 毫米级精度、细腻力反馈、6 DoF
- 边界
- 价格高，操作门槛高
- 适合
- 装配与医疗机器人
VR 手柄SPATIAL TRACKING
- 优势
- 成本低、部署快、操作直观
- 边界
- 缺少力反馈，精度较低
- 适合
- 教学、原型与大范围移动
CH.03 / BODYLESS
不碰机器人，也能把人的动作采下来
第一人称 / HEAD CAM固定视角OUTPUT: 3D HAND TRAJECTORY
第一人称
视角自然，与操作者看到的画面一致。
固定视角
部署简单，不干扰正常操作。
多视角融合
头戴 + 多个固定相机，重建手部轨迹。
UNIT 02 / MEETING NOTES
小节二 · 遥操作求 精
先围绕“遥操作求 精 ，无本体求 多”建立问题，再逐页核对本小节的机制与证据。
CH.03 / CHOICE
遥操作求精，无本体求多
数据精度 ↑采集规模与效率 →
遥操作精确关节角度
有力反馈
有力反馈
无本体采集融入工作流
规模更大
规模更大
CH.03 / TRAJECTORY
一条轨迹，就是完整的观测—动作序列
T0 / START
OBSERVATION
图像、角度、力
图像、角度、力
ACTION
目标角度 / 速度
目标角度 / 速度
T1
看到物体更近
机械臂继续前伸
T2
夹爪到达目标
闭合夹爪
TN / END
任务完成状态
停止并保存
EPISODE一次完整操作过程，由连续 Timestep 组成。
CH.03 / LEROBOT
LeRobot 把异构数据装进一个标准包
├─data/
├─episode_000000.parquet
├─videos/
├─cam01/episode_000000.mp4
└─meta/
├─info.json
├─episodes.jsonl
└─stats.json
CH.03 / SIGNAL QUALITY
清晰度和时间精度，都不是越大越好
分辨率：细节与存储的拉锯
320×240
640×480
4K
细节不足清晰度 / 开销平衡存储与显存压力大
DEFAULT 640×480 @ 30fps
帧率：先问动作有多快
FPS ≥ 2 × 动作最高频率慢 10–15中 20–30快 50+
UNIT 03 / MEETING NOTES
小节三 · 同步误差与错误因果
先围绕“同步误差会把正确数据配成 错误…”建立问题，再逐页核对本小节的机制与证据。
CH.03 / SYNC
同步误差会把正确数据配成错误因果
问题：相机晚了 50ms，图像与关节状态错位
CAMERA
JOINT
FRAME 10 图像 ≠ FRAME 10 动作
硬件同步
外部触发，同一时钟工作。
最可靠软件同步
采集后按时间戳匹配最近帧。
次选平台模块
内置硬件同步。
误差 < 5msCH.03 / FACTORY
数采工厂：把一次示范走成六步流水线
进入模块
登录平台，打开数采工厂。
检查硬件
绿正常、黄待校准、红未连接。
创建任务
名称、类型、30fps、640×480。
执行采集
动作匀速连贯，异常及时标记。
预览质检
视频、关节曲线、帧率与同步。
导出数据
LeRobot 或 CSV，本地或云端。
CH.03 / QA
好数据靠质检 + 重采炼成
DATA QA / CHECKLIST
✓图像清晰，无运动模糊VISIBLE
✓实际帧率波动 < 10%STABLE
✓时间戳误差 < 10msSYNCED
✓轨迹完整，无中断跳帧COMPLETE
!同类物体标注保持一致REVIEW
倒水任务 / 15 秒动作拆解
0–3s
到杯上方
到杯上方
3–5s
下降抓取
下降抓取
5–8s
抬起移动
抬起移动
8–11s
倾斜倒水
倾斜倒水
11–13s
回正放回
回正放回
13–15s
回初始位
回初始位
重复 10–20 次，每次位置微调 ±2cm；记录备注，增加多样性。
RECAP // 第三章
采集链路的五个 质量关口
遥操作真正生产的是 训练数据
在具身智能中
不碰机器人，也能把人的动作 采下来
无本体采集不需要机器人实体
一条轨迹，就是完整的 观测—动作序列
模型学习的不是孤立视频或关节值
同步误差会把正确数据配成 错误因果
观测和动作必须对齐到同一时刻
好数据靠 质检 + 重采 炼成
质量门槛保证每条轨迹可信
CH.03 / QUIZ
单选题：采集链路压力测试
题目 1 / 10
得分 0 / 10
1. 遥操作（Teleoperation）在具身智能领域的主要目的是什么？
正确答案：B。遥操作在具身智能的核心价值是数据采集。每次操作都生成一条“观测→动作”序列，这些数据用于训练 AI 策略模型。选项 A 是遥操作的传统应用，但不是具身智能的核心目的。
2. 以下哪个不是遥操作系统的三要素之一？
正确答案：D。遥操作三要素是主端、从端和通信链路。云端服务器虽然常用于数据存储，但不是遥操作系统的必要组成部分，本地也可以完成采集。
3. ALOHA 方案的主要特点是什么？
正确答案：C。ALOHA（A Low-cost Open-source Hardware System）是斯坦福开源的低成本方案，使用两个小型领导臂作为主端，操作者直接抓取领导臂来操控从端机械臂。特点是成本低（约 2 万美元）、开源、有直观力反馈。
4. “无本体采集”的含义是？
正确答案：A。无本体采集的核心是“不需要机器人本体”，只通过摄像头等设备采集人的动作数据。这些数据经过处理后可用于训练机器人。选项 B、C 错误（仍需摄像头等硬件），选项 D 完全相反。
5. LeRobot 数据格式中，一条轨迹（episode）的核心结构是什么？
正确答案：B。轨迹数据的核心结构是“观测→动作”序列，即每个时间步记录机器人看到了什么（观测）和做了什么（动作）。LeRobot 格式基于 Parquet 列式存储，同时包含图像、关节角度、时间戳等多种数据类型。
6. 教学实训平台推荐的默认图像分辨率和帧率是多少？
正确答案：B。640×480 @ 30fps 是经过大量实验验证的“甜点”配置，在清晰度和存储开销之间取得平衡。这个分辨率足以让模型识别操作物体，同时不会造成过大的存储压力。
7. 多传感器同步误差会导致什么问题？
正确答案：B。同步误差意味着摄像头记录的图像和关节角度数据之间存在时间偏差。如果第 10 帧的图像对应的是第 9 帧的关节状态，模型就会学到错误的“观测→动作”映射，导致训练失败。
8. 在数采工厂中，如果硬件状态显示黄色 🟡，表示什么？
正确答案：B。绿色 = 已连接正常，黄色 = 已连接但待校准，红色 = 未连接。黄色状态常见于力传感器等需要每次使用前归零校准的设备。
9. 采集“倒水任务”时，建议重复采集多少次？
正确答案：B。10-20 次是推荐的采集量。太少（1 次）数据量不足，模型无法泛化；太多（100+）会浪费人力和存储。关键在于每次轻微改变初始条件（如物体位置 ±2cm），增加数据多样性。
10. 以下关于采集质量标准的描述，哪个是正确的？
正确答案：C。根据奈奎斯特采样定理，采样频率至少是信号最高频率的 2 倍才能完整重建信号。对于具身数据采集，帧率至少是动作最高变化频率的 2 倍。A 错误（4K 存储爆炸），B 错误（帧率太低会导致时序精度不足），D 错误（100ms 误差会严重影响模型学习）。
先作答，再查看讲义解析
CH.03 / PRACTICAL 01
实操一：完成一次数据采集
讲义原始任务要求
- 登录具身智能教学实训平台，进入数采工厂。
- 创建一个新的采集任务，任务名格式为 {你的动作}_{你的姓名}_v1（如 抓取_张三_v1）。
- 检查硬件连接状态，确保所有设备为绿色。
- 执行采集操作，完成一个简单的抓取-放置动作（抓取桌面物体，移动到另一个位置放下）。
- 采集时长不少于 10 秒。
- 导出数据为 LeRobot 格式，保存到本地。
提交要求
提交导出的 .zip 文件 + 一张数采工厂数据预览页面的截图（包含关节角度曲线）。讲义评分标准
参考方向：讲义未提供固定标准答案，以导出的数据、预览截图和质量指标为实际作答依据。
- 数据文件完整可读（40%）
- 轨迹完整，无中断跳帧（30%）
- 关节角度曲线平滑，无异常跳变（30%）
CH.03 / PRACTICAL 02
实操二：写一份数据质量报告
讲义原始任务要求
基于你采集的数据，撰写一份简短的数据质量分析报告（200-300 字），包含以下内容：
- 采集任务的基本信息（任务名、时长、总帧数、文件大小）。
- 帧率稳定性分析（查看平台提供的帧率统计）。
- 同步精度检查结果。
- 是否有异常帧？如有，描述异常表现并分析可能原因。
- 改进建议（如果重新采集，你会做哪些调整？）。
提交要求
提交 Markdown 或 Word 格式的报告文件。讲义评分标准
参考方向：讲义未提供固定标准答案，以采集数据和平台质量统计为依据完成报告。
- 报告结构完整，覆盖所有要求内容（40%）
- 数据分析准确，能正确解读平台提供的质量指标（30%）
- 改进建议具体、可操作（30%）
01 / 18