GMR (General Motion Retargeting): 通用运动重定向系统技术综述

核心功能模块:
- 正向运动学(FK): 根据关节角度计算末端执行器位置
- 逆向运动学(IK): 根据目标位置求解关节角度
- 坐标系变换: 局部坐标系与全局坐标系的相互转换
- 关节限制: 自动解析并强制执行关节角度和速度限制

"pelvis": [
    "pelvis",        // 对应的人体部位名称
    100,             // 位置跟踪权重
    10,              // 旋转跟踪权重
    [0.0, 0.0, 0.0], // 位置偏移量(x, y, z)
    [0.5, -0.5, -0.5, -0.5]  // 旋转偏移量(四元数 wxyz)
]

[人体运动数据源]
    ↓
[数据加载器] (load_smplx_file / load_bvh_file / fbx_importer)
    ↓
[数据标准化] → {body_name: (pos, quat)}
    ↓
[人体尺度缩放] (scale_human_data)
    ↓
[坐标系映射] (offset_human_data)
    ↓
[IK 求解器] (mink.solve_ik)
    ↓
[机器人关节配置] → qpos = [base_pos, base_quat, joint_angles]
    ↓
[可视化/保存] (RobotMotionViewer / pickle 序列化)

{
    "body_name": [
        np.array([x, y, z]),          # 3D 全局位置
        np.array([w, x, y, z])        # 四元数旋转(标量在前,遵循 MuJoCo 约定)
    ]
}

ratio = actual_human_height / config["human_height_assumption"]
for body_part in human_scale_table:
    scaled_offset = original_offset * ratio * scale_factor[body_part]

VELOCITY_LIMITS = {motor_name: 3*π for motor_name in robot_motors}

def offset_human_data_to_ground(self, human_data):
    # 检测脚部最低点
    lowest_foot_z = min([pos[2] for name, (pos, _) in human_data.items() 
                         if "foot" in name.lower()])
    # 将整体运动抬升至地面以上 0.1m
    return apply_offset(human_data, z_offset=-lowest_foot_z + 0.1)

OptiTrack 动捕系统 → GMR 实时重定向 → RL 跟踪策略 → 真实机器人执行

# 批量转换 AMASS 数据集
python scripts/smplx_to_robot_dataset.py \
    --src_folder /path/to/AMASS \
    --tgt_folder /path/to/robot_motions \
    --robot unitree_g1

# 1. 从视频提取人体姿态 (GVHMR)
cd GVHMR && python tools/demo/demo.py --video tennis.mp4

# 2. 姿态数据重定向到机器人 (GMR)
python scripts/gvhmr_to_robot.py \
    --gvhmr_pred_file outputs/demo/tennis/hmr4d_results.pt \
    --robot unitree_g1 \
    --record_video

GMR/
├── general_motion_retargeting/    # 核心库
│   ├── __init__.py
│   ├── motion_retarget.py         # 主重定向类
│   ├── kinematics_model.py        # 运动学计算
│   ├── robot_motion_viewer.py     # 可视化
│   ├── data_loader.py             # 数据 I/O
│   ├── params.py                  # 机器人参数配置
│   ├── rot_utils.py               # 旋转表示转换
│   ├── ik_configs/                # IK 配置文件
│   │   ├── smplx_to_*.json
│   │   ├── bvh_*_to_*.json
│   │   └── fbx_to_*.json
│   └── utils/                     # 工具模块
│       ├── smpl.py                # SMPL-X 处理
│       └── lafan1.py              # LAFAN1 处理
├── scripts/                       # 命令行工具
│   ├── smplx_to_robot.py          # 单文件转换
│   ├── smplx_to_robot_dataset.py  # 批量转换
│   ├── bvh_to_robot.py
│   ├── fbx_offline_to_robot.py
│   ├── gvhmr_to_robot.py
│   ├── optitrack_to_robot.py      # 实时流式处理
│   └── vis_robot_motion.py        # 可视化工具
├── assets/                        # 资源文件
│   ├── body_models/smplx/         # SMPL-X 模型
│   └── {robot_name}/              # 各机器人模型
│       ├── *.xml                  # MuJoCo XML
│       ├── *.urdf                 # URDF 描述
│       └── meshes/                # 3D 网格
├── setup.py                       # 安装配置
├── README.md                      # 用户文档
├── DOC.md                         # IK 配置文档
└── CLAUDE.md                      # AI 辅助开发文档

install_requires=[
    "mink",                        # IK 求解器
    "mujoco",                      # 物理引擎
    "numpy", "scipy",              # 数值计算
    "qpsolvers[proxqp]",           # QP 求解器
    "smplx",                       # SMPL-X 模型
    "opencv-python", "imageio",    # 视频处理
]
python_requires='>=3.10'

[动捕硬件] → [GMR 重定向] → [RL 跟踪策略] → [真实机器人]
             ↑ 核心模块      ↑ TWIST 训练框架

# 1. 创建 Conda 环境
conda create -n gmr python=3.10 -y
conda activate gmr

# 2. 安装 GMR
git clone https://github.com/YanjieZe/GMR.git
cd GMR
pip install -e .

# 3. 解决渲染库依赖
conda install -c conda-forge libstdcxx-ng -y

# 4. (重要)修改 SMPL-X 配置
# 编辑 {conda_env}/lib/python3.10/site-packages/smplx/body_models.py
# 将 ext='npz' 改为 ext='pkl' (如果使用 .pkl 文件)

# 下载 SMPL-X 模型 (需注册账号)
# 网址: https://smpl-x.is.tue.mpg.de/
# 放置在: assets/body_models/smplx/
# 文件: SMPLX_NEUTRAL.pkl, SMPLX_MALE.pkl, SMPLX_FEMALE.pkl

# 下载 AMASS 数据集 (可选)
# 网址: https://amass.is.tue.mpg.de/
# 注意: 下载 SMPL-X 版本(不是 SMPL+H)

# 下载 LAFAN1 数据集 (可选)
# 网址: https://github.com/ubisoft/ubisoft-laforge-animation-dataset

# 示例 1: SMPL-X 转 Unitree G1
python scripts/smplx_to_robot.py \
    --smplx_file datasets/ACCAD/Stand.npz \
    --robot unitree_g1 \
    --save_path trajectory/stand_g1.pkl \
    --rate_limit

# 示例 2: BVH 转 Fourier N1
python scripts/bvh_to_robot.py \
    --bvh_file datasets/lafan1/dance1_subject2.bvh \
    --robot fourier_n1 \
    --format lafan1 \
    --record_video \
    --video_path videos/n1_dance.mp4

# 示例 3: 可视化已保存的轨迹
python scripts/vis_robot_motion.py \
    --robot unitree_g1 \
    --robot_motion_path trajectory/stand_g1.pkl

# 示例 4: 批量转换数据集
python scripts/smplx_to_robot_dataset.py \
    --src_folder /path/to/AMASS \
    --tgt_folder /path/to/robot_dataset \
    --robot unitree_g1

# 方法 1: 减少迭代次数
retarget.max_iter = 5  # 默认 10

# 方法 2: 降低阻尼系数(可能影响稳定性)
retarget = GMR(..., damping=1e-1)  # 默认 5e-1

# 方法 3: 禁用速度限制(如果不需要物理约束)
retarget = GMR(..., use_velocity_limit=False)

# 方法 1: 增加迭代次数
retarget.max_iter = 20

# 方法 2: 调整 IK 配置权重
# 编辑 general_motion_retargeting/ik_configs/smplx_to_{robot}.json
# 提高关键部位的 position_cost 和 orientation_cost

# 方法 3: 提供准确的人体身高
retarget = GMR(..., actual_human_height=1.75)

{
    "human_height_assumption": 1.8,
    "robot_root_name": "pelvis",
    "human_root_name": "pelvis",
    "human_scale_table": {
        "pelvis": 0.9,
        "left_foot": 0.9,
        ...
    },
    "ik_match_table1": {
        "robot_body_name": [
            "human_body_name",
            position_weight,
            orientation_weight,
            [x_offset, y_offset, z_offset],
            [qw, qx, qy, qz]
        ],
        ...
    }
}