使用直接偏好优化在SageMaker AI中定制Nova模型

解决方案概述

在某中心纽约峰会推出的Nova基础模型定制方案，提供了一套完整的模型训练生命周期管理能力。这些能力以即用型配方形式提供，涵盖预训练、监督微调和对齐等阶段。

技术架构

1. 用户选择特定的Nova定制配方，这些配方提供了控制训练参数、模型设置和分布式训练策略的完整配置
2. 通过API向SageMaker AI控制平面提交请求，传递Nova配方配置
3. SageMaker使用训练任务启动脚本在托管计算集群上运行配方
4. 根据所选配方自动配置基础设施、协调分布式训练，完成后自动释放资源

业务用例实现

本文重点展示如何优化Nova Micro模型以增强结构化函数调用能力，适用于特定应用场景的智能工作流。通过DPO技术，模型在F1分数上实现了81%的提升，ROUGE指标提升达42%。

关键技术点

• 直接偏好优化(DPO)：通过展示成对响应(人工标注的优选和非优选响应)来调整模型输出
• 参数高效微调：支持LoRA等高效微调方案，降低训练成本
• 评估框架：提供gen_qa和llm_judge等多种评估方案，量化模型改进效果

实施步骤

数据准备

使用nvidia/When2Call数据集，该数据集包含：

• 用户查询
• 工具选项
• 基于真实场景标注的偏好数据

数据处理流程包括：

1. 加载原始数据集
2. 转换为Nova Micro要求的格式
3. 分割训练/测试集
4. 上传至对象存储服务

DPO训练配置

estimator = PyTorch(
    output_path=f"s3://{bucket_name}/{job_name}",
    base_job_name=job_name,
    role=role,
    instance_count=instance_count,
    instance_type=instance_type,
    training_recipe=recipe,
    recipe_overrides=recipe_overrides,
    max_run=18000,
    sagemaker_session=sess,
    image_uri=image_uri
)

模型评估

提供两种评估方案：

1. gen_qa任务评估：测量响应准确性、精确度和推理质量
2. llm_judge任务评估：使用LLM作为评判员比较模型输出

评估结果显示：

• F1分数提升81%
• ROUGE-1提升39%
• ROUGE-2提升42%

模型部署

通过创建自定义模型API部署到推理服务：

1. 指定模型检查点路径
2. 创建自定义模型
3. 监控部署状态
4. 配置按需推理

资源清理

为避免产生额外费用，需要：

1. 删除未使用的SageMaker资源
2. 删除自定义模型部署
3. 清理对象存储中的临时文件

技术价值

该方案展示了：

1. 完全托管的训练体验，简化高级AI定制流程
2. 显著的性能提升效果
3. 与原生工具的深度集成能力
4. 按秒计费的弹性成本模型