大模型微调：业务数据驱动的实践

// 完整的对话单元，用于训练模型生成响应的能力
{
"messages":[
{"role":"system","content":"系统角色设定，例如：你是一名专业的金融分析师。"},// 定义模型身份和背景
{"role":"user","content":"用户提出的问题或指令，例如：请分析最近的股票市场走势。"},// 用户的输入
{"role":"assistant","content":"模型期望给出的回答，例如：近期股票市场呈现震荡上行趋势，主要受宏观经济数据和企业财报影响。"}// 期望的模型输出
]
}

{"messages":[{"role":"system","content":"你是一名专业的金融交易确认系统，负责生成合规的交易确认信息。"},
{"role":"user","content":"请确认一笔股票买入交易，股票代码为AAPL，数量100股，价格170美元，交易对手为高盛。"},
{"role":"assistant","content":"交易确认：您已成功买入AAPL股票100股，成交价格170美元。交易对手：高盛。请注意，此交易已记录并符合相关监管要求。"}]}

{"messages":[{"role":"system","content":"你是一名专业的金融交易确认系统，负责生成合规的交易确认信息。"},
{"role":"user","content":"请确认一笔债券卖出交易，债券代码为US10Y，面值100000美元，收益率3.5%，交易对手为摩根大通。"},
{"role":"assistant","content":"交易确认：您已成功卖出US10Y债券，面值100000美元，收益率3.5%。交易对手：摩根大通。此交易已完成清算，请查收您的账户余额。"}]}

SELECT
    e.model,
    ml.fault_description,
    ml.diagnosis,
    ml.repair_steps
FROM
    equipment e
JOIN
    maintenance_logs ml ON e.equipment_id = ml.equipment_id
WHERE
    ml.diagnosis ISNOTNULLAND ml.repair_steps ISNOTNULL;

{"messages": [{"role": "system", "content": "你是一名资深的工业设备诊断专家，能够根据设备故障描述提供专业的诊断和维修建议。"},
              {"role": "user", "content": "型号为XYZ-200的生产线设备，最近出现异响，并且产量明显下降。"},
              {"role": "assistant", "content": "根据您的描述，XYZ-200设备异响和产量下降可能指示轴承磨损或传动系统故障。建议首先检查轴承润滑情况，并检查传动皮带是否松弛或损坏。"}]}

{"messages": [{"role": "system", "content": "你是一名资深的工业设备诊断专家，能够根据设备故障描述提供专业的诊断和维修建议。"},
              {"role": "user", "content": "型号为ABC-500的数控机床，加工精度突然下降，表面粗糙度增加。"},
              {"role": "assistant", "content": "ABC-500数控机床加工精度下降和表面粗糙度增加，常见原因包括刀具磨损、主轴跳动过大或导轨间隙异常。请检查刀具状态并进行更换，同时检查主轴和导轨的精度。"}]}

import json
import sqlite3

# 连接数据库（这里使用SQLite作为示例，实际应用中可能是MySQL、PostgreSQL等）
conn = sqlite3.connect("manufacturing_data.db")
cursor = conn.cursor()

# 假设数据库中已存在 equipment 和 maintenance_logs 表并有数据
# 为了演示，这里手动创建并插入一些示例数据
cursor.execute("""
CREATE TABLE IF NOT EXISTS equipment (
    equipment_id INTEGER PRIMARY KEY,
    model TEXT,
    type TEXT,
    location TEXT
);
""")
cursor.execute("""
CREATE TABLE IF NOT EXISTS maintenance_logs (
    log_id INTEGER PRIMARY KEY,
    equipment_id INTEGER,
    fault_description TEXT,
    diagnosis TEXT,
    repair_steps TEXT,
    repair_date TEXT
);
""")

cursor.execute("INSERT INTO equipment (equipment_id, model, type, location) VALUES (1, \'XYZ-200\', \'生产线设备\', \'车间A\');")
cursor.execute("INSERT INTO equipment (equipment_id, model, type, location) VALUES (2, \'ABC-500\', \'数控机床\', \'车间B\');")

cursor.execute("INSERT INTO maintenance_logs (equipment_id, fault_description, diagnosis, repair_steps, repair_date) VALUES (1, \'设备异响，产量下降\', \'轴承磨损\', \'检查轴承润滑，更换磨损轴承\', \'2024-05-10\');")
cursor.execute("INSERT INTO maintenance_logs (equipment_id, fault_description, diagnosis, repair_steps, repair_date) VALUES (2, \'加工精度下降，表面粗糙度增加\', \'刀具磨损\', \'检查刀具状态，更换刀具\', \'2024-06-01\');")
conn.commit()

# 查询数据
query = """
SELECT
    e.model,
    ml.fault_description,
    ml.diagnosis,
    ml.repair_steps
FROM
    equipment e
JOIN
    maintenance_logs ml ON e.equipment_id = ml.equipment_id
WHERE
    ml.diagnosis IS NOT NULL AND ml.repair_steps IS NOT NULL;
"""
cursor.execute(query)
data = cursor.fetchall()

# 转换 JSONL
jsonl_data = []
for row in data:
    model_name = row[0]
    fault_desc = row[1]
    diagnosis = row[2]
    repair_steps = row[3]

    user_message = f"型号为{model_name}的设备，最近出现{fault_desc}。"
    assistant_response = f"根据您的描述，{model_name}设备{fault_desc}可能指示{diagnosis}。建议{repair_steps}。"

    json_obj = {
"messages": [
            {"role": "system", "content": "你是一名资深的工业设备诊断专家，能够根据设备故障描述提供专业的诊断和维修建议。"},
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": assistant_response}
        ]
    }
    jsonl_data.append(json_obj)

# 保存 JSONL 文件
withopen("equipment_diagnosis.jsonl", "w", encoding="utf-8") as f:
for obj in jsonl_data:
        f.write(json.dumps(obj, ensure_ascii=False) + "\n")

print("✅ 制造设备故障诊断 JSONL 数据已成功转换！")

# 关闭数据库连接
conn.close()

import json
import sqlite3

# 连接数据库
conn = sqlite3.connect("project_management.db")
cursor = conn.cursor()

# 创建并插入示例数据
cursor.execute("""
CREATE TABLE IF NOT EXISTS tasks (
    task_id INTEGER PRIMARY KEY,
    task_name TEXT,
    status TEXT,
    assigned_to TEXT,
    due_date TEXT
);
""")
cursor.execute("INSERT INTO tasks (task_id, task_name, status, assigned_to, due_date) VALUES (1001, \'用户认证模块开发\', \'进行中\', \'张三\', \'2025-07-15\');")
cursor.execute("INSERT INTO tasks (task_id, task_name, status, assigned_to, due_date) VALUES (1002, \'数据库优化\', \'待开始\', \'李四\', \'2025-07-20\');")
cursor.execute("INSERT INTO tasks (task_id, task_name, status, assigned_to, due_date) VALUES (1003, \'接口文档编写\', \'已完成\', \'王五\', \'2025-07-10\');")
conn.commit()

# 查询数据
query = "SELECT task_name, status, assigned_to, due_date FROM tasks;"
cursor.execute(query)
data = cursor.fetchall()

jsonl_data = []

for row in data:
    task_name = row[0]
    status = row[1]
    assigned_to = row[2]
    due_date = row[3]

# 规则 1
    jsonl_data.append({
"messages": [
            {"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
            {"role": "user", "content": f"请问任务 \'{task_name}\' 的当前状态是什么？"},
            {"role": "assistant", "content": f"任务 \'{task_name}\' 的当前状态是 \'{status}\'。"}
        ]
    })

# 规则 2
    jsonl_data.append({
"messages": [
            {"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
            {"role": "user", "content": f"任务 \'{task_name}\' 的负责人是谁？"},
            {"role": "assistant", "content": f"任务 \'{task_name}\' 的负责人是 \'{assigned_to}\'。"}
        ]
    })

# 规则 3
    jsonl_data.append({
"messages": [
            {"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
            {"role": "user", "content": f"任务 \'{task_name}\' 的截止日期是什么时候？"},
            {"role": "assistant", "content": f"任务 \'{task_name}\' 的截止日期是 {due_date}。"}
        ]
    })

# 保存 JSONL
withopen("synthetic_project_data_rule_based.jsonl", "w", encoding="utf-8") as f:
for obj in jsonl_data:
        f.write(json.dumps(obj, ensure_ascii=False) + "\n")

print("✅ 规则生成的项目管理 JSONL 数据已完成！")

conn.close()

{"messages": [{"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
              {"role": "user", "content": "请问任务 \'用户认证模块开发\' 的当前状态是什么？"},
              {"role": "assistant", "content": "任务 \'用户认证模块开发\' 的当前状态是 \'进行中\'。"}]}
{"messages": [{"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
              {"role": "user", "content": "任务 \'用户认证模块开发\' 的负责人是谁？"},
              {"role": "assistant", "content": "任务 \'用户认证模块开发\' 的负责人是 \'张三\'。"}]}

你是一名专业的项目管理专家。请根据以下项目任务信息，生成 3 组高质量的问答对，模拟项目成员可能提出的问题和你的专业回答：

项目任务：
任务名称：用户认证模块开发
状态：进行中
负责人：张三
截止日期：2025-07-15

请生成问答：

import json
# import openai # 实际使用时需要导入openai库，并配置API Key

# 假设从数据库中提取的原始数据
project_tasks = [
    {"task_name": "用户认证模块开发", "status": "进行中", "assigned_to": "张三", "due_date": "2025-07-15"},
    {"task_name": "数据库优化", "status": "待开始", "assigned_to": "李四", "due_date": "2025-07-20"},
]

jsonl_data_llm = []

for task in project_tasks:
    prompt = f"""
你是一名专业的项目管理专家。请根据以下项目任务信息，生成 3 组高质量的问答对，模拟项目成员可能提出的问题和你的专业回答：

项目任务：
任务名称：{task["task_name"]}
状态：{task["status"]}
负责人：{task["assigned_to"]}
截止日期：{task["due_date"]}

请生成问答：
"""

# 实际调用LLM API的代码，这里仅为示例结构
# response = openai.ChatCompletion.create(
#     model="gpt-4",
#     messages=[{"role": "system", "content": "你是项目管理专家，擅长生成项目管理问答数据。"},
#               {"role": "user", "content": prompt}],
#     temperature=0.7,
#     max_tokens=500,
#     api_key="your-openai-api-key"
# )

# 模拟LLM返回的问答对，实际应解析LLM的response
# 为了避免实际调用API，这里直接给出模拟数据
    mock_qa_pairs = [
f"Q: {task["task_name"]}的最新进展是什么？\nA: {task["task_name"]}目前处于{task["status"]}状态，由{task["assigned_to"]}负责。",
f"Q: {task["task_name"]}能否按时完成？\nA: 根据目前进度，{task["task_name"]}预计在{task["due_date"]}前完成，{task["assigned_to"]}正在积极推进。",
f"Q: 关于{task["task_name"]}，我需要联系谁了解详情？\nA: 关于{task["task_name"]}的详细情况，您可以直接联系负责人{task["assigned_to"]}。"
    ]

for qa in mock_qa_pairs:
if"Q:"in qa and"A:"in qa:
            question = qa.split("Q: ")[1].split("\nA: ")[0]
            answer = qa.split("\nA: ")[1]
            json_obj = {
"messages": [
                    {"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
                    {"role": "user", "content": question},
                    {"role": "assistant", "content": answer}
                ]
            }
            jsonl_data_llm.append(json_obj)

# 保存 JSONL
withopen("synthetic_project_data_llm_based.jsonl", "w", encoding="utf-8") as f:
for obj in jsonl_data_llm:
        f.write(json.dumps(obj, ensure_ascii=False) + "\n")

print("✅ LLM 合成的项目管理 JSONL 数据已完成！")

conn.close()

{"messages": [{"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
              {"role": "user", "content": "用户认证模块开发的最新进展是什么？"},
              {"role": "assistant", "content": "用户认证模块开发目前处于进行中状态，由张三负责。"}]}
{"messages": [{"role": "system", "content": "你是一名项目管理助手，能够回答项目任务相关的问题。"},
              {"role": "user", "content": "用户认证模块开发能否按时完成？"},
              {"role": "assistant", "content": "根据目前进度，用户认证模块开发预计在2025-07-15前完成，张三正在积极推进。"}]}