建议收藏！全球国家零售知识RAG⽅案

来自学员的企业级实战项目分享：全球国家零售知识RAG⽅案

数据处理

文档切分

目标是确保切块(Chunk)既包含足够信息，又具有明确的粒度和主题焦点，以利于后续的元数据标注和检索。

元数据设计

元数据是 RAG 成功的关键，它使我们能够进行混合检索（关键词过滤 + 向量相似度）。

对于零售知识，元数据应覆盖零售的 5W1H。

切分技术实现

切分工具：MinerU

MinerU（全称：MinerU Document Intelligence）是阿里巴巴达摩院推出的文档智能解析与信息抽取平台，主要用于从 PDF、Word、PPT、图片等复杂文档中：

• 提取文字、表格、图表、公式、图片等结构化内容
• 进行版面分析(Layout Analysis)
• 支持信息抽取（如实体识别、关系抽取）
• 支持文档切分(Chunking)用于后续向量化、检索增强生成(RAG)等场景

MinerU 的能力分析：

架构图

切块样例

{
  "chunk_id": "chunk_003",
"chunk_type": "table",
"text": "[{\"年份\":\"2023\",\"总额(万亿元)\": \"47.1\", \"增速(%)\": \"7.2\"}]",
"page_number": 1,
"title": "表1-1:2019–2023年社会消费品零售总额及增速",
"bbox": [72, 130, 550, 170],
"source_document": "2023年中国消费品零售市场发展报告.pdf",
"metadata": {
    "country_code": "CN",
    "business_domain": "零售经济",
    "entity_name": "国家统计局",
    "data_type": "行业报告",
    "fiscal_period": {
      "start_date": "2019-01-01",
      "end_date": "2023-12-31",
      "period_type": "年度"
    },
    "metric_tags": ["社会消费品零售总额", "同比增长率"],
    "chunk_level": "meso",
    "language": "zh",
    "retrieval_priority": "high",
    "custom_metadata": {
      "region_detail": "全国",
      "policy_type": "经济刺激"
    }
  }
},
{
"chunk_id": "chunk_015",
"chunk_type": "paragraph",
"text": "从城乡分布来看，2023年我国城镇消费品零售额达39.8万亿元，占全国总额的84.5%；乡村消费品零售额为7.3万亿元，占比15.5%。尽管乡村消费增速(8.5%)高于城镇(6.9%)，但由于基数较低，绝对规模仍存在显著差距。这一结构性差异反映出我国城镇化进程中居民消费能力的梯度分布特征。",
"page_number": 2,
"bbox": [72, 130, 550, 170],
"font_size": 12,
"is_bold": false,
"line_spacing": 1.5,
"parent_heading_id": "chunk_004",
"source_document": "2023年中国消费品零售市场发展报告.pdf",
"metadata": {
    "country_code": "CN",
    "business_domain": "零售经济",
    "entity_name": "国家统计局",
    "data_type": "行业报告",
    "fiscal_period": {
      "start_date": "2023-01-01",
      "end_date": "2023-12-31",
      "period_type": "年度"
    },
    "metric_tags": ["城镇消费", "乡村消费", "消费占比"],
    "chunk_level": "meso",
    "language": "zh",
    "retrieval_priority": "high",
    "custom_metadata": {
      "region_detail": "全国",
      "policy_type": "城乡协调发展",
      "consumer_segment": ["城镇居民", "农村居民"]
    }
  }
}

检索召回

用户问题预处理

此阶段目标是理解用户查询的真实意图、完整上下文和依赖信息，并将用户输入的自然语言转化为精确的检索查询和提取元数据过滤条件。

阶段一：粗排

此阶段目标是高效且最大化覆盖率地从海量文档中召回大量潜在相关的文档切块，以供后续阶段筛选。

模型选择：BAAI/Embeding-BGE-M3

三路混合检索：

结果融合：

使用RRF算法对元数据过滤之后，BM25和Embeding-BGE-M3召回的结果进行融合。

RRF结合了不同召回方法的排名优势，生成一个统一的粗排列表。

阶段二：精排

此阶段目标是提高精度，利用更复杂的模型评估查询与粗排集中每个切块的真实相关性，并精简最终上下文。

模型选择：

BAAI/bge-reranker-base 或 cross-encoder/mmarco-mMiniLMv2-L12-H384-v1

步骤： Rerank模型将用户查询和每个切块配对输入，联合计算一个精细的相关性得分。从粗排的chunk块中选取最终重排后达到rerank模型阈值score的chunk块作为最终的上下文传递给LLM。

阶段三：生成

此阶段目标是利用高质量的召回上下文和强大的 LLM，生成准确、连贯且基于事实的答案。

上下文准备：

如果召回的chunk块中包含非常短的切块（例如单个句子），可以利用元数据中的父文档/大块 ID，在不超过 LLM 上下文窗口的限制下，适当地回溯填充部分相邻的上下文，确保 LLM 对事实的背景有完整理解。

LLM 生成：

提示工程 (Prompt Engineering)：构建详细的提示词，明确要求 LLM：

• 角色设定：作为专业的零售分析师。
• 忠实性：严格基于提供的上下文进行回答，不要"幻觉"或引用外部知识。
• 格式要求：清晰地总结、对比或推理，并引用来源（如原文的文档 ID 或标题）。
• 模型输出：LLM 根据上下文综合信息，回答用户的问题。

架构图

后续优化

冷热分离

1. 构建第一层热点问题集检索：聚焦高频零售趋势、中美等关键市场财报数据及FAQ，采用Elasticsearch（兼具优秀关键词与向量检索能力、查询快），保障热门查询极低时延响应；零售分析师或业务人员查询时，系统优先快速检索此热点库。

2. 设置第二层冷数据/全量知识库兜底：若热点库未命中或召回结果相关性低于预设阈值，自动切换至此层；该库含全球详细行业报告、历史市场数据、深度消费者分析及完整供应链信息等低频但全面数据，采用Milvus等专业向量数据库管理大规模向量数据，确保细致、跨国界复杂零售查询获准确完整召回。

3. 两级检索机制优势：既显著提升核心热门零售问题响应速度与分析效率，又保证必要时可全面覆盖检索全球零售知识。

元数据动态优化

动态优化的精髓在于使用系统运行过程中产生的实际数据来校准元数据。

元数据的动态优化通常采用异步、批量、定期的策略，以确保系统的稳定性和效率。

知识图谱

知识图谱侧重于丰富从向量数据库中检索到的文本片段。

1. 初始检索：RAG 系统首先通过向量搜索找到K个最相似的文本片段（例如：一篇关于中国零售业的报告片段）。

2. 实体提取：使用命名实体识别(NER)技术从这K个片段中提取关键实体（例如：中国、电商、关税政策）。

3. 图谱遍历：使用这些提取的实体作为起始点，在 KG 中进行一次或两次的邻居节点遍历，提取与这些实体相关的三元组事实。

4. 上下文增强：将这些提取出的结构化事实附加到原始文本片段中，形成一个增强的上下文包，输入给 LLM。

示例：文本片段只提到"关税提高"。KG 召回事实：关税政策调整时间、涉及商品品类、对供应链成本的影响。LLM 收到更完整的上下文，回答更准确。

FAQ

高于国家维度的宽泛问题如何回答？

将复杂问题拆解为多个子查询，分别召回后合并

原始问题1：东南亚那5个国家零售业的增速最快？

改写为子任务：

1. 东南亚包括哪些国家？（获取国家列表）

2. 每个国家的零售业增速是多少？（按年/最新数据）

3. 按增速从高到低排序，取前5名。

原始问题2：泰国和印尼零售业增速对比？

改写为子任务：

1. 泰国和印尼的零售业增速分别是多少？

2. 对获取到的数据进行一个对比分析

如果涉及到全球或区域维度的问题，一般只会关注对应国家相关零售指标的对比分析，这时也可以将结构化数据存入数仓中，通过写sql的方式获取对应数据，交给LLM做分析。