前言

理解了向量嵌入和存储方案后,如何将 RAG 真正应用到生产环境?本文将深入探讨 RAG 工程化的核心环节: 文本切块策略、检索优化、以及主流框架的设计哲学。

Chunking 策略: 如何切分文本?

固定长度切分

TODO: 最简单的方案及其问题

递归字符分割

TODO: LangChain 的递归分割策略

语义分割

TODO: 基于语义的智能切分

Overlap 的必要性

TODO: 为什么需要重叠?如何避免语义断裂?

检索策略的演进

TODO: 最基础的向量检索

Hybrid Search: BM25 + Vector

TODO: 结合关键词和语义检索

Reranking: 二次排序

TODO: 用 Cross-Encoder 优化检索结果

元数据过滤的实战价值

时间、来源、标签过滤

TODO: 展示元数据如何提升检索精度

混合查询示例

TODO: 代码示例

LangChain 与 LlamaIndex 的设计对比

Document Loader 设计

TODO: 如何加载不同格式的文档

Retriever 架构

TODO: 检索器的抽象设计

实战案例: 构建文档问答系统

1
2

# TODO: 完整的代码示例
# 从文档加载、切块、向量化到检索的完整流程

性能优化建议

TODO: 实际生产中的优化技巧

小结

TODO: 总结 RAG 工程化的关键要点,为下一篇记忆系统做铺垫

系列文章:

  • 上一篇: 知识图谱与向量数据库: 两种知识表达范式的碰撞
  • 下一篇: RAG 的记忆系统: 从无状态到有状态的演进