RAG数据处理分类归纳实践经验总结
针对 RAG(检索增强生成)系统在实际落地中,“数据质量 > 数据数量” 是 RAG 的第一定律。
- 试试的/临时数据:放入 Context 或 Cache,不要放入向量库,除非它通过了”3Q 过滤”并转化为正式知识。
- 动态数据:结构化走 SQL,非结构化走异步队列 + 元数据状态标记,避免高频重写向量。
- 效率问题:靠元数据预过滤缩小搜索空间,靠混合检索 + Rerank 保证精度,靠量化索引节省内存。
RAG实践的核心在于将向量数据库视为“长期记忆库”,而非“临时缓存区”,通过分层管理平衡成本、效率与效果。