本项目旨在构建一个基于多模态信息、知识库增强的智能 Agent 系统，实现用户上传舌苔图像后，通过网络搜索、图像诊断、多轮对话问诊和知识库检索等环节，对用户的健康状态进行辅助分析与中医诊断建议。
- 用户上传舌苔病理图像（支持多种视角，如俯视图、特写图等）
- 使用 ResNet18 模型进行舌苔图像分类：
- 输入：图像
- 输出：分类结果（如齿痕舌、地图舌、裂纹舌等）及置信度
- 结合图像和分类结果作为诊断输入
- 通过搜索引擎 API（如百度搜索 API、Serper API）进行医学信息搜索
- 根据舌象关键词生成结构化参考报告（中医术语、药材、症状、疾病名称）
- 设计多轮问诊任务列表（Task1、Task2、Task3...）
- 调用智能体模型（如 GPT-4）执行多轮问诊任务
- 综合图像、网络报告、分类结果，动态调整对话内容
- 使用专用信息收集大模型（如 DeepSeek-V3）精准抽取用户回答中的：
- 性别、年龄
- 主诉症状
- 发病时长、发作频率
- 伴随症状、生活习惯等
- 自动结构化保存患者信息
- 基于对话内容生成统一格式的病例摘要，例如：
性别：男
年龄：24岁
主诉：间断性下腹坠痛3天
伴随：乏力，转动时加剧，舌苔厚腻等
- 根据患者信息生成诊断任务列表（任务大致框架）
- 每个任务对应一个参考模板
- 支持个性化诊断策略推荐
- 中医知识向量数据库构建：
- 来源：中医古籍文本、现代中医书籍等
- 工具：GTE文本向量 + 通用Embedding模型（如 bge-base）
- 支持向量召回、上下文增强问答
- 结合用户问诊内容生成个性化中医建议
用户 --> 舌苔图像上传 --> 图像诊断 --> 多轮问诊 Agent --> 患者信息结构化 --> 任务规划 --> 知识库诊断建议 --> 输出诊断报告
| 模块 | 技术 / 模型 |
|---|---|
| 图像识别 | ResNet18 |
| 问答大模型 | GPT-4 / DeepSeek-V3 |
| 检索增强生成（RAG） | GTE + bge-base + FAISS |
| 搜索引擎 | 百度搜索 API / Serper API |
| 知识库 | 中医经典文本 + 向量数据库 |
| 后端服务 | Python + FastAPI / Flask |
| 前端展示 | Vue3 / React + Tailwind CSS |
- 舌苔图像训练数据集（标注齐全）
- 中医医学知识文本（结构化或文本格式）
- 对话数据模板（患者常见问答）
- ✅ 图像上传与舌象识别
- ✅ 多轮对话采集病史
- ✅ 自动提取关键信息生成病例
- ✅ 调用搜索结果提供参考
- ✅ 生成结构化诊断任务
- ✅ 检索中医文献并输出个性建议
- 用户病历记录与追踪
- 多语言支持
- Web App / 移动端部署
- 部署方式：Docker 容器化 + GPU 支持
- 模型接口建议采用异步调用，提升响应速度
- 知识库与对话数据可定期更新与优化