InternLM/HuixiangDou: HuixiangDou: Overcoming Group Chat Scenarios with LLM-based Technical Assistance
AI 摘要 · Qwen 中文摘要 收录
查看原文 该页面介绍 HuixiangDou 是一个面向群聊场景、无需训练且支持多 LLM、多文件、多检索与多端集成的 LLM 知识助手。
项目定位
- HuixiangDou 是基于 LLM 的专业知识助手，面向群聊场景。
- 它设计预处理、拒绝、响应三阶段流水线。
- chat_in_group 用于群聊问答并减少消息刷屏，chat_with_repo 支持实时流式聊天。
版本升级
- HuixiangDou2 是 GraphRAG 方案。
- 其效果在植物科学领域得到验证。
- 它贡献了 Cell Molecular Plant 封面论文。
- 非计算机领域用户可尝试新发布。
部署与硬件
- 项目无需训练，提供 CPU-only、2GB 和 10GB 配置。
- CPU-only 版可使用 SiliconFlow API 进行文本推理。
- 标准版约需 2GB GPU 显存，多模态版约需 10GB GPU 显存。
- 项目提供 Web、Android 和 pipeline 源码，并描述为工业级且可商用。
能力支持
- 支持 DeepSeek、InternLM、GLM、KIMI、StepFun、vLLM 等 LLM。
- 支持 excel、html、markdown、pdf、ppt、txt、word 等文件。
- 支持文档稠密检索、代码稀疏检索、知识图谱、互联网搜索、SourceGraph 和图文检索。
- 支持微信、Lark、OpenXLab Web、Gradio、HTTP Server 和 Read the Docs 集成。
运行流程
- 标准版需安装依赖、创建知识库并配置 LLM API。
- 知识库可由 repodir 文档或 QA 对构建。
- 可通过 main、gradio_ui 或 api_server 进行测试与服务。
- 可更新 repodir、good_questions 和 bad_questions 以适配领域知识。
集成与扩展
- 支持飞书和微信群的单向或双向接入，以及个人微信 Android 或 wkteam 接入。
- 提供 TypeScript 前端和 Python 后端源码，支持多租户、零编程接入飞书或微信，并描述为 k8s 友好。
- 10G 多模态版需下载 Visualized_m3.pth 并安装 FlagEmbedding 主分支及多模态依赖。
- 高级能力包括混合知识图谱与稠密检索、群聊共指消解 SFT 和 RAG 标注 SFT 数据。
常见问题与引用
- FAQ 建议通过 good_questions、bad_questions、repodir 内容和 reject_throttle 调整回答范围。
- 运行时 OOM 可考虑 KV cache 量化并独立部署 Hybrid LLM Service。
- 项目引用了 HuixiangDou、SFT 数据标注和 HuixiangDou2 三篇 arXiv 论文。