本文介绍了在医疗导诊场景中如何利用Qwen3-8B模型实现更自然的医患对话而非传统的问卷形式。作者对比了第一版使用Qwen3-30B模型的不足如口语理解差、幻觉问题等并详细阐述了第二版的技术方案设计包括小模型结合多级缓存提升响应速度GraphRAG实现多轮问询模型私有化部署和微调训练解决口语化问题。此外还介绍了硬件选型、模型服务搭建、多切分方式处理医疗文档、Mineru工具用于OCR处理、Milvus存储chunk数据、BAAI/bge-m3模型组合提升召回率等关键技术细节最终实现了一个完整的GraphRAG体系。业务背景不知道读到这篇文章的朋友们有没有感受到目前一些较大的门诊医院中已经存在了 AI 导诊的功能了目的就是为了能在就诊前能提前收集一些用户的信息。博主所在公司开发的医疗产品针对导诊预问诊电子病历His 联动一整套 AI 体系产品这篇文章主要是给大家介绍在导诊过程中如何借助Qwen3-8B怎么才能不做成问卷表单而是能真实感觉到你在跟一个医生聊天我不是打广告也不是想给公司卖产品当然有想买产品的可以私信我在导诊这方面我们一共做过两版。第一版是去年的时候那时候想着用一个 Qwen3-30B 的原始模型结合本地的一个简易工作流实现基础版的导诊信息收集。但是很快就发现暴露出来的问题针对口语问题模型总是无法理解到医疗场景下的口语例如患者说我脑阔痛啷个办而模型偶尔会跑偏无法识别到脑阔痛是什么而且还无法结合上下文的口语来输出对常见的门诊病症容易出现幻觉和上下文对不上以及强大的理解偏差。啥意思就比如我说我手昨天烫伤了小手臂起了水泡模型回复一句小手臂哪个位置模型经常出现重复性问题输出明明在回复中已经强烈的表示了意愿但依旧会出现。诸如此类的问题还有很多就不一一列举测试数据了。提示词也改了非常多版本但起效依旧不大。所以这一版做出来很轻易的就被甲方 pass 了所以才有了接下来文章中介绍的这一版。技术方案设计我们在第二版的技术设计中考虑到了以下问题响应速度既然是对话而且是面对小程序的用户量庞大的情况下并发量上来了也扛不住所以采用小模型多级缓存解决。问卷型对话如何修改引入 GraphRAG 来实现像真实医生那样从病症到诱因再到症状的多轮问询。口语化如何解决患者大多来源于各个省份虽然四川话居多但是口语依旧是需要识别的。解决方案模型私有化部署微调训练。在硬件层面由于国产信创的要求我们采用的是 48 的海光 K100_AI 显卡来部署整个产品。导诊层面我们采用 30B 的对话模型8B 模型用于 RAG 的查询改写和知识图谱实体抽取。对话模型采用四卡推理对外提供两个服务搭载 Nginx 实现负载均衡8B 模型使用 2 卡推理同样采用 Nginx 实现负载均衡对外就形成一个模型组。同时提供 2w 条基础真实医患对话信息作为8B 模型训练的基础数据以及 2w 条文本 chunk 信息作为知识图谱的实体抽取基础数据。这样做的好处就是患者对话信息过来后先经历查询改写拿到标准的医疗术语问题以及相关联的实体信息如下在常规的 RAG 流程中通常会这样去完成整个链路的编写问题输入 - 查询改写 - 向量检索 - 元信息返回但是这种简单的方案一般就会遇到上下文对不上的问题所以我们在此基础上借助 GraphRAG 的思想结合我们现有医疗知识搭建一整套医疗层面的GraphRAG。同时我们为 RAG 设计自学习机制通过每日的医患对话信息以及真实 His 系统病历信息为每一个患者或者每一个科室以及每一种病症类型建立完善的知识图谱体系最终呈现出的信息就是这样RAG的切分与检索在医疗领域中知识文档的来源各种各样那么就需要针对每一种文档来源建立不同的切分方式所以我们暂定设计了以下几种切分父子切分固定长度切分行切分语义切分结构化切分以上不同的切分方式用来适配不同的医疗文档。定义好切分方式以后我们又发现了一个新问题。医疗领域方面数据格式千奇百怪针对大文档的处理特别是扫描件信息传统的 OCR 在时效性上无法满足需求在做技术调研时发现 Mineru 这款开源工具Mineru这款工具无论是在文件识别上还是最终返回的格式化信息上都能最大程度的达到效果再配合上自己本地的一些文本识别补偿于是解决切分问题看看效果数据存储方面我们将上方的文档进行切分后得到的 chunk 存储到 Milvus 中如果你有 pgsql 或者 es 也可以用 es配合上我们的元信息页码分段章节标题等等对于 embedding 模型和 rerank 模型我们选用的是BAAI/bge-m3 BAAI/bge-reranker-v2-m3一套这一套组合在中英文领域都比较友好且在医疗领域的发挥也非常出色。bge-m3bge-reranker-v2-m3况且这里我们就直接采用单独的模型服务对外提供 api 进行访问直接采用 Transformer 即可本地推理。接下来重点说召回问题如何在这么庞大的知识库中去提高召回率而不是简单的问题检索转向量得到答案那么简单召回一共做了以下的设计。方言转医疗术语借助我们训练后的 8B 模型做查询改写会得到三个信息原始查询改写查询实体信息query 多路召回设计三个不同的权重original、normalized、rewrited让三个 query 全部去查询汇总结果主要思想是“以覆盖换召回”针对原始查询top_k 进行放大这一步主要是为了尽可能的检索出多个相关信息召回设计多种机制向量召回关键词召回RRF 融合机制。关键词召回中可以选用 es 做全文检索也可选用 mysql 设计 FULLTEXT 和 LIKE 匹配。但是建议是使用 es对分词更友好最后图谱检索将上方的查询改写拿到的实体结合图谱的 node 和 Relationship实现二级跳或者三级跳跃查询并且在实体层面建立多级动态实体维护经过以上几个步骤最终形成一个完整的 GraphRAG同时我们在入口层面设计 AgentRAG让模型本身判断是否需要经过 RAG 检索所以能看到的效果就如下说真的这两年看着身边一个个搞Java、C、前端、数据、架构的开始卷大模型挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis稳稳当当过日子。结果GPT、DeepSeek火了之后整条线上的人都开始有点慌了大家都在想“我是不是要学大模型不然这饭碗还能保多久”我先给出最直接的答案一定要把现有的技术和大模型结合起来而不是抛弃你们现有技术掌握AI能力的Java工程师比纯Java岗要吃香的多。即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇这绝非空谈。数据说话2025年的最后一个月脉脉高聘发布了《2025年度人才迁徙报告》披露了2025年前10个月的招聘市场现状。AI领域的人才需求呈现出极为迫切的“井喷”态势2025年前10个月新发AI岗位量同比增长543%9月单月同比增幅超11倍。同时在薪资方面AI领域也显著领先。其中月薪排名前20的高薪岗位平均月薪均超过6万元而这些席位大部分被AI研发岗占据。与此相对应市场为AI人才支付了显著的溢价算法工程师中专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%产品经理岗位中AI方向的产品经理薪资也领先约20%。当你意识到“技术AI”是个人突围的最佳路径时整个就业市场的数据也印证了同一个事实AI大模型正成为高薪机会的最大源头。最后我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】