当去年GPT4公布的时候，我们大吃一惊，哪有这样的事；过若干时间后淡忘了，因为你也没有用过。

今年突然出现Sora，惊呆了，文字就能出来一幕剧；难道仅仅是如此吗？不是，都说明我们没有用上。

我的意思是，需要让一部分人先用起来。

今年，围绕AI的最前沿科技依旧是大热门的话题，而上述这段话正是来自全国政协委员周汉民。此建议一出，可谓是立即在网上掀起了不小的热潮。

而之所以会有如此建议，是因为在周汉民看来，对于这些最前沿的技术是要尽快体验和使用的：

如果你不够了解，就会处于劣势。

因为它所带来的是以点带面、连线成片的巨大影响效应。

不难看出，其核心观点，就是技术需要被用起来，要尽快地做到落地。

而这也应了自ChatGPT引爆AIGC大热潮以来的一个大趋势，即从大模型的训练逐渐向推理过渡，从底层的模型层逐渐向顶层的应用，甚至是更进一步的行业或消费者应用发展。

但毕竟像Sora这样的技术也是刚问世不久，诸多技术和体验方式还并没有对外开放；而大语言模型（LLM），则是已然火了整整一年有余。

由此能联想到的一个问题便是——LLM，现在用得怎么样了？

让我们先拿医疗行业的实践举个例子。

无论是以往传统AI，还是当下顶流大模型，医疗领域一直都是一个非常典型且亟需AI支持的大行业场景，AI的融入，能肉眼可见地提高医疗服务的效率和质量、应对医疗资源短缺的挑战、以及推动个性化医疗的发展等。

让我们从电子病历上来个“以小见大”。

一方面，与之相关的工作可以说是非常的繁杂，大量的文本信息需要人为手动地去输入，在有些医生详细追踪患者的情况下，病历甚至可长达万字之多，极容易出现错误录入的情况。

另一方面，电子病历又会影响到医生和医疗工作者的判断，因为他们需要对电子病历有着深入的洞察，以便发现潜在的健康风险和疾病模式。

其在医疗工作环节中的重要性可见一斑。而诸如LLM这样的AI技术，恰巧能够很好地满足对大量文本内容的信息化、数字化以及深入理解，正好可以用来做病历的归纳、纠错和重要信息的提炼，而且这类活儿恰好苦到，或者累到……所有“正常人类”都不太愿意干。

而这也还仅是LLM上岗医疗的一隅，WiNEX Copilot还具备怎样的实力，我们继续往下看。

AI医生助手为什么值得拥有

实际上，WiNEX Copilot已深度集成到卫宁新一代产品WiNEX中，除了前面提到的病历文书助手，我们还可以举几个有代表性的场景来进一步展示它的实力。

在放射科，WiNEX Copilot影像报告助手就能帮助医生提升诊断质量，降低误诊率。

根据影像医生写下的影像检查所见情况文字描述，这个小助手就可以自动生成影像诊断结论，包括具体的病变名称或诊断、随访建议等。

医生可基于对自动生成内容准确度的判断，灵活选择一键引用或重新生成。

对于影像报告的完整书写工作来说，这就相当于人类医生和AI合作完成了一轮交叉核对，减轻影像科医生的工作负担，降低误诊漏诊风险，提高影像报告质量。

特别是遇到有多次检查记录的随访患者，系统可自动调出相关的报告辅助对比分析，让诊断结论更严谨、完整、准确。

再如WiNEX Copilot药品知识助手，不仅能从海量的医药文献和数据库中快速检索出与用户查询相关的精确知识，还能基于这些信息生成通俗易懂、内容准确的回答。

这样一来，就相当于给医护人员提供了一个外挂的药品知识库，面对不断更新的药品信息，也能跟得上变化。

就像这样，WiNEX Copilot对接上具体细分的医疗业务场景，就会立即摇身变成医护人员的全方位、多维度智能助手。

目前WiNEX Copilot已经集成在卫宁健康WiNEX全系列产品中，覆盖医院管理、医生增效和患者服务等100多个临床应用场景。

所有这一切，看着炫目又实用，一定需要氪不少金才能拥有吧？

划重点了，它的硬件成本非常合理，性价比也许出乎你的预料。而且更重要的是其实际部署和应用也非常高效，能在任何一家已经使用WiNEX系统的医院迅速“上岗”。

这，又是怎么做到的？

用CPU加速AI落地

可以把AI产品做到既贴近用户需求，又能把它落地和部署的效率拉满，这对于卫宁健康来说其实是相辅相成的。

作为国内医疗信息化领域龙头企业，卫宁健康服务的各类医疗卫生机构用户达 6,000 余家，其中包括 400 余家三级医院，覆盖智慧医院、区域卫生、基层卫生、公共卫生、医疗保险、健康服务等多个领域。

在技术方面，卫宁健康还拥有成体系的系统研发、AI和大数据技术转化能力。

到了大模型时代，卫宁健康多年积累的医疗行业经验、高质量训练数据和研发能力就起到了关键作用——

在三项优势的综合下，推出面向医疗垂直领域的大模型WiNGPT。

WiNGPT正是WiNEX Copilot的底层AI引擎，它一个突出特点就是结合高质量医疗数据，可针对医疗场景优化和定制。

从2023年初开始研发，到10月正式发布时预训练数据20G，微调数据更是达到50万条。

WiNGPT另一个突出特点就是能高效交付、部署和应用了。

卫宁健康为此选择与英特尔合作，通过软硬适配、优化模型算法等手段，把在CPU上部署的生成效率搞到接近GPU的水平。

为什么要选择这一条技术路线，与CPU本身的能力和医疗行业的特点都脱不开关系。

首先，高端CPU近年来瞄准AI市场持续发力，内置的AI加速技术的性能已经能够满足需求。

这一步在应用部署方面更看重的推理算力方面表现得更为突出。

例如卫宁选用的第五代英特尔^® 至强^® 可扩展处理器，内置了AMX（高级矩阵扩展）加速技术。相比同样内置AMX的第四代至强^® 可扩展处理器，得益于自身在微架构和整体性能上的提升，第五代的推理性能提升高达42%；而与内置了矢量加速指令集，即深度学习加速（DL Boost）技术的第三代至强^® 可扩展处理器相比，其AI训练和推理性能提升更是高达14倍。

其次，在医疗行业数字化过程中，CPU已有非常广泛的使用基础。

这一点行内人都知道，广泛应用的电子病历系统、医院资源规划系统以及患者管理系统等等，都需要处理大量的数据，并且要求高可靠性和实时性。

因此CPU早就已经是医疗行业经常采购的设备，不像专用AI加速器或者GPU还需要特批采购流程，选择在CPU上落地AI应用自然更平滑顺畅。

再进一步来说，CPU得益于这种基础，积累了充足的技术人才储备，更易于优化和使用。

CPU群众基础广泛，易于使用、有较出色的可靠性，在医疗行业历经考验的同时，也积攒了大批相关专业人才。

这些人才，和卫宁健康自己的专业人才，再加上合作伙伴英特尔方面的工程师协作，推进AI应用落地时，无论业务方案还是硬件优化方面都能做到就绪程度更高，上手更快。

综合来看，如果这样一个AI 应用能在拥有广泛部署、易于获取，便于应用和优化，能兼顾通用计算又能做推理加速的平台上落地，且不用为此导入异构带来的各种复杂性，自然就会收获高效的应用表现、落地速度和更会有的成本竞争力。

具体到实际表现上——在卫宁健康和英特尔共同对WiNGPT的推理进行优化后，提升了内存使用效率，并通过对 PyTorch在CPU平台上主要算子的算法进行改良，进一步加快了深度学习框架的推理速度。

而在测试中，将基于第五代英特尔^® 至强^® 可扩展处理器的方案与基于第三代英特尔^® 至强^® 可扩展处理器的方案进行了对比，结果显示，新一代处理器可将性能提升多达 3 倍。

同时，CPU方案还具有可以更轻松扩展推理实例数量的优势，并且可以在各种平台上适配进行推理。

所有这些优势叠加的结果，就是能让每家已经用上卫宁新一代产品WiNEX系统的医院，都有机会拥有WiNGPT支持的全套WiNEX Copilot医护智能助手。

CPU成了大模型时代下的另一种解法

那么我们现在再来回答最初的那个问题：如何把LLM用好？

首先非常确定的是，目前的大模型已然是步入到了拼谁可以“快好省”地用起来的阶段。

这种趋势从去年便已开始崭露头角，例如从ChatGPT问世之后，国内外先是呈现出了百模大战这种以训练为基础的态势。

而后从下半年至今，则是在训练完大模型的基础之上，更多企业都在思考的则是如何将LLM真正地扎根到行业里。

卫宁这个例子，可以说是较为成功的范例，这不仅是得益于它长期在以大模型为代表的前沿技术上的跟进与创新，更是基于它对于医疗行业的深耕；因此才可以抓住医疗领域的痛点，并让LLM在其中发挥更大的价值。

由此来看，如何能把LLM用好，需得先有深厚的行业积累、有洞悉，方可精准切入。

诚然，全球步入大模型时代之后，GPU或专用的加速器无疑成为了香饽饽，并且越发呈现出千金难求的局面。

然而这就是所有场景中的最优解吗？不见得。

正如我们刚才所言，不论是传统的AI技术亦或是LLM，要想很好的落地需得是做到“快好省”。

若是在部署时盲目堆GPU，一是可能会出现算力上的过剩甚至浪费，二是在落地效率上可能达不到那么高，同时成本也可能会水涨船高。

因此卫宁pick老牌芯片巨头英特尔的最新一代至强，也是从性能、行业、人才、到成本等一系列因素深入考量之后所做出的较优解；而从结果上来看，CPU也正在实实在在地助力着LLM在医疗领域大展拳脚。

所以，到了今天，我们会突然发现，一个有意思的新趋势是：CPU成了大模型落地的另一种解法。

文章来自微信公众号 “ 量子位 ”，作者 金磊 梦晨