图片

随着数字技术与医疗保健的融合，通过电子病历（EHR）、可穿戴设备和数字健康App等，生成了海量的医疗数据。在这种背景下，大语言模型能够从海量数据中提取有价值的信息，提升医疗服务的质量和效率。然而，尽管大语言模型在生成可读文本、回答问题和数据总结等方面表现出色，但其在处理敏感的个人健康数据时的隐私和信任问题仍需解决。此外，基于云的人工智能（AI）服务成本也阻碍了其广泛采用。

 

在《动态雾计算提升医疗应用中大语言模型执行效率》一文中，作者探讨了如何通过雾计算架构来解决大语言模型（LLM）在医疗领域应用中的隐私、信任和成本等问题。随着数字技术和医疗的融合，医疗监测和干预的方式发生了革命性的变化，生成了大量数据，这些数据的有效利用可以显著改善患者的参与度和医疗结果。然而，受保护的健康信息（PHI）的敏感性使得在远程大语言模型平台上使用这些数据时面临隐私和信任的挑战。

 

图片

传统的云计算环境虽然提供了强大的处理能力，但也带来了数据隐私和安全性的担忧。为了克服这些障碍，本文提出了一种将大语言模型执行环境从集中式云服务转向去中心化的动态雾计算架构的理念。这种基于雾计算的大语言模型执行环境架构（“专业大语言模型”）通过在用户的边缘设备或本地网络的雾层中执行开放权重的大语言模型，能够有效降低隐私、信任和财务方面的风险。

 

具体来说,该架构包括三个计算层：边缘层(终端设备)、雾层(本地网络)和云层(远程服务器)。边缘层利用终端设备有限的算力执行小型大语言模型;雾层利用本地网络内的中等算力设备执行中等规模的大语言模型;云层则使用海量算力资源执行大型LLM。该架构能够根据任务需求和环境条件,动态选择或灵活分配合适的大语言模型执行层,权衡隐私、信任和成本因素，从而提高了响应速度和处理效率。

 

图片

该架构的关键技术包括：

 

●动态大语言模型任务调度：利用雾层提供的计算资源，根据用户设备的计算能力和数据隐私需求，动态分配大语言模型任务到最合适的执行环境。

 

●检索增强生成（RAG）技术：利用大语言模型的函数调用机制，实现大语言模型与外部系统的交互，例如从患者记录中检索相关信息。

 

●多层大语言模型执行：支持边缘、雾层和云层三种执行环境，并提供统一的接口，方便开发者根据需求选择合适的执行层。

 

图片

“专业大语言模型”应用案例：

 

本文介绍了六个基于该架构（“专业大语言模型”）开发的移动应用，涵盖了患者数据解释、癌症临床试验匹配、健康数据查询、饮食追踪、蛋白质摄入追踪以及医疗问卷预填等多个领域。

 

总之,本文提出了一种基于动态雾计算的大语言模型执行架构,并开发了“专业大语言模型”这一框架来简化大语言模型在数字医疗应用中的集成。相比于集中式的云端大语言模型,该架构能够更好地平衡隐私、信任和成本等因素,有助于促进大语言模型在医疗领域的广泛应用。作为一个开源项目, “专业大语言模型”为医疗应用开发者提供了一个易用、功能强大的大语言模型集成解决方案。

 

图片

随着大语言模型技术的不断发展，未来将会有更多更强大的大语言模型模型出现，“专业大语言模型”框架也将不断完善，以支持更多大语言模型模型和应用场景，为医疗领域带来更多创新和突破。