一种基于边缘计算的大语言模型优化方法

2026-04-03 13:40:02 433次浏览

技术特征：

1.一种基于边缘计算的大语言模型优化方法，其特征在于：具体包含如下步骤；

2.根据权利要求1所述的一种基于边缘计算的大语言模型优化方法，其特征在于：所述边缘计算环境包含分割点的选择、用户设备和云端服务器的关联抉择和资源的动态分配。

3.根据权利要求2所述的一种基于边缘计算的大语言模型优化方法，其特征在于：所述分割点选择，具体实施策略如下：

4.根据权利要求2所述的一种基于边缘计算的大语言模型优化方法，其特征在于：所述用户设备与云端服务器关联，具体如下：

5.根据权利要求2所述的一种基于边缘计算的大语言模型优化方法，其特征在于：所述资源的动态分配，具体如下：

技术总结
本发明公开了一种基于边缘计算的大语言模型优化方法，属于机器学习领域，本发明在边缘计算的环境中，基于Transformer的大模型结构框架下，通过找寻模型推理的最佳分割点，从而将Transformer模型分割成底层部分和高层部分，在算力受限的用户设备上部署轻量化的底层模型，将计算密集型的高层模型部署在云端服务器上；通过找寻最优分割点，将Transformer模型在用户设备和云服务器上进行合理分割部署，从而实现计算资源利用的优化和响应延迟的降低。

技术研发人员：徐俊杰,李斌
受保护的技术使用者：南京信息工程大学
技术研发日：
技术公布日：2024/11/28

文档序号 : 【 40165486 】

技术研发人员：徐俊杰,李斌
技术所有人：南京信息工程大学

备注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除

徐俊杰丨李斌丨南京信息工程大学