一种大规模语言模型增强的医疗资讯推荐方法与流程

本发明属于互联网服务，尤其是涉及一种大规模语言模型增强的医疗资讯推荐方法。

背景技术：

1、医疗资讯推荐方法指挖掘用户兴趣并给其推荐喜欢的下一个医疗资讯。现有的推荐方法通常用卷积神经网络或者注意力机制对用户最近观看的医疗资讯序列进行建模，从而得到用户兴趣。但是当用户观看的医疗资讯较多，将较长医疗资讯列表中的资讯作为输入不仅增加模型复杂度，还会引入较多噪音，因此现有的推荐方法只采用用户最近观看的少量医疗资讯作为模型输入。另外，现有的推荐方法为了缓解用户行为稀疏问题，引入协同信息来更新用户表征，如构建物品-用户二部图。冷门资讯和行为较少的用户在该图中连边较少，因此仍然无法对其进行很好的建模。

2、针对现有推荐方法只采用用户最近观看的少量医疗资讯作为模型输入来降低模型复杂度，本发明利用大规模语言模型来从用户观看过的医疗资讯中抽取重要信息。大规模语言模型已经被证实可以生成摘要信息，即从长文本中提取重要信息，生成简短的文本。本发明利用大规模语言模型从用户观看过的较多医疗资讯中提取重要信息。常用的开源大规模语言模型有llama和chatglm，本发明的应用场景是医疗领域，通用的大规模语言模型无法很好地理解一些中文疾病和中医专业术语，因此，本发明采用的大规模语言模型是医疗领域的chatglm-med，chatglm-med是基于中文医学知识的chatglm微调模型。本发明将用户的交互信息作为大规模语言模型的输入，充分挖掘用户兴趣；并利用大规模语言模型提取重要信息的特点，对用户的长交互信息进行降噪。

3、针对用户交互行为的稀疏性，本发明进一步将医疗资讯的类别引入推荐系统。从“用户-资讯-用户”的关系扩展为“用户-类别-用户”很大程度上缓解了数据的稀疏性。原先的“用户-资讯-用户”协同信息，用户只和点击过相同资讯的用户有相似度。将“用户-类别-用户”的协同信息引入后，用户和点击过相同类别的用户有相似度，此时相似用户集的数量被扩大，因此协同数据的稀疏性得到缓解。

技术实现思路

1、本方法所要针对的技术难题是当为了充分挖掘用户兴趣，将用户观看的全部医疗资讯作为推荐系统的输入时，模型复杂度提高，数据噪音增加。同时，本方法缓解推荐方法中的协同数据稀疏问题，当用户的交互行为较少时，本方法仍然可以获得较为准确的用户向量表征。

2、本发明提出一种大规模语言模型增强的医疗资讯推荐方法，将用户观看的医疗资讯标题连接起来得到标题长文本作为大规模语言模型的输入，设计大规模语言模型的提示指令，使得模型输出简短的摘要文本；然后设计标题编码器处理该摘要文本，得到用户在语义视图下的兴趣。用户ui的医疗资讯序列表示为下标是序列的长度，vj是用户ui浏览的第j个资讯。任一医疗资讯vj的标题表示为将内医疗资讯的标题连接起来，得到用户浏览过的资讯的标题长文本公式表示为：其中是文本连接符号。将该长文本输入到大规模语言模型中，设计生成摘要的提示指令instructs使得大规模语言模型输出简短的摘要文本llm指代大规模语言模型。设计标题编码器encodel得到用户在语义视图下的兴趣

3、根据用户的协同数据和医疗资讯的类别数据，构建包含两种关系的异构超图，同时设计异构超图神经网络，得到协同视图下的用户和资讯的向量表示。构建异构超图的方法是，让同一用户观看的资讯节点被同一用户超边所连接，同样地，属于同一类别的资讯节点被同一类别超边所连接。超图中任一资讯vj的向量表示为通过标题编码器encodes得到，即其中是资讯vj的标题文本。接下来用异构超图神经网络更新超图中用户、资讯和类别的向量，任一资讯vj的初始向量为异构超图神经网络由多层的信息传递过程组成，层数是l。异构超图神经网络对第l层节点vi的向量和边ej的向量进行更新的计算公式如下：

4、

5、其中，b(ei)是边ei内包含的资讯节点集合，集合b(ei)内任一资讯节点vτ的在第l-1层的向量表示是e(vj)表示包含资讯节点vj的超边集合，集合e(vj)中的任一边eτ在第l-1层的向量表示是公式表示为：

6、

7、其中，|b(ei)|中的操作符|·|表示集合的个数，σ是激活函数。aggrnode→edge的公式如下：

8、

9、其中，type(eτ)∈{c，u}，当边的类型是用户，矩阵映射是wu，当边的类型是类别，映射矩阵是wc。

10、结合语义视图下和协同视图下的用户向量，计算用户浏览候选资讯的概率。候选资讯vτ的标题文本是其向量表示为用户向量用融合函数fmerge得到：用向量的点乘公式计算概率，并用softmax激活函数进行归一化：

11、

12、其中，上标是转置符号，表示概率。损失函数为：

13、

14、其中，yτ代表资讯vτ的one-hot编码。函数用优化器来最优化。

15、本发明的有益技术效果如下：

16、(1)本方法通过医疗大规模语言模型，从用户长行为序列中抽取语义视图下的表征，充分利用用户交互数据挖掘用户兴趣，且不会提高模型复杂度。

17、(2)本方法提出从“用户-资讯-类别”协同数据中构建异构超图缓解协同信息稀疏性，并设计异构超图神经网络对异构超图结构中的异质性建模。

1.一种大规模语言模型增强的医疗资讯推荐方法，其特征在于：

2.根据权利要求1所述的一种大规模语言模型增强的医疗资讯推荐方法，其特征在于：所述的大规模语言模型的提示指令instructs设计为“这是一个用户浏览过的医疗资讯```标题长文本```，生成摘要，限定在50字以内”。

3.根据权利1所述的一种大规模语言模型增强的医疗资讯推荐方法，其特征在于：所述的大规模语言模型是开源的医疗领域的chatglm-med大规模语言模型。

4.根据权利1所述的一种大规模语言模型增强的医疗资讯推荐方法，其特征在于：所述的标题编码器encodel由bert模型和一个两层神经网络构成，具体公式为：

5.根据权利1所述的一种大规模语言模型增强的医疗资讯推荐方法，其特征在于：所述标题编码器encodes由bert模型和一个两层神经网络构成，公式具体为：

6.根据权利1所述的一种大规模语言模型增强的医疗资讯推荐方法，其特征在于：所述融合函数fmerge的具体计算公式为：

7.根据权利1所述的一种大规模语言模型增强的医疗资讯推荐方法，其特征在于：所述优化器是adam优化器。