一种基于先验篇章关系的半监督稳定变分对话生成方法
技术特征:
1.一种基于先验篇章关系的半监督稳定变分对话生成方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种基于先验篇章关系的半监督稳定变分对话生成方法,其特征在于,在数据集中,每段对话d由上下文句子和回复构成;其中,每段对话中的上下文句子表示为c=(u1,u2,…,ut),ui表示上下文中的第i个句子,i=1,2,3…t,t表示对话上下文共包含t个句子,具体形式为wi,j表示第i个句子中的第j个词,|ui|表示句子ui中的单词数目;每段对话中的回复表示为y=(wy,1,wy,2,…wy,j,…,wy,|y|),wy,j表示回复中的第j个词,|y|表示回复y中包含的单词数;为得到数据集需要进行如下处理:
3.根据权利要求1所述一种基于先验篇章关系的半监督稳定变分对话生成方法,其特征在于,步骤s2和s3中,vmf分布即von mises-fisher分布,用于表示单位球面上的概率分布,d维的单位向量的概率密度函数如下:
4.根据权利要求1所述一种基于先验篇章关系的半监督稳定变分对话生成方法,其特征在于,步骤s2具体包括:
5.根据权利要求1所述一种基于先验篇章关系的半监督稳定变分对话生成方法,其特征在于,步骤s3具体包括:
6.根据权利要求1所述一种基于先验篇章关系的半监督稳定变分对话生成方法,其特征在于,步骤s4具体包括:
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述基于先验篇章关系的半监督稳定变分对话生成方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述基于先验篇章关系的半监督稳定变分对话生成方法的步骤。
技术总结
本发明公开一种基于先验篇章关系的半监督稳定变分对话生成方法,包括如下步骤:S1.构建基于编码器‑解码器基本框架的训练语言模型BART;S2.基于vMF分布与BART编码器构建条件变分自编码器,用于上下文篇章关系的特征提取,得到给定对话上下文的篇章关系隐变量z<subgt;DR</subgt;;实现有监督的对话篇章关系规划;S3.在用于重构数据集中每段对话回复的编码器‑解码器基本框架上引入vMF分布和给定对话上下文的篇章关系隐变量z<subgt;DR</subgt;构成一个基于vMF分布的生成模块;实现无监督的对话篇章关系感知;S4.基于条件变分自编码器和生成模块得到改进后的训练语言模型BART,通过联合训练优化变分自编码器和生成模块的损失函数实现对改进后的BART的优化,实现预测生成每段对话上下文c的回复y。
技术研发人员:贺瑞芳,汪慧洁
受保护的技术使用者:天津大学
技术研发日:
技术公布日:2024/11/14
文档序号 :
【 39999385 】
技术研发人员:贺瑞芳,汪慧洁
技术所有人:天津大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:贺瑞芳,汪慧洁
技术所有人:天津大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除