一种应对多变场景的跨模态信源信道联合编解码方法

1.一种应对多变场景的跨模态信源信道联合编解码方法，其特征在于，包括：

2.如权利要求1所述的信源信道联合编解码方法，其特征在于：所述跨模态信源编码器包括触觉特征提取模块、图像特征提取模块以及模态融合模块；

3.如权利要求2所述的信源信道联合编解码方法，其特征在于：设计transformer的编码器，编码器包含若干个相同的层，每个层都由多头自注意力子层和基于位置的前馈网络子层组成，且每个子层都使用了残差连接层和层规范化；

4.如权利要求3所述的信源信道联合编解码方法，其特征在于：所述跨模态信源编解码优化方案包括将图像信号由像素域映射到特征域；

5.如权利要求4所述的信源信道联合编解码方法，其特征在于：对图像特征在特征域进行加噪与去噪的学习过程；

6.如权利要求5所述的信源信道联合编解码方法，其特征在于：所述设计u-net模型学习近似条件概率包括引入cross attention模块；

7.如权利要求6所述的信源信道联合编解码方法，其特征在于：得到触觉特征与图像特征之间的交互信息，并融合到图像特征中，损失函数表示为，

8.如权利要求7所述的信源信道联合编解码方法，其特征在于：所述采用迁移学习优化模型的泛化能力，并加速模型的训练过程包括针对图像信号与触觉信号同时传输的场景规定第一传输任务和第二传输任务；所述第一传输任务是需求传输图像信号与触觉信号的融合特征；所述第二传输任务是仅触觉信号特征进行传输；

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的信源信道联合编解码方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的信源信道联合编解码方法的步骤。