一种基于大模型的图像语义通信系统

1.一种基于大模型的图像语义通信系统，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于大模型的图像语义通信系统，其特征在于，所述s1-1中，所述语义提取器包括：在发送端上采用了一种名为引导式语言图像预训练模型，引导式语言图像预训练模型包括：图像编码器、文本编码器、文本解码器和图像解码器。

3.根据权利要求2所述的一种基于大模型的图像语义通信系统，其特征在于，所述图像编码器包含一个基于vision transformer的特征提取模块，该特征提取模块将输入图像x分割成一个补丁序列，并对补丁序列中每个补丁进行编码，每个补丁表示一个固定大小的图像区域；通过具有多头自注意力子层和前馈子层的多个编码器层，将每个补丁的向量经过处理后，以生成图像的特征向量表示。

4.根据权利要求2所述的一种基于大模型的图像语义通信系统，其特征在于，所述文本解码器采用bert结构，由多个堆叠的解码器层组成，每个解码器层包括三个子层：因果自注意力子层、交叉注意力子层和前馈子层；通过这三个层将图像特征解码为具体的文本特征向量；文本解码器的最后一层通过线性投影和softmax函数将文本特征向量转换为预测序列中的下一个标记；然后，在生成过程中，每一个输出文本将用作下一个时间步的输入，直到生成图像的具有高语义密度的相应文本描述。

5.根据权利要求1所述的一种基于大模型的图像语义通信系统，其特征在于，所述步骤s1-2和s1-3中的语义编码、信道编码、语义解码和信道解码均使用了信噪比加权模块，所述信噪比加权模块工作流程如下：

6.根据权利要求1所述的一种基于大模型的图像语义通信系统，其特征在于，所述步骤s1-4中，所述语义重构器还包括稳定扩散模型，用于图像重建，具体步骤如下：

7.根据权利要求1所述的一种基于大模型的图像语义通信系统，其特征在于，所述步骤s1-5中，引入了经验回放辅助的编码器和解码器，基于经验回放的学习策略通过使经验回放内容多样化来解决渐进学习中的选择性遗忘问题；为经验回放辅助的编码器和解码器设计了一种具有临时经验回放和固定经验回放的经验回放辅助方法；经验回放辅助的编码器和解码器的工作流程如下：

8.根据权利要求7所述的一种基于大模型的图像语义通信系统，其特征在于，所述选择代表性样本过程如下：