一种神经网络优化电路

本发明涉及电路，具体涉及一种神经网络优化电路。

背景技术：

1、近年来，随着ai技术的发展，算力的需求快速上升，提升优化速度是重要的发展方向。因此，神经网络的应用越来越广泛。

2、相关技术中，在神经网络中引入随机权重变化(random weight change，简称rwc)理论，制作模拟电路神经网络芯片。如图1所示，为神经网络中应用随机生成器的电路示意图，在该图1中，用移位寄存器产生随机值±δ。在移位寄存器的一个边施加一个随机脉冲+vr或-vr，脉冲向另一个边传播，随机权重变化±δ，通过开关电容传给每个权重电路，开关电容等效于电阻。对于应用rwc随机生成机制的神经网络，如果神经网络误差不减小，就给定一个权重移动方向(通过移位寄存器输入一个随机值，计算机给一个时钟信号控制以实现移位)。如果神经网络误差减小，计算机就不给移位寄存器时钟信号，移位寄存器保持原来权重移动方向。

3、因此，该rwc方式的判断过程每次都需要计算机参与，而且还需要依次进行ad转换，误差比较、求和、判断误差变化情况，从而给出时钟信号，导致流程复杂，速度慢，无法执行纯片上训练，并且神经网络在训练一条数据时需要计算机的多次参与，破坏了系统的连续性，以时钟驱动方式，收敛速度慢。

技术实现思路

1、有鉴于此，本发明提供了一种神经网络优化电路，以解决应用rwc方式的神经网络优化电路，其计算流程复杂、速度慢、系统连续性差以及收敛速度差的问题。

2、根据第一方面，本发明实施例提供一种神经网络优化电路，应用于目标神经网络，包括：

3、第一转换单元，用于将目标训练数据转换为目标训练数据对应的目标直流电平信号；

4、第二转换单元，用于将目标训练数据对应的标签数据转换为标注结果电平信号；

5、第一乘法器，用于基于目标训练数据对应的目标直流电平信号和加法器输出信号作乘，输出目标训练数据对应的预测结果信号；

6、误差计算单元，用于计算预测结果信号与标注结果信号之间的mse误差信号；

7、第一微分器，用于接收mse误差信号以及输出第一微分器输出信号；

8、第二微分器，用于接收多个权重变化数据的多个权重变化信号，以及输出第二微分器输出信号；

9、第二乘法器，用于接收第一微分器输出信号、第二微分器输出信号，以及输出第二乘法器输出信号；

10、积分器，用于接收第二乘法器输出信号以及输出积分器输出信号；

11、加法器，用于接收多个权重变化数据的多个权重变化信号、积分器输出信号以及输出加法器输出信号；

12、其中，每个权重变化信号对应不同的权重值，每个权重变化数据表示权重变化数据对应的权重值在时间上的变化量。

13、在一种可选的实施方式中，目标神经网络包括多个不同子网，每个子网建立一个控制芯片，该控制芯片输入侧每个引脚对应一个输入神经元，该控制芯片输出侧每个引脚对应一个输出神经元。

14、在一种可选的实施方式中，输入神经元与输出神经元均为直流电平信号。

15、在一种可选的实施方式中，在相邻的两个子网中，前侧子网的输出神经元与后侧子网的输入神经元连接。

16、在一种可选的实施方式中，在目标神经网络中训练目标训练数据时，将mse误差信号通过导线反馈至目标神经网络的全部子网。

17、在一种可选的实施方式中，目标神经网络输入侧与第一转换单元连接，目标神经网络输出侧与误差计算单元连接。

18、在一种可选的实施方式中，本发明实施例中的神经网络优化电路，还包括：

19、计算机，计算机，用于发送目标训练数据对应的数字信号至第一转换单元、发送目标训练数据的标签数据对应的数字信号至第二转换单元以及接收目标训练数据对应的预测结果信号。

20、在一种可选的实施方式中，还包括：

21、第三转换单元，用于将目标训练数据对应的预测结果信号转换为数字信号后传输至计算机。

22、在一种可选的实施方式中，目标神经网络在训练目标训练数据时，同时修改每个权重变化数据对应不同的权重值。

23、在一种可选的实施方式中，目标神经网络包括：transformer神经网络或cnn卷积神经网络或rnn循环神经网络或全连接神经网络。

24、本发明技术方案，具有如下优点：

25、本发明公开一种神经网络优化电路，应用于目标神经网络，包括：第一转换单元，用于将目标训练数据转换为目标训练数据对应的目标直流电平信号；第二转换单元，用于将目标训练数据对应的标签数据转换为标注结果电平信号；第一乘法器，用于基于目标训练数据对应的目标直流电平信号和加法器输出信号作乘，输出目标训练数据对应的预测结果信号；误差计算单元，用于计算预测结果信号与标注结果信号之间的mse误差信号；第一微分器，用于接收mse误差信号以及输出第一微分器输出信号；第二微分器，用于接收多个权重变化数据的多个权重变化信号，以及输出第二微分器输出信号；第二乘法器，用于接收第一微分器输出信号、第二微分器输出信号，以及输出第二乘法器输出信号；积分器，用于接收第二乘法器输出信号以及输出积分器输出信号；加法器，用于接收多个权重变化数据的多个权重变化信号、积分器输出信号以及输出加法器输出信号；其中，每个权重变化数据对应不同的权重值，每个权重变化数据表示权重变化数据对应的权重值在时间上的变化量。本发明在提高神经网络训练设备的优化速度时，同时具备快速推理训练、低扩展成本、高度并行、存算一体、片上学习的能力。并且，本发明全部使用模拟电路实现，无需计算机多次参与计算权重误差值，在整个训练过程中没有开关信号、时钟信号等非连续信号，在严格的数学理论保证下实现快速收敛。

1.一种神经网络优化电路，其特征在于，应用于目标神经网络，包括：

2.根据权利要求1所述的神经网络优化电路，其特征在于，所述目标神经网络包括多个不同子网，每个子网建立一个控制芯片，该控制芯片输入侧每个引脚对应一个输入神经元，该控制芯片输出侧每个引脚对应一个输出神经元。

3.根据权利要求2所述的神经网络优化电路，其特征在于，所述输入神经元与所述输出神经元均为直流电平信号。

4.根据权利要求2所述的神经网络优化电路，其特征在于，在相邻的两个子网中，前侧子网的输出神经元与后侧子网的输入神经元连接。

5.根据权利要求2所述的神经网络优化电路，其特征在于，在所述目标神经网络中训练所述目标训练数据时，将所述mse误差信号通过导线反馈至所述目标神经网络的全部子网。

6.根据权利要求1所述的神经网络优化电路，其特征在于，所述目标神经网络输入侧与所述第一转换单元连接，所述目标神经网络输出侧与误差计算单元连接。

7.根据权利要求1所述的神经网络优化电路，其特征在于，还包括：

8.根据权利要求7所述的神经网络优化电路，其特征在于，还包括：

9.根据权利要求1所述的神经网络优化电路，其特征在于，所述目标神经网络在训练所述目标训练数据时，同时修改每个权重变化数据对应不同的权重值。

10.根据权利要求1至9中任一项所述的神经网络优化电路，其特征在于，所述目标神经网络包括：transformer神经网络或cnn卷积神经网络或rnn循环神经网络或全连接神经网络。