基于5T、8T、14T混合像素计算单元的CMOS图像感算一体电路

本公开涉及集成电路，具体地，涉及一种基于5t、8t、14t混合像素计算单元的cmos图像感算一体电路。

背景技术：

1、cmos图像传感器(cmos image sensor,cis)是摄像模组的核心，能够将捕获的光信号高效转换为电信号，在自动化、智能监控、医疗诊断等多个行业中都发挥着不可或缺的作用。另一方面，卷积计算以其局部连接、权重共享和降维输出的特性，极大地简化了模型结构，从而有效提升了物体检测、人脸识别、图像压缩和运动感知等任务的识别效率，使得卷积计算成为机器视觉领域中广泛应用的核心技术。

2、然而，在人工智能算法和大数据、物联网等技术飞速发展的时代背景下，传统cis面临的问题和挑战日益凸显。首先，传统冯诺依曼体系结构中传感和计算单元是分离的，且未经处理的图像数据包含着较多的冗余信息，传输这些数据将导致较多的能量消耗、进一步的延迟增加以及额外的硬件成本。其次，传统cmos图像传感器内像素的读出方式存在速度慢的问题，已经不适配人工智能算法的高吞吐量需求。此外，直接通过网络传输原始图像信息，不利于个人隐私的保护。因此，cis的发展需要紧跟时代的变迁，对传统cis进行智能化改造是大势所趋。目前缺乏“神经网络算法-像素内并行卷积架构-模拟域计算电路”协同设计的研究。

3、智能cis将卷积运算直接集成至cis芯片中，能够实现在图像传感器内部完成图像处理，有效减少数据传输需求，在提高处理速度的同时降低了功耗。这种高效的“感算一体”机器视觉系统架构在自动驾驶、高端安防、虚拟现实设备(如眼动追踪和实时处理功能)以及其他智能电器(例如无人机、扫地机器人和翻译笔)等应用场景中展现出广阔的发展潜力和商业前景。

4、目前用来实现片上卷积计算的cmos图像感算一体电路，具有权重精度低、处理速度慢等问题，且功耗也有进一步优化的空间。具体来说，已有的相关研究需要在卷积核重叠的区域分时、多次写入权重，而做不到相邻卷积核重叠区域的并行计算与输出，导致额外的处理时间和能耗。因此，有必要在光电感算阵列架构上做出优化，从而设计出一种更高效的片上卷积计算的cmos图像感算一体电路。

技术实现思路

1、针对现有技术中的缺陷，本公开的目的是提供一种基于5t、8t、14t混合像素计算单元的cmos图像感算一体电路。

2、为实现上述目的，根据本公开的一个方面，提供一种基于5t、8t、14t混合像素计算单元的cmos图像感算一体电路，包括：光电感算阵列、权重电压生成模块、读出电路以及控制模块；其中，

3、所述光电感算阵列，包括多组混合像素计算单元和多个行选开关，所述混合像素计算单元中像素计算单元的类型包括5t、8t、14t，每一组所述混合像素计算单元包括一条第一电流总线和一条第二电流总线，所述光电感算阵列用于将光强信号转换为电流信号，通过所述像素计算单元与卷积核的权重电压进行卷积乘累加操作，并通过所述第一电流总线和所述第二电流总线输出电流；

4、所述权重电压生成模块包括多组权重电压生成电路，所述权重电压生成电路用于生成所述卷积核对应的权重电压，对全局的所述光电感算阵列提供权重信息；

5、所述读出电路与所述光电感算阵列的所述第一电流总线和所述第二电流总线耦接，用于减法运算、电流-电压转换以及相关双采样；

6、所述控制模块与所述光电感算阵列的混合像素计算单元、所述行选开关耦接，所述控制模块用于生成控制信号。

7、可选地，每一所述混合像素计算单元基于卷积算法排列，5t像素计算单元设置在每一所述卷积核的中心位置，8t像素单元设置在每一所述卷积核的左右位置和上下位置，14t像素计算单元设置在每一所述卷积核的中心位置的左上位置、左下位置、右上位置以及右下位置。

8、可选地，每两个所述卷积核的左右位置或者上下位置相互重叠，每四个所述卷积核的右下、左下、左上以及右上位置相互重叠。

9、可选地，所述8t像素计算单元用于执行2并行乘法及输出，所述14t像素计算单元用于执行4并行乘法及输出。

10、可选地，所述5t像素计算单元包括mos管m1、mos管m2、mos管m3、mos管m4、mos管m5以及光电二极管pd1，所述mos管m1的栅极与像素复位信号的行线连接，所述mos管m1的漏极与电源连接，所述mos管m1的源极与所述mos管m2的漏极连接，所述mos管m2的栅极与电荷转移信号的行线连接，所述mos管m2的源极与光电二极管pd1的阴极连接，所述光电二极管pd1的阳极接地，所述mos管m3的栅极与所述mos管m2的漏极连接，所述mos管m3的漏极与所述电源连接，所述mos管m3的源极分别与所述mos管m4的漏极、所述mos管m5的漏极连接，所述mos管m4的栅极与第一正权重电压连接，所述mos管m4的源极输出表示正值的第一电流，所述mos管m5的栅极与第一负权重电压连接，所述mos管m5的源极输出表示负值的第一电流。

11、可选地，所述8t像素计算单元包括mos管m6、mos管m7、mos管m8、mos管m9、mos管m10、mos管m11、mos管m12、mos管m13以及光电二极管pd2，所述mos管m6的栅极与所述像素复位信号的行线连接，所述mos管m6的漏极与所述电源连接，所述mos管m6的源极与所述mos管m7的漏极连接，所述mos管m7的栅极与所述电荷转移信号的行线连接，所述mos管m7的源极与所述光电二极管pd2的阴极连接，所述光电二极管pd2的阳极接地，所述mos管m8的栅极与所述mos管m7的漏极连接，所述mos管m8的漏极与所述电源连接，所述mos管m8的源极分别与所述mos管m9、所述mos管m10的漏极连接，所述mos管m9的栅极与第二正权重电压连接，所述mos管m9的源极输出表示正值的第二电流，所述mos管m10的栅极与第二负权重电压连接，所述mos管m10的源极输出表示负值的第二电流，所述mos管m11的栅极与所述mos管m7的漏极连接，所述mos管m11的漏极与所述电源连接，所述mos管m11的源极分别与所述mos管m12、mos管m13的漏极连接，所述mos管m12的栅极与第三正权重电压连接，所述mos管m12的源极输出表示正值的第三电流，所述mos管m13的栅极与第三负权重电压连接，所述mos管m13的源极输出表示负值的第三电流。

12、可选地，所述14t像素计算单元包括mos管m14、mos管m15、mos管m16、mos管m17、mos管m18、mos管m19、mos管m20、mos管m21、mos管m22、mos管m23、mos管m24、mos管m25、mos管m26、mos管m27以及光电二极管pd3，所述mos管m14的栅极与所述像素复位信号的行线连接，所述mos管m14的漏极与所述电源连接，所述mos管m14的源极与所述mos管m15的漏极连接，所述mos管m15的栅极与电荷转移信号的行线连接，所述mos管m15的源极与光电二极管pd3的阴极连接，所述光电二极管pd3的阳极接地，所述mos管m16的栅极与所述mos管m15的漏极连接，所述mos管m16的漏极与所述电源连接，所述mos管m16的源极分别与所述mos管m17的漏极、所述mos管m18的漏极连接，所述mos管m17的栅极与所述第四正权重电压连接，所述mos管m17的源极输出表示正值的第四电流，所述mos管m18的栅极与所述第四负权重电压连接，所述mos管m18的源极输出表示负值的第四电流，所述mos管m19的漏极与所述电源连接，所述mos管m19的栅极与所述mos管m15的漏极连接，所述mos管m19的源极分别与所述mos管m20、所述mos管m21的漏极连接，所述mos管m20的栅极与所述第五正权重电压连接，所述mos管m20的源极输出表示正值的第五电流，所述mos管m21的栅极与所述第五负权重电压连接，所述mos管m21的源极输出表示负值的第五电流，所述mos管m22的漏极与所述电源连接，所述mos管m22的栅极与所述mos管m15的漏极连接，所述mos管m22的源极分别与所述mos管m23的漏极、所述mos管m24漏极连接，所述mos管m23的栅极与第六正权重电压连接，所述mos管m23的源极输出表示正值的第六电流，所述mos管m24的栅极与第六负权重电压连接，所述mos管m24的源极输出表示负值的第六电流，所述mos管m25的漏极与所述电源连接，所述mos管m25的栅极与所述mos管m15的漏极连接，所述mos管m25的源极分别与所述mos管m26的漏极、所述mos管m27的漏极连接，所述mos管m26的栅极与第七正权重电压连接，所述mos管m26的源极输出表示正值的第七电流，所述mos管m27的栅极与第七负权重电压连接，所述mos管m27的源极输出表示负值的第七电流。

13、可选地，对应同一卷积核的表示正值的电流输出线分别与对应所述同一卷积核的第一电流总线连接，对应所述同一卷积核的表示负值的电流输出线分别与对应所述同一卷积核的第二电流总线连接，所述第一电流总线输出所述卷积乘累加操作的结果中表示正值的电流，所述第二电流总线输出所述卷积乘累加操作的结果中表示负值的电流。

14、可选地，所述权重电压生成电路包括pmos管m28、mos管m29、pmos管m30、pmos管m31、pmos管m32、pmos管m33、mos管m34、mos管m35、运算放大器op1，所述mos管m28的源极与电源连接，所述pmos管m28的栅极分别与所述mos管m29的栅极和漏极连接，所述pmos管m28的漏极分别与所述mos管m29的栅极和漏极连接，所述pmos管m28的栅极、漏极以及所述mos管m29的栅极、漏极分别与所述运算放大器op1的正相输入端连接，所述mos管m29的源极接地，所述运算放大器op1的负相输入端与所述运算放大器op1的输出端连接，所述pmos管m30的源极与所述电源连接，所述pmos管m30的栅极与第一权重数字信号连接，所述pmos管m30的漏极与所述mos管m34的漏极连接，所述mos管m34的栅极与所述电源连接，所述mos管m34的源极与所述mos管m35的漏极连接，所述mos管m35的栅极与所述mos管m34的漏极连接，所述mos管m35的源极与所述运算放大器op1的输出端连接，所述pmos管m31的源极与所述电源连接，所述pmos管m31的栅极与所述第二权重数字信号连接，所述pmos管m31的漏极与所述mos管m34的漏极连接，所述pmos管m32的源极与所述电源连接，所述pmos管m32的栅极与所述第三权重数字信号连接，所述pmos管m32的漏极与所述mos管m34的漏极连接，所述pmos管m33的源极与所述电源连接，所述pmos管m33的栅极接地，所述pmos管m33的漏极与所述mos管m34的漏极连接，所述mos管m35的栅极输出权重模拟电压。

15、可选地，所述读出电路包括运算放大器op2、运算放大器op3、运算放大器op4、运算放大器op5、电阻r1、电阻r2、电阻r3、电阻r4、电阻r5、电阻r6、电容c1、开关s1、开关s2、开关s3、开关s4、开关s5、开关s6，所述运算放大器op2的正相输入端接地，所述运算放大器op2的负相输入端与所述第一电流总线连接，所述电阻r1的输入端与所述运算放大器op2的负相输入端连接，所述电阻r1的输出端与所述运算放大器的op2的输出端连接，所述运算放大器op3的正相输入端接地，所述运算放大器op3的负相输入端与所述第二电流总线连接，所述电阻r2的输入端与所述运算放大器op3的负相输入端连接，所述电阻r3的输出端与所述运算放大器op3的输出端连接，所述开关s1的一端与所述运算放大器op2的输出端连接，所述开关s1另一端与所述电阻r3的输入端连接，所述开关s2的一端与所述运算放大器op3的输出端连接，所述开关s2的另一端与所述电阻r3的输入端连接，所述开关s3的一端与所述运算放大器op2的输出端连接，所述开关s3的另一端与所述电阻r4的输入端连接，所述开关s4的一端与所述运算放大器op3的输出端连接，所述开关s4的另一端与所述电阻r4的输入端连接，所述电阻r3的输出端分别与所述电阻r5的输入端、所述运算放大器op4的正相输入端连接，所述电阻r4的输出端分别与所述电阻r6的输入端、所述运算放大器op4的负相输入端连接，所述电阻r5的输出端接地，所述运算放大器op5的输出端、所述r6的输出端分别与所述开关s5的一端连接，所述开关s5的另一端与所述运算放大器op5的负相输入端连接，所述运算放大器op5的正相输入端接地，所述电容c1的输入端与所述运算放大器op5的负相输入端连接，所述电容c1的输出端与所述运算放大器op5的输出端连接，所述开关s6的一端与所述运算放大器op5的负相输入端连接，所述开关s6的另一端与所述运算放大器op5的输出端连接，所述运算放大器op5的输出端输出电压。

16、与现有技术相比，本公开实施例具有如下至少一种有益效果：

17、通过上述计算方案，基于5t、8t、14t混合像素计算单元的cmos图像感算一体电路具有速度快、能效高、集成度高的特点，其采用权重电压生成模块为光电感算阵列自动分配权重电压，无需在卷积核重叠位点重新写入权重，降低电路结构的动态损耗，在光电感算阵列中采用5t、8t、14t的像素计算单元，并形成重叠位置，实现在卷积核重叠位置处进行并行计算以及输出，联合读出电路，实现高效的整行并行读出，提高帧率和运算效率。