面向HBM架构的数据存取结构的制作方法

本申请实施例涉及集成电路领域，特别涉及一种面向hbm架构的数据存取结构。

背景技术：

1、hbm全称为高带宽内存(high bandwidth memory)，是一种堆叠式内存技术。原理上是将多个ddr通过硅通(tvs)技术等堆叠在一起，从而实现大容量、高位宽的ddr组合阵列。hbm可以和cpu、gpu和fpga等封装在一个芯片上，实现高带宽的访问。比如nvidia a100gpu使用80gb的hbm2内存，整个内存带宽达到2tb/s。

2、xilinx最新的versal hbm系列fpga包含两个hbm2e存储器堆栈，每个堆栈的容量为8gb或者16gb。每个堆栈有8个axi hbm存储控制器，每个存储控制器又可以分为两个半独立的64位伪通道，用于寻址hbm的专用部分。versal hbm系列fpga的最大容量为32g，最大吞吐量为819gb/s。

3、由于hbm是由多个ddr堆叠而成，且有多个存储控制器，从而拥有多个相对独立存储空间。hbm在使用时，可以每个存储空间单独使用，也可以将多个存储空间当作一个连续空间使用。当hbm每个存储空间单独使用时，每个空间的地址和数据相互独立，互不相关。在存储和访问时需要对每个空间单独操作，处理复杂。而当把hbm当作一个连续的存储空间进行使用时，需要做到全局地址访问。可以通过一个switch将全局地址转换为独立空间的内部地址，达到全局访问的效果。但当访问接口很多时，switch设计将会变的非常大，布局布线困难，并且数据也会相互阻塞，造成延时很大。

技术实现思路

1、本申请实施例提供面向hbm架构的数据存取结构，解决hbm空间存取数据阻塞和延时问题。hbm架构包括至少两个存储堆栈hbm stack，每个存储堆栈中包含至少m个存储空间组hbm group，每个存储空间组中包含至少n个在地址上连续的hbm空间，每个hbm空间设置有两路连接节点，且两路连接节点分别连通至数据处理设备的数据通道；

2、用于存入hbm的原始数据按顺序归一化成若干连续的数据块block，且数据块按顺序依次存储在m*n个存储空间组中的地址块，相邻存储空间组中相同地址位的地址块存储的是两个连续的数据块，且同一存储空间组中的数据块按照地址深度存取。

3、具体的，归一化的数据块大小相同，且数据块按照数据行line进行切片，并按行进行排列。

4、具体的，当数据块为图片时，按照像素切片为若干数据行，每个数据行表示图像的像素长度；当数据块为m*n维度向量矩阵时，每个切片的数据行表示为维度为a的单个向量。

5、具体的，归一化后的原始数据按行切分并标号排序成若干数据行，将奇数据行按标号大小顺序拼接成奇数据序列，将偶数据行按标号大小顺序拼接成偶数据序列；奇数据序列和偶数据序列共同拼接组成数据块；

6、在存储空间组中，每个地址块分为第一存储区和第二存储区，分配至地址块的目标数据块拆分为奇数据序列和偶数据序列，并分别存储至第一存储区和第二存储区。

7、具体的，每个存储空间组中的hbm空间包含若干存储单元，每个存储单元的数据位宽与连接节点的数据位宽相等；

8、每个数据行根据存储单元的数据位宽切分成若干数据段，并根据切分的数据段数目确定存储的hbm空间和在hbm空间中的存储单元位置。

9、具体的，切分的若干连续数据段按顺序依次存储在n个hbm空间的存储单元中，相邻hbm空间中相同地址位的存储单元中存储的是两个连续的数据段，且同一hbm空间中的数据段按照地址深度存取。

10、具体的，每个hbm空间的存储单元分为第一子存储区和第二子存储区，奇数据行切分的数据段存储在第一子存储区中的存储单元，偶数据切分的数据段存储在第二子存储区中的存储单元；n个hbm空间中的第一子存储区共同组成第一存储区，n个hbm空间中的第二子存储区共同组成第二存储区。

11、具体的，每个hbm空间中的第一子存储区通过一个连接节点连通数据处理设备的第一数据通道，传输奇数据行；第二存储区通过另一连接节点连通数据处理设备的第二数据通道，传输偶数据行。

12、具体的，数据处理设备包含m*n组数据通道，分别对应m*n组存储空间组；每组数据通道包含用于传输奇数据行的第一数据通道和用于传输偶数据行的第二数据通道；

13、同一存储空间组中，所有hbm空间的第一子存储区分别通过各自的连接节点连接第一数据通道，所有hbm空间的第二子存储区分别通过各自的连接节点连接第二数据通道。

14、具体的，m*n组数据通道根据时序同时从所有hbm空间中读取奇数据行与偶数据行根据数据。

15、本申请实施例提供的技术方案带来的有益效果至少包括：

16、多hbm同步访问；hbm分成多个不同的group，每个group中有包含不同的space。每个space为一个hbm独立存储空间，具有连续的物理空间。不同的hbm space之间地址连续，但是物理空间不连续。不同的group地址和物理空间都可以不连续。

17、低扇出设计；数据读写以group为单位进行，不同的group之间没有数据的交互，因此在进行布局布线时，数据读写控制模块只会围绕各自的hbm group进行连线，而不会连线到其他的hbm group，从而避免了不同group之间交叉布线，减小了布线的扇出。

18、低延时设计；由于数据读写模块围绕着各自的hbm group进行布局，距离存储器较近，因此数据读写的延时较低。另外，数据在存储和读写时采用奇偶行的方式，使同一个hbmspace中两个通道的数据各自独立，减少了数据冲突导致的等待，提高效率的同时降低任务延时。

19、简化数据同步；data line在存储时，根据硬件计算的位宽需求，存储在一个或多个不同的hbm space中。由于每个hbm space的结构相同，读写控制逻辑相同，因此数据路径相似，数据到达时间也相近。这样的话，只需要简单数据缓存就可以轻松实现数据的同步。同样的不同的hbm group之间结构相同，控制逻辑相同，数据路径相似，任务间的同步也可简单实现。从而不再需要复杂的缓存结构来保证数据的同时到达，简化了数据同步的过程。

20、批量任务设计；同一个hbm group的两个对外接口之间可以根据奇偶行数据进行任务切分，不同的hbm group之间还可以进行不同的任务切分。因此该架构在使用时支持批量任务同时进行。同时又由于结构和布局的相识性，不同的任务执行时间相近，方便进行批量的管理。

21、数据切片管理；本架构中，为提高数据读写效率，对数据进行了切片处理。即在每一个hbm中存储的数据并非是一个完整的有效的数据，而是要经过多hbm的数据重组和重新排序，才能得到一个完整的数据。而通过对数据进行切片处理，使该架构具有更大的灵活性和更高效的并行处理能力。

1.一种面向hbm架构的数据存取结构，hbm架构包括至少两个存储堆栈hbm stack，每个存储堆栈中包含至少m个存储空间组hbm group，其特征在于，每个存储空间组中包含至少n个在地址上连续的hbm空间，每个hbm空间设置有两路连接节点，且两路连接节点分别连通至数据处理设备的数据通道；

2.根据权利要求1所述的面向hbm架构的数据存取结构，其特征在于，归一化的数据块大小相同，且数据块按照数据行line进行切片，并按行进行排列。

3.根据权利要求2所述的面向hbm架构的数据存取结构，其特征在于，当数据块为图片时，按照像素切片为若干数据行，每个数据行表示图像的像素长度；当数据块为m*n维度向量矩阵时，每个切片的数据行表示为维度为m的单个向量。

4.根据权利要求2所述的面向hbm架构的数据存取结构，其特征在于，归一化后的原始数据按行切分并标号排序成若干数据行，将奇数据行按标号大小顺序拼接成奇数据序列，将偶数据行按标号大小顺序拼接成偶数据序列；奇数据序列和偶数据序列共同拼接组成数据块；

5.根据权利要求4所述的面向hbm架构的数据存取结构，其特征在于，每个存储空间组中的hbm空间包含若干存储单元，每个存储单元的数据位宽与连接节点的数据位宽相等；

6.根据权利要求5所述的面向hbm架构的数据存取结构，其特征在于，切分的若干连续数据段按顺序依次存储在n个hbm空间的存储单元中，相邻hbm空间中相同地址位的存储单元中存储的是两个连续的数据段，且同一hbm空间中的数据段按照地址深度存取。

7.根据权利要求6所述的面向hbm架构的数据存取结构，其特征在于，每个hbm空间的存储单元分为第一子存储区和第二子存储区，奇数据行切分的数据段存储在第一子存储区中的存储单元，偶数据切分的数据段存储在第二子存储区中的存储单元；n个hbm空间中的第一子存储区共同组成第一存储区，n个hbm空间中的第二子存储区共同组成第二存储区。

8.根据权利要求7所述的面向hbm架构的数据存取结构，其特征在于，每个hbm空间中的第一子存储区通过一个连接节点连通数据处理设备的第一数据通道，传输奇数据行；第二存储区通过另一连接节点连通数据处理设备的第二数据通道，传输偶数据行。

9.根据权利要求8所述的面向hbm架构的数据存取结构，其特征在于，数据处理设备包含m*n组数据通道，分别对应m*n组存储空间组；每组数据通道包含用于传输奇数据行的第一数据通道和用于传输偶数据行的第二数据通道；

10.根据权利要求9所述的面向hbm架构的数据存取结构，其特征在于，m*n组数据通道根据时序同时从所有hbm空间中读取奇数据行与偶数据行根据数据。