台积电提出内存计算新方案，或可应用于AI边缘

备选标题：

1、台积电提出扩展SRAM阵列，缓解边缘计算能耗问题

2、台积电内存计算新突破！SRAM阵列5nm节点功率效率提升19倍

芯东西（公众号：aichip001）

编译 | 高歌

编辑 | 云鹏

芯东西3月16日消息，近期，台积电的研究人员在ISSCC 2021会议上公布了一种改良的SRAM存储器阵列，这种SRAM阵列或许可以应用于AI边缘设备。与传统的冯·诺依曼架构相比，该方法可以提升数据传输效率，降低设备功耗，满足未来AI边缘应用的部分需求。

台积电通过扩展常规SRAM阵列，使得频繁写入权重值的大型与/或逻辑可重新配置网络进行内存计算，支持可编程位宽、有符号或无符号（signed or unsigned）以及4种不同位宽权重（weight）的输入激活。

论文链接：https://ieeexplore.ieee.org/document/9365766/authors#authors

在最近的2021年国际固态电路会议（ISSCC 2021）上，多个技术会议针对存储器阵列技术展开，以支持机器学习算法的计算需求。

当前，机器学习需要将数据和权重从内存移动到处理单元，然后将中间结果存储回内存。

这一方法效率较低，其无谓的信息传输不仅增加了计算延迟，也增加了相应的功耗。

其“无增值（no value add）”的数据移动是耗散能量的很大一部分，甚至大于“增值（value add）”计算的能量消耗，数据和计算单元权值实际只消耗了一小部分能量。

各部分能量损耗（来源：深度神经网络能量估算工具）

对于在边缘实施机器学习的系统来说，提高内存计算效率、降低能量损耗十分重要。

在机器学习中想要提高内存计算效率，重点在于优化每个神经网络节点关联的向量乘法累加（MAC）操作。

训练网络计算每个数据输入与权重的乘积，并将其提供偏差和激活函数。

训练网络计算方式（来源：IEEE Xplore）

对于一般网络来说，数据和权重通常是多位数。权值向量对于经过训练的边缘AI网络可以使用有符号、无符号或二进制补码整数位表示形式。

内存计算最终的MAC输出则是通过添加部分乘法乘积实现的。

每个节点中（数据*权重）的位宽是明确定义的。例如，2n-bit向量覆盖2n-bit无符号整数乘积。但是将所有（数据*权重）乘积累加到高度连接的网络中需要更多bit才能准确表示MAC结果。

当前内存计算研究的一个重点方法是：使用电阻式RAM（ReRAM）实现位线电流检测。活动存储器行字线（active memory row wordline）的数据输入和存储在ReRAM中权值的乘积会产生可区分的位线电流，该电流用于为参考电容充电。

之后模数转换器（ADC）将该电容电压转换为等效的二进制值，进行后续的MAC移位累加。

尽管ReRAM内存计算的面积效率（area-efficient）较高，但它也有缺点：

1、由于电压范围，噪声和PVT的变化，模拟位线电流检测和ADC的精度受到限制

2、ReRAM阵列的写入周期时间长

3、ReRAM阵列的耐用性较差，限制了通用内存存储阵列的适用性

因此在推理神经网络较小、数据矢量表示受到限制（8位或更少）时，使用ReRAM阵列可以提升面积效率。

但是当神经网络较大、数据精度要求很高，存储阵列需要更大的网络和重构工作负载的情况下，更新权重经常会阻碍ReRAM对位电流进行检测。

在ISSCC上，台积电的研究人员提出了一种替代ReRAM的方法，他们使用改良的SRAM阵列进行（数据*权值）计算，这种方法不需要采用新颖的存储技术，因此可以支持更丰富的机器学习网络集。

台积电的SRAM阵列（来源：IEEE Xplore）

如果层数较大，SRAM阵列可以加载数据输入与权值进行节点计算，可以保存输出值并对后续层进行检索。

与ReRAM相比，SRAM阵列减少了数据和权值传递的能耗，解决了ReRAM的耐用性问题。

每个slice具有256个数据输入，它们连接到“ X”逻辑。数据输入向量的连续字节在时钟周期中被提供给“ X”门。

一个slice中存储了256个4-bit权值，每个数据输入代表一个权值，每个权值连接到“ X”逻辑的另一个输入。

SRAM阵列中的逻辑集成示意图（来源：IEEE Xplore）

“X ”是一个双输入或非门（NOR Gate），由一个数据输入和一个权重值作为输入，在面积效率和功率方面都具有一定优势。每个slice之间，集成了树形加法器（adder tree）和部分累加逻辑。

树形加法器示意图（来源：IEEE Xplore）

树形加法器中的权重存储使用了传统的SRAM拓扑结构-权位字线和位线像往常一样连接，对于一个6T-bit单元。每个单元的存储值扇向NOR门的一个输入。

每个slice的输出表示每个权值向量的部分乘积和总和。扩展数组之外的其他逻辑提供了移位加计算，以支持更宽的权值表示。例如，一个（有符号或无符号整数）16-bit权重将组合来自四个slice的累加结果。

台积电基于SRAM的全数字测试器件突出显示了256输入，16 slice（4-bit 权重半字节）的宏设计。

台积电基于SRAM的全数字测试器件的显微图（来源：IEEE Xplore）

其基于SRAM的内存计算宏可以在阵列中提升更新权重的效率，而且该阵列基于数字逻辑的MAC操作可在很宽的电源电压范围内使用。

SRAM阵列的电源电压（TOPS）和功率效率（TOPS/W）测试性能（来源：IEEE Xplore）

尽管此内存计算是在较旧的22nm工艺中进行测试，但是台积电的研究人员提供了5nm节点的面积功率与功率效率估值。

与22nm节点相比，5nm节点的电源电压（TOPS）和功率效率（TOPS/W）提升了2.8倍和19倍。

从云到边缘设备，人工智能（AI）和机器学习（ML）被广泛用于图像分类、语音识别等任务。近年来，由于AI在边缘的优势，比如隐私、低延迟及对网络带宽的有效利用等，AI边缘设备的研究受到了越来越多的关注。

但是，传统的计算架构，如CPU，GPU，FPGA等因为能耗问题很难满足AI边缘应用的未来需求。本次台积电的这种SRAM阵列通过在内存中进行计算，可以减少内存访问的能量消耗，或许可以解决AI边缘的能耗问题。

来源：SemiWiki、IEEE Xplore