RISC-V MCU中文社区

【分享】 最新的神经网络训练加速器论文分享 - ISSCC2020 GANPU

发表于 全国大学生集成电路创新创业大赛 2021-08-23 21:16:54
0
392
2


这篇文章实现了一个灵活的神经网络训练加速器,主要创新点如下:

1. ASTM:自适应时空负载复用(使用RAN 可重构累加网络,提高单元利用率)

  1. 2. IOAS:输入 输出激活值稀疏性利用(稀疏跳过 提高吞吐和能效)
  2. 3. EORS:仅指数的 Relu 推理(预测未知的 ofmap 稀疏性,使用weight和act的指数部分预测结果是否为负值)


  3. 其架构具有一下特点:

  4. 1. 8个长期存储(LTMEM),32个双稀疏训练核(DSTC),每行PE共享10个单位的Row buffer,存ifmap,每个PE有8个存储,存psum,PE计算的结果交给 Local Acc 进行进一步累加;

    2. 可配的全局累加网络 RAN,可以改变数据流方向,阵列上并行处理多个任务

  5. 3. 寄存器较少、算力高,片上网络灵活



  6. 笔者认为 ASTM 与 RAN 技术比较实用,具体原理如下图所示:



  7. 最后给出该加速器的性能数据:



    1. - 峰值算力:两种格式、有无稀疏

    2. - 能效:(下面的更详细)低压和高压,有无稀疏、两个格式

    3. - 功耗:低压低频、高压高频

    4. - 原文给出了单次推理的耗能、推理帧率








喜欢2
用户评论
关于作者
Malic

Malic 未通过人工认证

研究方向:NN片上训练、语音识别

问答
粉丝
3
关注
0
  • RV-STAR 开发板
  • RISC-V处理器设计系列课程
  • 培养RISC-V大学土壤 共建RISC-V教育生态
RV-STAR 开发板