RISC-V MCU中文社区

芯来科技发布最新NI系列内核,NI900矢量宽度可达512/1024位

分享于 2024-02-26 09:24:05
0
4892

本土RISC-V CPU IP领军企业——芯来科技正式发布首款针对人工智能应用的专用处理器产品线Nuclei Intelligence(NI)系列,以及NI系列的第一款AI专用RISC-V处理器CPU IP——NI900系列内核。

随着Chatgpt的横空出世,全球掀起一股AI的浪潮,从云端数据中心到边缘侧对AI的需求进一步提升。AI应用主要分布在训练和推理,需要大量的并行计算和NPU来完成,更离不开高性能CPU的算力加持。CPU有着广泛的普及性、兼容性、可扩展性和可靠性,并通过多核多节点进行串行计算、混合计算和安全防护等复杂任务;除此之外,CPU的通用矢量(Vector)指令集也可以提供强大且通用的并行计算能力,在AI领域进行高效的并行计算、前处理、后处理、激活函数等工作,更加灵活地处理GPU和NPU相对难以处理的复杂计算任务。

近期OpenAI发布的Sora模型将AI能够理解和生成的内容模态从文字和图片拓展到视频,进一步证明基础模型能力上限不断被突破,想象空间被打开,对算力基础设施的需求也远没有停止。芯来科技此次推出的NI900重点布局AI应用场景,助力本土芯片设计公司快速完成AI产品的设计。


NI900基于900系列处理器,针对“AI应用”进行了多项特性优化

基础标量处理器:

可以配置为900系列的RV32或RV64的任何一款N900、U900、NX900、UX900。

RVV1.0 VPU:
可配置基于RISC-V V Extension(RVV1.0 Vector指令集)的VPU单元,VPU的VLEN可配置为512-bit或者1024-bit。在INT8数据类型下对性能带来的提升达数百倍;在INT32与FP32数据类型下对性能带来的提升达数十倍
NPU加速器:

可通过NI900的IOCP(IO Coherent Port)与处理器紧耦合,实现对CPU内部Cache的一致性。

用户自定义指令扩展接口:
用户可以使用Nuclei的NICE硬件扩展接口,增加自己自定义的指令,包括Scalar或Vector指令。



NI900支持RISC-V Vector1.0标准


矢量扩展被称之为RV指令集标准最重要的一组扩展,2015年发起,2021年正式生成标准


RVV 1.0支持的数据类型广泛,运算类型丰富且可动态扩展,同一套指令可无修改适配各种微架构实现。


RISC-V GCC从10.2版本已经支持RVV1.0指令,目前GCC13对应的intrinsic API接口已经升级到最新v0.12版本,且已部分支持自动向量化;预计GCC14正式发布,GCC的自动向量化会更加完备。RISC-V CLANG17版本也已支持最新v0.12版本intrinsic APl, 支持自动向量化。


RISC-V Linux 5.18 版本开始支持RVV,其它各种计算库及应用中间件都快速支持了RVV1.0。


有了RVV1.0标准和软件生态的完备,为应对AI算力的需求,需要RISC-V CPU 在微架构设计上做更多有针对性的设计。


NI900拥有强大的并行计算能力


RVV参数描述:
  • VLEN:一个向量寄存器的总bit数(宽度)
  • DLEN:内部运算单元能够并行处理的一个向量元素的最大bit数
  • ELEN:并行处理的数据类型的最大宽度,如果ELEN=32,则最大的处理数据类型是INT32和FP32
可配选项
参数值
VLEN_512
VLEN=512, DLEN=512,ELEN=32/64
VLEN_1024
VLEN=1024, DLEN=1024,ELEN=32/64

VPU支持的数据类型和计算能力:
  • 1024-bit的VPU支持多种数据类型的计算,包括:INT8 / 16 / 32 / 64, BFP16 / FP16 / FP32 / FP64。
  • 1024-bit的VPU支持每个时钟完成128x8-bit / 64x16-bit / 32x32-bit / 16x64-bit的数据计算

NI900拥有强大的Memory读写能力


VPU和Core LSU共享MMU资源
  • VPU并非独立的协处理器,而是与主Core的内存空间实现完全的Coherent

  • Vector指令与普通Scalar一样,支持虚拟地址访问,使得NI900的Vector指令可以无缝运行于大型操作系统之上


VPU和Core LSU共享Memory资源与通道
  • VPU拥有最高512-bit位宽直接访问DCache

  • VPU拥有最高1024-bit位宽直接访问DLM

  • DLM具备1024-bit的Slave Port供SoC访问


可单独配置VLM port以进一步增加性能
  • VLM port可以直接连接到外部加速器或者内存

  • VLM port位宽=VLEN(目前支持最多1024-bit)

  • Scalar Core也可以通过Load Store访问到VLM区间


NI900的VPU带来极大的性能提升

通过强大的运算能力与强劲的Memory读写通道,NI900能带来极大的并行计算性能提升。


如图所示,VLEN=1024-bit的VPU在INT8数据类型下对性能带来的提升达数百倍




如图所示,VLEN=1024-bit的VPU在INT32数据类型下对性能带来的提升达数十倍




如图所示,VLEN=512-bit的VPU在FP32数据类型下对性能带来的提升达数十倍






NI900支持NPU等AI加速器与处理器紧耦合,实现对CPU内部Cache的一致性

NI900支持整合外部AI加速器、NPU、PCIe、DMA,通过900系列的IOCP(IO Coherent Port)与900系列处理器紧耦合,实现对CPU内部Cache的一致性。


NI900的Scalar/Vector NICE自定义指令接口提供更多特定场景的优化可能性
NICE(Nuclei Instruction Co-unit Extension)是芯来CPU IP的一种用户可扩展指令接口机制,允许用户基于芯片的标准通用CPU内核定义自己的扩展指令集。

NI900提供用于Scalar指令扩展的NICE接口,可支持单周期,多周期,流水线等不同指令类型


NI900提供用于Vector指令扩展的NICE接口,可支持单周期,多周期,流水线等不同指令类型


NI900的NICE扩展单元不仅可以进行运算型的自定义指令扩展,还可以通过专用总线访问Core的存储资源(DCache等)实现与主Core的内存一致性,总线位宽可以达到VLEN(最高1024-bit)

用户可以结合自己的应用扩展自定义指令,将NI900处理器内核扩展成为面向AI领域进一步强化的专用处理器。

RISC-V生态日益成熟,芯来NI900赋能AI时代

CPU是算力结构中必不可少的一个环节,在已经到来的人工智能算力时代,通用和专用芯片结合而成的异构计算是未来AI算力基础设施的主流。芯来致力于提供标量、矢量、以及自定义指令结合的计算架构,以满足端侧云侧数据中心的多元化的算力需求。

目前NI900已经获得多家下游客户的认可并投入产品设计中,未来芯来将推出更多NI系列处理器内核IP,赋能AI时代的算力基础设施建设。


关于芯来科技
芯来科技成立于2018年,一直专注于RISC-V CPU IP及相应平台方案的研发,是本土RISC-V领域的代表性企业。

芯来科技从零开始,坚持自研,打造了N/U、NX/UX四大通用CPU IP产品线和NS、NA、NI三个专用CPU IP产品线。其中:

* N/U(支持SV32 MMU)是32位架构,主要用于边缘计算、低功耗和IoT场景;
* NX/UX(支持SV39和SV48 MMU)是64位架构,主要用于数据中心、网络安全、存储等高性能应用场景;
* NS(Security)面向支付等高安全场景;
* NA(Automotive)面向功能安全汽车电子场景;
* NI(Intelligence)面向AI等高性能计算场景。
目前已有超过200家国内外正式授权客户使用了芯来科技的RISC-V CPU IP,遍及AI、汽车电子、5G通信、网络安全、存储、工业控制、MCU、IoT等多个领域。
更多详情访问:www.nucleisys.com

▼往期精彩回顾

芯来科技发布最新N100内核,具备更小面积、更低功耗
芯来携手战略伙伴为RISC-V CPU IP提升DFT可测试性设计
芯来科技荣获中国开放指令生态(RISC-V)联盟“IP先锋奖”
安路发布全新FPSoC®器件,芯来RV内核助力高性能融合
亮相国际舞台 | 芯来RISC-V CPU IP北美峰会引关注
三次蝉联!芯来科技再登中国"芯科技"新锐企业50榜单
兆易创新推出Wi-Fi 6 MCU,芯来RISC-V内核再赋能
芯来助力中移芯昇发布两款RISC-V内核通信芯片
纽瑞芯发布高性能UWB定位通信系统芯片,内置芯来RV内核
开源蜂鸟孵化”芯“应用,“芯来RISC-V杯”优秀作品集中展示
滴水湖RISC-V国产芯阅兵,芯来四客户上榜
芯来助力裕太微推出高性能以太网交换芯片
NucleiStudio 2022.08更新版本发布

*免责声明:以上内容仅供交和流学习之用。如有任何疑问或异议,请留言与我们联系。
4892 0

你的回应
苗:你只属于咱

苗:你只属于咱 未通过实名认证

懒的都不写签名

积分
问答
粉丝
关注
  • RV-STAR 开发板
  • RISC-V处理器设计系列课程
  • 培养RISC-V大学土壤 共建RISC-V教育生态
RV-STAR 开发板