RISC-V MCU中文社区

开源蜂鸟孵化”芯“应用,“芯来RISC-V杯”优秀作品集中展示

分享于 2022-12-05 14:52:14
0
6750
为了推进RISC-V产教生态建设,为广大开发爱好者提供更多的应用案例以及相互学习交流的平台。我们在过去的三个多月里,邀请了数支第五届、第六届集创赛“芯来RISC-V”杯优秀团队进行围绕参赛作品进行直播分享与交流,包括关键技术讲解、成果展示及经验。
截至目前共12期,今年的“芯来开源RISC-V专题系列”直播分享也就到此结束啦!当然,为了满足大家的需求,我们特将“芯来开源RISC-V专题系列”全部的十二期直播回放进行了整理,助力各位想要继续学习的小伙伴们!


第一期:
自适应噪声环境的
超低功耗语音关键词识别系统


本作品设计了一款基于蜂鸟E203的自适应噪声环境超低功耗语音关键词识别系统。该系统可针对噪声环境的高低切换不同精度的神经网络,根据信噪比大小自动选择合适的工作模式。系统能实现12个语音关键词的识别并可实时通过语音命令控制贪吃蛇前进方向,在近麦克风语音环境下识别准确率为89.1%,在5dB信噪比环境下准确率为86.4%。基于TSMC22nmULL工艺,本作品语音识别加速器部分版图面积为0.6mm^2,芯片功耗约为6.7μW。
点击观看直播回放:第一期:自适应噪声环境的超低功耗语音关键词识别系统

集成电路青年论坛-芯来开源RISC-V专题系列


第一期



第二期:
面向人脸检测追踪的
神经网络硬件加速SoC系统


本作品设计了一款基于蜂鸟E203的面向人脸检测追踪的神经网络硬件加速SoC系统。在当下后疫情时代人群密集场所,时刻提醒人们戴好口罩成为了工作人员的工作负担。针对这一问题,本作品在业界近年提出的YOLO-V3算法基础上提出了YOLO-hbird模型,并通过所设计的神经网络硬件加速器完成对摄像头画面中人脸的检测,自动地框选检测到的人脸是否带好了口罩,戴好口罩则为绿框,没戴口罩则为红框,进而通过指示灯向没带口罩的人发出提醒。本设计对人脸的检测精度为91.13%,在90MHz的工作频率下检测帧率达到10 FPS,满足应用需求。
点击观看直播回放:第二期:面向人脸检测追踪的神经网络硬件加速SoC系统

集成电路青年论坛-芯来开源RISC-V专题系列


第二期



第三期:
物品识别与分类SoC系统设计


本项目基于蜂鸟E203 SoC进行扩展,在限定的FPGA上构建面向物品识别与分类的SoC,进而完成对于垃圾分类、人物搜救等实际应用。通过对整个SoC系统所需资源的计算以及对FPGA资源的评估,综合考虑资源利用以及性能等多方面因素,本项目选用了squeezenet网络,并设计了其对应的神经网络加速器。整个系统挂载了图像采集与显示模块、DDR及SD卡存储模块以及硬件加速器模块 (NICE协处理器)。从硬件底层到软件驱动完成了从图像采集到最后分类结果输出的功能。本项目最终图像处理帧率达到62.5 FPS,板级功耗为2.441W。
点击观看直播回放:第三期:物品识别与分类SoC系统设计

集成电路青年论坛-芯来开源RISC-V专题系列


第三期


第四期:
基于蜂鸟SoC的物联网姿态识别系统


本项目基于蜂鸟E203SoC进行扩展,开发和实现了一款低功耗、高实时性的人体姿态识别嵌入式系统。首先我们基于微软的SimpleBaseline网络进行改进和优化,得到超轻量化的LightPose神经网络,并采用量化感知训练完成int8量化。进而我们针对FPGA的硬件特点设计了全数据流架构的CNN计算模块和模块之间的流水线式工作机制,加速器可单独工作在188MHz,性能达到411.6 FPS,能效比为GPU的121.8倍。在此基础上,我们对蜂鸟E203 SoC进行部署和扩展,运行RT-Thread实时操作系统,开发了系统管理、无线通信、用户交互等多项功能,实现了端到端的实时视频处理和显示。
点击观看直播回放:第四期:基于蜂鸟SoC的物联网姿态识别系统

集成电路青年论坛-芯来开源RISC-V专题系列


第四期


第五期:
运动物体分类识别与测速SoC系统设计


本系统基于蜂鸟 E203 处理器搭建目标检测 SoC,可通过摄像头采集图像信息,利用硬件加速器进行运动目标识别,通过软件计算出目标运动的速度,并通过芯来科技DDR200T板卡上的LCD输出识别结果,从而实现对视频流实时、稳定的目标检测处理。系统具有较高的准确率,较低的功耗和资源开销,因此可以实现对物品的实时识别与测速。本系统同时开发了上位机控制、操作系统、图形化界面等配套功能,使得互动人性化、直观清晰。
点击观看直播回放:第五期:运动物体分类识别与测速SoC系统设计

集成电路青年论坛-芯来开源RISC-V专题系列


第五期



第六期:
RISC-V边缘智能推断平台


本项目基于蜂鸟E203 SoC设计了一个通用的AI边缘智能推断平台。整个硬件系统采用了模块化设计的核心思想,集成了自定义NICE协处理器、DDR内存扩展、SD卡外部离线存储、以太网驱动、FPU浮点计算单元以及VPU向量计算单元等模块。系统在算法层支持Tensorflow、Pytorch等多种主流深度学习推理框架,在软件驱动层支持SD卡、LCD屏和以太网传输,同时支持FatFs文件系统的移植。最终我们的平台实现了图像识别、音频处理、时间序列数据处理等多种算法的切换和加速。
点击观看直播回放:第六期:RISC-V边缘智能推断平台

集成电路青年论坛-芯来开源RISC-V专题系列


第六期




第七期:
基于肺音的新冠肺炎智能分级诊断
的SoC系统


在当下后疫情时代防控常态化的背景下,实现快速、无创、实时的肺炎疾病诊断极为重要。本作品利用蜂鸟E203平台,设计了一款基于肺音的新冠肺炎智能分级诊断的SoC系统。该系统可通过肺部声音对人群进行肺炎疾病预诊断,通过神经网络快速判断人体是否患有肺炎以及肺炎的严重程度。系统使用的深度学习算法为二级紧耦合神经网络,轻量化设计的一级网络用于判断肺音数据是否异常,若为异常,再开启二级网络对患病严重程度进行分类。该系统使用以脉动阵列为核心的可重构硬件加速器对该网络的推理过程进行加速。本工作对同济新冠肺音数据集的分类准确率得分为65.12%,在100MHz的工作频率下检测顿率为2FPs,满足可穿戴设备应用场景的实时检测需求。
点击观看直播回放:第七期:基于肺音的新冠肺炎智能分级诊断的SoC系统

集成电路青年论坛-芯来开源RISC-V专题系列


第七期




第八期:
基于E203和二值权重及激活神经网络的
超低功耗ECG分类系统


心血管疾病严重威胁人类生命健康,为社会和家庭带来沉重的负担。早期准确诊断心血管疾病对于挽救患者生命至关重要。传统的神经网络因注重精度的提高,忽略了硬件实现的可适用性。参数量多、运算复杂、系统功耗高等缺点限制了其在嵌入式场景中的应用。针对这些缺点,本团队设计了一种基于E203和二值权重及激活神经网络(Binary Weight And Activation Networks,BWAN)加速器的超低功耗ECG分类系统。相比传统卷积神经网络专注于精度的提高,BWAN更好的均衡了精度和硬件资源的使用,BWAN通过参数二值化,卷积池化融合以及结构化剪枝的精细化网络结构设计,在降低位宽和运算复杂度的同时,实现98.2%的分类精度。为了进一步降低功耗,减小面积,本团队完成芯片级设计。基于中芯国际(SMIC)40nm工艺库,完成二值权重及激活的超低功耗ECG分类系统的综合(DesignCompiler,DC)、后端版图(Layout)设计。综合面积仅为0.0049mm2。工作频率为100KHz时,分类系统的功耗约为0.6μW。
点击观看直播回放:第八期:基于E203和二值权重及激活神经网络的超低功耗ECG分类系统

集成电路青年论坛-芯来开源RISC-V专题系列


第八期



第九期
基于可重构技术的
RISC-V智能识别系统


本设计实现了基于可重构技术的智能识别SoC系统。通过摄像头采集图像,上位机预处理数据,UART实时传输,SD卡初始化权重,CPU调度控制,DMA搬运数据,加速核并行计算,OLED显示,完成了从采集数据到反馈结果的全通路设计。针对E203处理器低功耗、低算力的特性与嵌入式的应用场景,我组基于可重构技术,设计了神经网络智能加速核,在低功耗的基础上极大提升了SoC系统的算力。加速核搭配专用DMA接口、可重构高并行脉动阵列与高带宽访存方案,在8或16位定点数下,支持卷积,池化,全连接,LSTM、激活函数等算法的,可以实现常见神经网络的加速。在测试中,我们部署了LeNet网络、VGG16网络等卷积神经网络和LSTM等循环神经网络,测试结果显示,与纯E203 CPU相比,本设计运算速度普遍提高了4-5个数量级。
点击观看直播回放:第九期:基于可重构技术的RISC-V智能识别系统

集成电路青年论坛-芯来开源RISC-V专题系列


第九期




第十期
基于激光点云的
自动驾驶智能识别硬件加速SoC系统


本作品设计了一款基于蜂鸟E203的以激光雷达作为传感器面向自动驾驶应用的可重构智能识别硬件加速SoC系统。该系统能够根据需求的不同,搭载不同神经网络,选择激光雷达或者摄像头作为传感器,从而适应到自动驾驶复杂多变的应用情景当中。通过我们设计的可重构脉动阵列硬件加速器,我们能够完成对激光雷达产生的激光点云中行人和车辆的位置识别,在基本不减少准确率的前提下,显著提升了系统处理数据的速度,使得帧率提升到了12.7fps@100MHz,而能效则提升到了原来的2倍。
点击观看直播回放:第十期:基于激光点云的自动驾驶智能识别硬件加速SoC系统

集成电路青年论坛-芯来开源RISC-V专题系列


第十期




第十一期
高性能实时目标检测加速器设计与实现


本作品设计了一款基于蜂鸟E203的高性能实时目标检测硬件加速SoC系统。该系统提供了完善的模型量化、部署脚本,可以支持YOLOv3_Tiny网络的一键化部署。同时配合摄像头采集、HDMI显示以及运动控制,构建了一个实时推理、检测与跟踪系统,并在Xilinx的K7160tffg676-2芯片上达到了26.7fps@200MHz。我们在最终的作品中演示了口罩识别和VOC数据集下目标识别两个demo,也可以根据需求满足多场景下的目标检测需要,该技术可应用在视频监控、视觉探伤、医疗诊断等多个领域,具有广阔的应用前景。

点击观看直播回放:第十一期:高性能实时目标检测加速器设计与实现


集成电路青年论坛-芯来开源RISC-V专题系列


第十一期




第十二期
基于蜂鸟E203的简谱音符识别播放系统


本团队基于当前社会对音乐学习的需求,设计开发了一套基于蜂鸟E203的简谱音符识别播放系统,意在辅助儿童、学生等群体完成简谱学习。本系统基于蜂鸟E203内核,在Nexys-A7-100T板卡上完成了智能识别系统的搭建。通过构建图像输入模块,智能识别IP,硬件加速模块等,实现了对基本简谱音符的快速识别和结果显示,同时结合信号处理的相关知识,完成了简谱的音频播放。通过软件端完成系统控制,硬件端进行数据计算,很好地实现了软硬件协同,通过协处理器等加速设计相较于纯软核下识别速度提升122倍。同时设计了移动端APP,人机交互良好,整体打造了一款体量小巧,控制便捷的产品。
点击观看直播回放:第十二期:基于蜂鸟E203的简谱音符识别播放系统

集成电路青年论坛-芯来开源RISC-V专题系列


第十二期


如果对于本系列相关作品有更多疑问、经验或探讨需求,请各位移步我们的RVMCU论坛多多发帖进行讨论!

同时也请大家多多关注我们之后的动态,一起期待"芯来开源RISC-V专题系列"明年继续!

关于芯来科技
芯来科技成立于2018年,国内本土专业RISC-V处理器IP及整体解决方案提供商。公司从零开始,开发出全系列国产自主的RISC-V处理器IP产品:200、300、600、900等,覆盖从低功耗到高性能的各种应用场景。并且和重量级的行业客户在众多应用领域落地量产,遍及5G通信、工业控制、人工智能、汽车电子、物联网、存储、MCU、网络安全等多个领域。
目前已有超过100家正式授权客户。

更多详情访问:www.nucleisys.com

▼往期精彩回顾

滴水湖RISC-V国产芯阅兵,芯来四客户上榜

RISC-V产业联盟完成换届,芯来CEO彭剑英当选新任秘书长

芯来RISC-V CPU IP产品获奖,连续三年荣登“中国芯”

芯来科技正式加入UCIe产业联盟,布局Chiplet生态演进

芯来科技再登中国"芯科技"新锐企业50榜单

芯来助力裕太微推出高性能以太网交换芯片

沐创发布基于芯来RISC-V内核高速接口安全芯片
NucleiStudio 2022.08更新版本发布
芯来【安全】&【车规】产品发布,软硬生态共推“芯”应用
翱捷科技ASR基于芯来RISC-V内核,推出Wi-Fi6芯片
芯来集成开发环境Nuclei Studio 2022.04版本发布
芯来科技与中国移动芯昇科技联合发布RISC-V生态开发板
齐“芯”合力,继往开“来” >>> 一张通往芯来的船票


*免责声明:以上内容仅供交和流学习之用。如有任何疑问或异议,请留言与我们联系。
6750 0

你的回应
文建国

文建国 未通过实名认证

懒的都不写签名

积分
问答
粉丝
关注
  • RV-STAR 开发板
  • RISC-V处理器设计系列课程
  • 培养RISC-V大学土壤 共建RISC-V教育生态
RV-STAR 开发板