为了推进RISC-V产教生态建设，为广大开发爱好者提供更多的应用案例以及相互学习交流的平台。我们在过去的三个多月里，邀请了数支第五届、第六届集创赛“芯来RISC-V”杯优秀团队进行围绕参赛作品进行直播分享与交流，包括关键技术讲解、成果展示及经验。截至目前共12期，今年的“芯来开源RISC-V专题系列”直播分享也就到此结束啦！当然，为了满足大家的需求，我们特将“芯来开源RISC-V专题系列”全部的十二期直播回放进行了整理，助力各位想要继续学习的小伙伴们！
本作品设计了一款基于蜂鸟E203的自适应噪声环境超低功耗语音关键词识别系统。该系统可针对噪声环境的高低切换不同精度的神经网络，根据信噪比大小自动选择合适的工作模式。系统能实现12个语音关键词的识别并可实时通过语音命令控制贪吃蛇前进方向，在近麦克风语音环境下识别准确率为89.1%，在5dB信噪比环境下准确率为86.4%。基于TSMC22nmULL工艺，本作品语音识别加速器部分版图面积为0.6mm^2，芯片功耗约为6.7μW。本作品设计了一款基于蜂鸟E203的面向人脸检测追踪的神经网络硬件加速SoC系统。在当下后疫情时代人群密集场所，时刻提醒人们戴好口罩成为了工作人员的工作负担。针对这一问题，本作品在业界近年提出的YOLO-V3算法基础上提出了YOLO-hbird模型，并通过所设计的神经网络硬件加速器完成对摄像头画面中人脸的检测，自动地框选检测到的人脸是否带好了口罩，戴好口罩则为绿框，没戴口罩则为红框，进而通过指示灯向没带口罩的人发出提醒。本设计对人脸的检测精度为91.13%，在90MHz的工作频率下检测帧率达到10 FPS，满足应用需求。
本项目基于蜂鸟E203 SoC进行扩展，在限定的FPGA上构建面向物品识别与分类的SoC，进而完成对于垃圾分类、人物搜救等实际应用。通过对整个SoC系统所需资源的计算以及对FPGA资源的评估，综合考虑资源利用以及性能等多方面因素，本项目选用了squeezenet网络，并设计了其对应的神经网络加速器。整个系统挂载了图像采集与显示模块、DDR及SD卡存储模块以及硬件加速器模块 (NICE协处理器)。从硬件底层到软件驱动完成了从图像采集到最后分类结果输出的功能。本项目最终图像处理帧率达到62.5 FPS，板级功耗为2.441W。
本项目基于蜂鸟E203SoC进行扩展，开发和实现了一款低功耗、高实时性的人体姿态识别嵌入式系统。首先我们基于微软的SimpleBaseline网络进行改进和优化，得到超轻量化的LightPose神经网络，并采用量化感知训练完成int8量化。进而我们针对FPGA的硬件特点设计了全数据流架构的CNN计算模块和模块之间的流水线式工作机制，加速器可单独工作在188MHz，性能达到411.6 FPS，能效比为GPU的121.8倍。在此基础上，我们对蜂鸟E203 SoC进行部署和扩展，运行RT-Thread实时操作系统，开发了系统管理、无线通信、用户交互等多项功能，实现了端到端的实时视频处理和显示。
本系统基于蜂鸟 E203 处理器搭建目标检测 SoC，可通过摄像头采集图像信息，利用硬件加速器进行运动目标识别，通过软件计算出目标运动的速度，并通过芯来科技DDR200T板卡上的LCD输出识别结果，从而实现对视频流实时、稳定的目标检测处理。系统具有较高的准确率，较低的功耗和资源开销，因此可以实现对物品的实时识别与测速。本系统同时开发了上位机控制、操作系统、图形化界面等配套功能，使得互动人性化、直观清晰。
本项目基于蜂鸟E203 SoC设计了一个通用的AI边缘智能推断平台。整个硬件系统采用了模块化设计的核心思想，集成了自定义NICE协处理器、DDR内存扩展、SD卡外部离线存储、以太网驱动、FPU浮点计算单元以及VPU向量计算单元等模块。系统在算法层支持Tensorflow、Pytorch等多种主流深度学习推理框架，在软件驱动层支持SD卡、LCD屏和以太网传输，同时支持FatFs文件系统的移植。最终我们的平台实现了图像识别、音频处理、时间序列数据处理等多种算法的切换和加速。
在当下后疫情时代防控常态化的背景下，实现快速、无创、实时的肺炎疾病诊断极为重要。本作品利用蜂鸟E203平台，设计了一款基于肺音的新冠肺炎智能分级诊断的SoC系统。该系统可通过肺部声音对人群进行肺炎疾病预诊断，通过神经网络快速判断人体是否患有肺炎以及肺炎的严重程度。系统使用的深度学习算法为二级紧耦合神经网络，轻量化设计的一级网络用于判断肺音数据是否异常，若为异常，再开启二级网络对患病严重程度进行分类。该系统使用以脉动阵列为核心的可重构硬件加速器对该网络的推理过程进行加速。本工作对同济新冠肺音数据集的分类准确率得分为65.12%，在100MHz的工作频率下检测顿率为2FPs，满足可穿戴设备应用场景的实时检测需求。
心血管疾病严重威胁人类生命健康，为社会和家庭带来沉重的负担。早期准确诊断心血管疾病对于挽救患者生命至关重要。传统的神经网络因注重精度的提高，忽略了硬件实现的可适用性。参数量多、运算复杂、系统功耗高等缺点限制了其在嵌入式场景中的应用。针对这些缺点，本团队设计了一种基于E203和二值权重及激活神经网络(Binary Weight And Activation Networks,BWAN)加速器的超低功耗ECG分类系统。相比传统卷积神经网络专注于精度的提高，BWAN更好的均衡了精度和硬件资源的使用，BWAN通过参数二值化，卷积池化融合以及结构化剪枝的精细化网络结构设计，在降低位宽和运算复杂度的同时，实现98.2%的分类精度。为了进一步降低功耗，减小面积，本团队完成芯片级设计。基于中芯国际(SMIC)40nm工艺库，完成二值权重及激活的超低功耗ECG分类系统的综合(DesignCompiler,DC)、后端版图(Layout)设计。综合面积仅为0.0049mm2。工作频率为100KHz时，分类系统的功耗约为0.6μW。
本设计实现了基于可重构技术的智能识别SoC系统。通过摄像头采集图像，上位机预处理数据，UART实时传输，SD卡初始化权重，CPU调度控制，DMA搬运数据，加速核并行计算，OLED显示，完成了从采集数据到反馈结果的全通路设计。针对E203处理器低功耗、低算力的特性与嵌入式的应用场景，我组基于可重构技术，设计了神经网络智能加速核，在低功耗的基础上极大提升了SoC系统的算力。加速核搭配专用DMA接口、可重构高并行脉动阵列与高带宽访存方案，在8或16位定点数下，支持卷积，池化，全连接，LSTM、激活函数等算法的，可以实现常见神经网络的加速。在测试中，我们部署了LeNet网络、VGG16网络等卷积神经网络和LSTM等循环神经网络，测试结果显示，与纯E203 CPU相比，本设计运算速度普遍提高了4-5个数量级。
本作品设计了一款基于蜂鸟E203的以激光雷达作为传感器面向自动驾驶应用的可重构智能识别硬件加速SoC系统。该系统能够根据需求的不同，搭载不同神经网络，选择激光雷达或者摄像头作为传感器，从而适应到自动驾驶复杂多变的应用情景当中。通过我们设计的可重构脉动阵列硬件加速器，我们能够完成对激光雷达产生的激光点云中行人和车辆的位置识别，在基本不减少准确率的前提下，显著提升了系统处理数据的速度，使得帧率提升到了12.7fps@100MHz，而能效则提升到了原来的2倍。
本作品设计了一款基于蜂鸟E203的高性能实时目标检测硬件加速SoC系统。该系统提供了完善的模型量化、部署脚本，可以支持YOLOv3_Tiny网络的一键化部署。同时配合摄像头采集、HDMI显示以及运动控制，构建了一个实时推理、检测与跟踪系统，并在Xilinx的K7160tffg676-2芯片上达到了26.7fps@200MHz。我们在最终的作品中演示了口罩识别和VOC数据集下目标识别两个demo，也可以根据需求满足多场景下的目标检测需要，该技术可应用在视频监控、视觉探伤、医疗诊断等多个领域，具有广阔的应用前景。
点击观看直播回放：第十一期：高性能实时目标检测加速器设计与实现
本团队基于当前社会对音乐学习的需求，设计开发了一套基于蜂鸟E203的简谱音符识别播放系统，意在辅助儿童、学生等群体完成简谱学习。本系统基于蜂鸟E203内核，在Nexys-A7-100T板卡上完成了智能识别系统的搭建。通过构建图像输入模块，智能识别IP，硬件加速模块等，实现了对基本简谱音符的快速识别和结果显示，同时结合信号处理的相关知识，完成了简谱的音频播放。通过软件端完成系统控制，硬件端进行数据计算，很好地实现了软硬件协同，通过协处理器等加速设计相较于纯软核下识别速度提升122倍。同时设计了移动端APP，人机交互良好，整体打造了一款体量小巧，控制便捷的产品。
