西电微院边缘感知芯片实验室团队，由赖睿老师指导，共5名博士研究生、12名硕士研究生组成。团队研究方向为电子成像、图像信号处理器 (ISP)、机器视觉处理器 (VPU)、神经形态计算芯片、智能感知集成系统、可重构片上系统芯片的设计等。团队研究成果包括发表于IEEE TNNLS、IEEE TCSVT、IEEE GRSL、Neurocomputing、Applied Optics等国际权威期刊和会议的学术论文60余篇，授权国家发明专利20余项。团队在超低功耗智能视觉处理芯片的敏捷设计方面取得重要突破，完成了超低功耗微型神经处理器芯片TinyNPU的研制，已应用于超低功耗边缘侧智能视觉系统。

知行合一，深入一线调研

人工智能（AI）技术的高速发展正驱动着新一轮科技革命和产业变革。科技强国都把人工智能视为“改变游戏规则”的颠覆性技术，积极争夺在该领域的战略制高点。然而，当前以深度学习技术为基础的AI在走向产业应用的过程中还面临计算能耗、服务成本、计算精度等诸多挑战。为了更好地解决AI技术在工业生产和社会生活中的应用瓶颈问题，促进AI落地，西电微院边缘智能感知芯片团队做了很多的努力。

团队在近年来直接坚持走进生产一线，充分调研了工业制造、基础建设、环境保护、国防装备对人工智能的应用需求，并从中发现新问题、提出新思路、探索新方向。

2017年，团队开展了基于机器视觉的拉链质量智能检测项目，围绕其中的实际问题展开计算机视觉相关的算法和软硬件系统研究。在研发的两年多里，面对六十余项精细的缺陷类型，团队与厂商的一线工人进行了数十次深入交流，先后采集了约十万个工件样本图像，超过200GB的工业大数据，充分了解了工业制造领域阻碍人工智能技术落地的难点和痛点，并提出了解决其样本不平衡分布、数据噪声大等问题的目标精细分类方法和知识蒸馏技术，相关成果发表于人工智能权威学术期刊IEEE TNNLS和计算机视觉顶级会议ECCV。此后，研究团队又调研了智能零售（自动售货柜产品数量统计）、环保（智能野外动物跟拍相机）、建筑（智能工地安全监控）、国防（智能军事目标跟踪、智能红外图像增强）等多个不同产业的实际需求，发现在实际应用中，大部分产业都把人工智能系统边缘化、低能耗、低成本作为AI落地的必备条件，而现有的以“云”计算为主的中心人工智能往往无法满足上述约束条件。

走出实验室，进入生产一线，使得实验室团队逐步确立了一条以边缘化、低功耗、低成本为特点的边缘人工智能科研路线。团队提出不能仅从算法或是硬件层面解决问题，要同时研究轻量化神经网络算法和极低功耗人工智能芯片，从系统的角度攻克AI落地的难题。

厉兵秣马，练就过硬本领

有了丰富的调研成果，实验室接下来针对调研中发现的问题进行了长期的学术探索。在此过程中，实验室逐渐完善了工具设备，建立了广泛合作，培养了人才梯队，打造了一支具有丰富理论及工程经验的人工智能系统设计团队。由于认识到人工智能小型化、低功耗、低成本的发展趋势，团队在2017年就以嵌入式人工智能为主题参与了学科竞赛，所设计的智能手势控制家居系统在与国内外众多知名高校的较量中，取得了2017新思ARC杯海峡两岸电子设计大赛全国二等奖。

2020年，实验室参加由装备发展部主办的“强芯健魂、铸基智能”智能计算基础平台挑战赛，在比赛中力压国内60余支来自知名科研院所及高校的团队，获得了嵌入式赛道的全国第二名，并获得了配套的科研项目资助。

在“刻苦钻研，携手共进”科研工作文化熏陶和感染下，实验室团队过去六年在人工智能芯片设计，AI系统及算法等多个学术领域取得了突破性进展。先后在ECCV、AAAI、IEEE TNNLS、IEEE TCSVT国际顶级学术会议和TOP期刊上发表了6篇重量级论文，从算法到硬件，系统性地解决了极轻量人工智能实际应用的可行性问题，获得了海内外学术同行的高度认可。团队累积在国内外学术期刊上发表SCI检索论文60余篇，授权国家发明专利20余项。

团队进一步通过产学研融合的思路，加强校企合作，拓宽人才建设的道路。实验室陆续为华为、OPPO、AMD、兵器工业、航空工业、中船重工、中电科技等国内外知名企业输送了大量人才并与这些企业开展了广泛合作。在此过程中，团队进一步磨练了过硬的本领，尤其提高了工程实践的能力，能够快速地把理论知识转化为实际应用。团队逐渐形成了算法，系统和芯片的科研分工，以更高的效率分别应对不同层次的问题，打造了全栈的人工智能系统设计团队。为进一步攀登科研高峰奠定了坚实基础。

攻坚克难，铸造AI芯片

经过长时间的产业调研和学术探索，实验室在2021年1月正式启动超低功耗人工智能芯片TinyNPU的研制工作。TinyNPU的设计目标是提供微型机器学习（Tiny Machine Learning，TinyML）领域最好的解决方案，降低相关产业应用的服务成本。由于TinyML领域要求设备耗电少、计算能力强、计算精度高、适应能力广，这使得TinyNPU必须同时具备低功耗、高性能、可重构、低成本的特点，给研制工作带来了巨大困难。为了克服接连而来的技术难题，实验室师生携手同心，钻研国内外文献，仔细比较论证，反复实验对比；从理论创新和工程实践两个方面同时考虑，从算法到芯片拉通优化；严抠每一个细节，将设计工作中的“钉子”一个一个拔除。为了缩短设计周期，确保设计的时效性、先进性、团队师生合理分工，形成有效的攻坚小组，分别负责算法，硬件，芯片等不同模块。团队成员每个人都肩负着重要职责，经常主动延长工作时间来排除设计过程中未预料到的问题，保证进度按计划准确推进。

团队在2021年9月完成了流片、封装工作，并于11月完成了所有测试工作。研究过程中的高标准严要求必然获得厚积薄发的成功。测试结果表明：TinyNPU可用于图像目标检测、识别、分割、人体姿态估计等多种主流AI应用。在典型频率100MHz时，功耗仅为73.6mW，吞吐量高达180FPS；在标准图像分类测试基准ImageNet数据集上，可获得68.4%的Top-1 Acc.分类精度。测试指标满足设计预期，达到了国内外先进水平。TinyNPU采用SDIO、SPI等通用总线作为I/O，可与大量的MCU、SOC等芯片构建异构AI边缘智能系统，大幅提升了系统计算能效。

TinyNPU将来可在智能制造、环境保护、安防监控、可穿戴设备、智能交通、机器人、精准农业、智慧家居等IoT智能视觉终端应用领域发挥作用。例如：动物保护机构采用无识别功能的动物相机因无谓的数据传输存储，无法满足长续航要求。再如：铁路沿线大量布设的智能相机监控沿线铁路安全状态，如果传输到云端处理要造成大量数据传输成本。上述应用瓶颈问题都可以借助TinyNPU的低功耗、低成本、高性能解决。

如今，团队已与中建、中船、中电等多家行业龙头单位达成合作意向，拟在实际应用中检验TinyNPU的性能，并根据实测出的问题进一步改进完善芯片设计，使TinyNPU从“可用”变成“好用”，真正变成一款“物美价廉”的芯片，为祖国建设贡献西电力量。