南开大学提速眼底图像AI分析,采用FPGA开源框架浪潮TF2

winniewei 提交于 周三, 01/27/2021
南开大学提速眼底图像AI分析,采用FPGA开源框架浪潮TF2

近日,TF2开源社区(网址:https://github.com/TF2-Engine/TF2)公布了一项最新创新成果:南开大学智能计算系统研究室(NKiCS)在AI眼底图像血管分割研究中,借助浪潮FPGA开源框架TF2,将单张眼底图像的推理速度提升2.4倍,在提高工作效率的同时有效地降低了计算功耗。这将推动眼底图像分析技术在临床应用,帮助医生更快速地诊断与眼底相关联的糖尿病及其他慢性疾病。

眼睛是人体健康的“镜子”,眼底图像可以间接反应脑血管系统等的病变情况,具有非侵入的优点。通过从检眼镜采集的彩色眼底图像中提取视网膜血管,医疗人员能够分析血管形态状况,进行疾病预警、筛查和诊断。但是,受眼底图像采集技术的限制,图像中往往存在大量噪声,再加之视网膜血管结构复杂多变,使得视网膜血管分割非常困难。人工智能深度学习技术能够显著提升血管分割的速度,帮助医疗人员快速、准确分析眼底血管形态,诊断糖尿病、心脑血管疾病等常见疾病。

眼底图像(左)与血管图像(右)

眼底图像(左)与血管图像(右)

在实际应用中,由于血管分析模型参数量大、计算复杂度高等问题,一般需要昂贵的GPU才能达到较快的分割速度,不利于眼底图像技术的临床推广应用。如何提高眼底图像分割效率并降低TCO,是研究人员亟需解决的问题。NKiCS研究人员尝试将高性能功耗比、可定制、低延迟的FPGA技术运用到眼底图像血管分割中,但面临FPGA软件编写门槛高、性能优化受限、功耗难以控制等挑战。

浪潮FPGA开源框架TF2支持PyTorch、Caffe等深度学习框架,经过编译技术即可适配训练好的深度学习模型到FPGA上,而不需要任何的FPGA开发工作,可帮助用户快速实现基于主流AI 框架和深度神经网络模型(DNN)的FPGA线上推理,并通过首创的FPGA上DNN的移位运算技术获得AI 应用的高性能和低延迟。

TF2计算加速流程

TF2计算加速流程

为了促进FPGA技术的开源开放合作发展,降低高性能AI计算技术门槛,TF2开源社区推出了可重构AI计算发展计划,为参与者提供F10A、F37X等最新FPGA加速卡支持,鼓励参与者将创新性成果反馈至社区,并提供针对性的技术培训和服务,支持项目开发和落地。

在TF2开源社区的助力下,NKiCS采用TF2和浪潮F10A FPGA加速卡适配BTS-DSN神经网络模型,实现了眼底血管图像实时分割,大幅提升了工作效率,并降低了功耗和TCO。研究人员首先利用TF2的模型优化转换工具Transform Kit对网络模型实现模型转换、模型压缩与特征图量化,并生成适配TF2智能运行引擎Runtime Engine的网络模型文件,然后与Runtime Engine提供的计算架构相结合并编译为FPGA目标文件,最后实现基于FPGA的神经网络推理计算加速,高速处理眼底血管分割任务。实测结果显示,单张眼底血管图像推理仅需0.0434秒,相较于GPU提速2.4倍,同时加速卡功耗仅35W,有效提升了性能功耗比。

除了加入TF2开源社区,为了推动AI眼底血管图像分析技术走向临床应用,NKiCS也在努力推动眼底图像数据的开源开放。NKiCS联合多家权威医学机构,发布了OIA数据集(链接:https://github.com/nkicsl/OIA),填补了中国眼科图像数据领域的空白。OIA是基于临床环境的、高质量的、数据样本充分的系列数据集,包括面向糖尿病视网膜病变分类和病变点分割的数据集OIA-DDR,以及基于眼底图像的多类型病变分类的数据集OIA-ODIR,从来自全国26个省份,400多家临床医院的160多万张眼底图像库中,通过专业人员抽取、眼科专家标注、计算机专家建模评测而得到。

随着眼底图像处理效率提升和数据集不断完善,NKiCS开发的眼底图像分析技术将在不久的将来应用到临床,帮助医生更高效、更精准地诊断与眼底相关联的疾病,让更多患者得到及时的干预与诊疗。

相关文章

Digi-Key