云计算和大数据重点专项项目成果“多模态自然

中国科学院软件研究所和中国医学科学院北京协和医院在国家重点研发计划“云计算和大数据”重点专项项目“云端融合的自然交互设备和工具”的支持下，将自然人机交互技术与神经系统疾病临床诊断方法结合，研制了“多模态自然人机交互神经系统疾病辅助诊断工具”，成功应用于神经系统疾病的早期预警与辅助诊断当中，在国家健康医疗相关领域发挥了重要作用，入选国家卫健委颁发的“医疗健康人工智能应用落地30最佳案例”。

 

脑卒中、帕金森病、阿兹海默症等是常见的神经系统疾病，已经成为严重威胁我国人口健康的重大神经系统疾病。神经功能评价是神经系统疾病早期预警和临床诊断的主要手段。临床上主要是通过各种量表、测试、问卷调查等方法对病人的神经功能进行评价。但是这些方法依赖于专业医疗设备和医疗人员，成本较高，无法作为日常健康评价手段；同时由于神经系统结构和功能的复杂性，这些方法无法对检测关键要素进行全程数据存储和定量分析，受评价者主观判断影响较大。自然人机交互是新一代的人机交互方式，它使计算系统具有强感知能力、多通道能力与自然性等特点，可以解决传统神经功能评价方法存在的不足，为神经医学检测提供定量化、多模态和非任务态监测的支持。

 

多模态自然人机交互神经系统疾病辅助诊断工具主要由认知检查子系统、书写运动功能检查子系统、步态功能检查子系统、语音功能检查子系统、智能积木检查子系统、智能餐具检查子系统和手机日常操作异常检测子系统组成，利用笔式、姿态、智能实物、语音、触屏移动设备等多通道交互技术进行神经系统疾病的早期预警与辅助诊断，为神经功能评价提供预警筛查、临床诊断、预后评估、康复监测以及长程跟踪等关键技术支撑。

 

该套系统在北京协和医院、湘雅医院、天津医科大学总医院、大连第三人民医院等国内大型三甲医院得到应用，获卫健委等相关部门充分认可，在国家农村心脑血管疾病危险因素调查、缺血性脑卒中长程随访等重大任务中发挥重要作用。目前，基于该系统已收集神经系统疾病临床病例5226人，累计进行医学临床检查约20000多次，建立了包括手写、语音、步态、抓握、生理、影像的医学数据库，为临床辅助诊断提供了技术基础。