个中的一个挑衅长短入侵式的脑机接口收集到的电旌旗灯号微弱，信噪比低。第二个是人与人之间的差别大年夜。人脑在高速运转，除了在活动想象，还会下意识地完成很多功能，所以电旌旗灯号异常复杂。今朝我们重要用深度进修来进行旌旗灯号的分化，成果也是受到业界的承认。客岁12月我们参加世界机械人大年夜赛，获得了脑控机械人赛道活动想象类的冠军。我们实验室主如果做医疗AI的，所以欲望脑机接口可以应用于临床。

2021可谓是AI医疗贸易化元年，政策的利好和本钱的集合催生了AI在包含医学影像诊断、慢病治理、医疗信息办事等医疗范畴各个子赛道的深度赋能。在加倍前沿的范畴，国内研究者在临床上的摸索也从未止步，与马斯克的侵入式脑机不合，非侵入式脑电帽应用电极收集人脑复杂的电旌旗灯号，瘫痪病人经由过程主动的活动想象获得康复的可能。在近日智源社区的访谈中，腾讯天衍实验室主任、AIMBE Fellow郑冶枫博士深刻讲述了有关AI医疗落地的几种不合偏向。

腾讯出色科学家、腾讯天衍实验室负责人 郑冶枫

郑冶枫，腾讯天衍实验室主任、AIMBE Fellow。1998年，郑冶枫传授卒业于清华大年夜学电子工程系并保送本系研究生，之后在美国马里兰大年夜学电子与计算机工程系攻读博士学位。卒业后，郑冶枫博士参加西门子美国研究院，专注于智能医学影像分析。任职时代，郑冶枫博士创造了投影空间进修法，用于医学影像中器官的快速检测与瓜分，并于2011年获得美国专利授权，旋即获得昔时的爱迪生专利奖。

采访对象：郑冶枫

采访人员：李梦佳、李中梁

A：我认为如今国内的科研情况和蔼氛在敏捷进步，与国外的差距已经不大年夜了。不过，不合的公司在文化上、能触达的用户群体上照样有比较明显的差别。在17年下半年猎头接洽我说腾讯在组建医学影像分析团队时，我其实还没有做好预备。不过在和腾讯面试过程中，我发明这家公司异常扎实。在西门子的时刻，主如果发卖硬件，我们做的软件经常是作为赠品搭配。腾讯不做硬件，会有异常多的资本倾斜在软件开辟上，很多产品的设计都是环绕我们AI的才能。例如我们刚拿到的新冠肺炎帮助诊断三类证，它的核心功能就是给定病人的CT图像，用AI算法去断定是不是肺炎。在腾讯还有一个好处是我们可触达的用户群体异常大年夜。客岁新冠疫情时代，我们上线了腾讯健康小法度榜样，我们给十几亿微信用户供给主动匹配比来的发烧门诊等功能。在工作节拍上，我认为不合的公司文化是有适应的过程。在美国根本上是一年一个项目，大年夜家节拍不是特别快。在腾讯节拍会快一些，我们会根据项目成长形势及时调剂，有的偏向我们会重点投入，调剂优先级。

整顿：李中梁

腾讯天衍实验室：腾讯天衍实验室是人工智能实验室，聚焦于医疗AI，重要职责是支撑公司医疗线的营业。全部实验室重要分为三个偏向，一是医学影像分析，二是医学天然说话懂得，三是医疗大年夜数据偏向。腾讯天衍实验室于2018年9月成立，实验室重要成员为“海归”博士，至今三年已申请300多项专利，揭橥60多篇论文，获得多次医疗AI比赛的冠军。今朝实验室在脑机接口等前沿研究上亦有构造。

研究过程

Q：郑博士，您能分享下您的研究经历，介绍下本身的代表性工作吗?A：从我98年本科卒业读研究生算起，至今有20多年时光。我一向从事的是计算机视觉相干的研究工作。我在硕士和博士时代做的是文本图像辨认(OCR，optical character recognition)。进入医学图像范畴也有些机缘偶合，在我博士最落后入西门子美国研究院练习，西门子公司临盆CT，核磁共振，超声X光等高端的医学影像设备，硬件临盆重要在德国，软件开辟和图像的智能分析在美国研究院，最后转正留下，然后就进入这个范畴了。

坦白地讲，我挺爱好这个范畴，起首医学图像分析和我之前做课题都属于计算机视觉不合分支，专业异常匹配，并且做医疗比较有成就感，我们做的器械可以或许给大夫用，可以或许赞助到病人甚至削减大夫的误诊，可以拯救病人生命，所以就一向保持下来。我在西门子从06年工作到17年，在18年1月参加腾讯，至今也快4年了。

Q：从您的角度，国表里的科研情况有什么差别吗?

Q：您的经验中提到了一种投影空间进修法，用于器官的检查和瓜分，可以给我们介绍些您这些年的代表性工作吗?

A：这个工作是我06年参加西门子就开端做的。当时深度进修还没有火起来，可以说是人工智能的穷冬。我们是最早一批把机械进修应用于医学影像分析的科研人员。当机会械进修的办法不是学术的主流，会碰到一些阻力，CT，核磁图像的器官、病灶的检测和瓜分重要应用非机械进修的办法。然则我们当时认为，传统办法下限很高，然则上限很低，这种办法可以调剂的参数太少，以至于练习图像增长到成百上千，模型的机能也不会产生太大年夜的变更。而机械进修，特别是如今风行的深度进修办法，下限很低然则上限很高。这种办法只有样本数量足够多的时刻才能有后果，然则跟着样本越来越多，后果也会越来越好。我们当时比较坚信机械进修在医学影像瓜分上会大年夜有可为，有很多工作可以做，是以提出了一个叫投影空间进修法。

简单介绍这个办法。第一步是做器官的定位，我们用可以扭转拉伸的矩形框去表示这个器官。做完这一步后，我们大年夜概就知道这个器官的地位、姿势和外形。第二步我们做精细瓜分。在这个办法中，第一步的猜测成果很重要，假如没找准，后面瓜分都邑偏掉落。我们第一步猜测的矩形框包含九个参数：三个参数代表物体中间肠位;三个参数代表三个扭转偏向;还有三个参数，表示沿不合的偏向去拉伸长宽高。当机会械进修算法直接去猜测这九个参数很难，所以我们当时把全部过程分成三步。第一步我们猜测这个器官/病灶的中间，再猜测它的扭转偏向，最后猜测长宽高。

因为最后猜测成果是九维的高维空间的解，而我们每一步的求解都是在一个低维空间中，所以叫投影空间进修法。这个办法速度异常快，在CPU上仅须要零点几秒就能猜测器官的姿势。第二步瓜分的时刻我们也采取类似的办法，练习二分类器猜测器官的外面地位进行器官瓜分。投影空间进修法异常通用，在内部有50多个项目应用了我的办法。后面我们也为这个办法申请了专利，2011年拿到了美国的托马斯.爱迪生专利奖。

技巧路线与最新进展

Q：天衍实验室的技巧路线重要有医学影像和天然说话处理，今朝实验室在不合技巧路线上哪些新的进展呢?

A：影像方面，我们比来取得的一个里程碑式进展就是我们的新冠肺炎CT帮助诊断体系在八月份获得了NMPA三类证，可以进入临床了。在互联网科技公司中我们是首个获得三类证。今朝疫情何时停止还未知，我们欲望开辟的肺炎筛查体系可以在疫情防控，特别是常态化防控中发挥一些感化。在天然说话处理与大年夜数据上，我们欲望用常识图谱的方法，将医学场景中的很多常识表达出来，基于这个常识图谱进行推理。一个冲破是，我们提出了常识主动提取的方法。我们让AI进修临床病例，构建常识图谱主动辨认体系，进行关系抽取。我们的研究论文也揭橥于天然说话处理顶会ACL 2021，同时也在一些医疗AI比赛上获得了冠军。

另一个冲破是，图谱的对齐与归并。不合的营业可能会用到不合的图谱，比如“合理用药”这个营业会用到药物图谱，疾病帮助诊断这个营业会用到疾病和症状的图谱。每个营业各自往前成长，图谱赓续地丰富，但我们最终须要把它们归并成一个大年夜的医疗图谱，如许就可以有很大年夜的通用性。这两个不合图谱有些节点代表同一个常识，比如说疾病的节点，在药物图谱和症状图谱中都出现了，我们就须要把这个节点主动找出来。人工去匹配很慢，因为图谱节点都是上百万、几切切级其余，所以须要AI主动地去做对齐归并。

Q：有关脑机接口，天衍实验室在这方面有什么进展可以介绍一下吗?

A：脑机接口更偏向前沿摸索，我们大年夜概在两年前就开端构造这个偏向。脑机接口分为侵入式和非侵入式两种。天衍做的长短侵入式研究，具体来说是活动想象。我们用一种非侵入式的电脑帽，上面有64或者128个电极，被试者戴上电脑帽后可以去有意识地想象一些器械。对于瘫痪病人来说，可以去想象活动左手或者右手，我们用电脑帽收集数据，将这个数据进行解码，后面用AI算法来断定被试的意图，用辨认成果来驱动响应的机械人完成动作。

作者： 李中梁( 智源社区)

中风是中国逝世亡人数最高的疾病，四个去世的人中有一个就是因为中风。中风病人很多有一些肢体残疾，可能身材左边瘫痪了，左手动不了。在康复过程中，须要天天经由过程活动来刺激左手，经由过程必定量的活动刺激来从新建立肌肉活动功能，达到活动康复的目标。中风病人早期进交活动的时刻，平日是家人赞助活动，不是主动式活动康复，后果不是太好。我们做的是主动式活动康复，患者带上脑电帽，脑机接口将想象旌旗灯号解码驱动外骨骼机械人活动，进而患者经由过程异常尽力的主动想象来刺激神经元接收活动控制的功能。今朝我们的项目在天津环湖病院开展临床实验，得出严格的临床实验成果还须要时光。

临床落地Q：在临床落处所面，与大夫的合作会给你带来哪些新的启发或者思路?

别的，医疗是一个很慢的行业，须要经久持续的投入。从idea，数据原型到最终落地，它是很漫长的过程，有些产品还须要严格的认证才能上市，所以我们就不克不及太寻求短平快，几个月就想出成果，这个不太合适医疗范畴和行业。当然，这里面就须要一些情怀，因为真的承认这份事业你才能真的去保持，假如不敷承认就可能会去寻求其他快速的回报。这就是我小我的一些领会。

A：我在和不合大夫合作的过程中照样会受到不合的启发。例如在天然说话懂得的偏向上，大年夜家欲望应用AI助力分诊，一些小病在基层病院解决，同时应用AI帮助诊断来进步基层病院的诊断精确率。在合作的过程中我们和大夫沟通异常频繁，确切会发掘出大夫很多的需求，特别是很多之前没有存眷到的需求。我们根据这些需求又新增了辨别诊断和书写病历申报模块。

我们还开辟了“合理用药”的功能。用药是比较复杂的，每小我病情不合，即使是同样控血压的药也有三五种。然则不合的药有不合的副感化，对某些病人来说，他可能不合适某种药。然则给病人开出合适的药须要花很多时光细心看完病人的完全病历记录，不然有可能开错药。用AI分析病人的完全病历进行用药推荐就异常便利，并且最后是否用AI推荐的药由大夫把控。在和大夫的合作中我们发明须要让大夫先真正用上我们的产品，再根据需求进一步迭代我们的产品。

Q：您和医学背景出身的人一路工作有什么感触感染，印象最深的是什么?

A：我重要的感触感染是如今人工智能才能被神化，比如说100%的精确率，跨越人类专家，这个有点过了。

好处是能引起大年夜家对这个行业的看重。但不太好的就是对人工智能的等待过高，这是一个很大年夜的挑衅。在和不懂得人工智能的大夫合作前，我们会把用户的期望稍微降低一点，告诉他们算法的长处和缺点。

比如现阶段的这小我工智能算法须要大年夜量数据，须要高质量标注，算法的上限是由数据决定的。更多的练习数据，更高质量标注，算法可能还可以或许再往前走一点。还有就是算法在某个特定义务上，可以经由过程大年夜量数据练习出一个异常好的模型，可是练习好的模型触类旁通才能比较差，不克不及期望今天能辨认这个疾病，然后明可以立马去辨认下一个疾病。

我觉最重要的是两边在等待值层面可以或许杀青一些共鸣。此外我们研究员跟大夫聊之前要花一两天时光看一看相干的基本常识，熟悉医学术语。总体来说，我们跟大夫合作照样比较高兴的，中国大夫的合作立场比较开放。我在西门子的时刻去过德国拜访过，在美国很多多少病院我也去过，发明中国大夫对合作立异的立场比拟较较开放，会测验测验用新的技巧，美国、德国大夫他会相对保守一点，因为他们的这套流程，做了二三十年，不太爱好改变。假如说AI算法能帮他们减轻一些工作压力，中国大夫照样异常愿意去测验测验的。

Q：您和国内哪些有名的计算机或者医疗团队有过合作?

我们和钟院士团队在疫情防控上也做了一些工作。我们分析了全球100多个国度的新冠疫情管控办法，大年夜致分为八类。我们欲望可以定量地评估各类防疫办法有多大年夜几率降低新冠传播风险。我们分析了封闭黉舍、撤消聚会会议、撤消国际航班等办法对新冠防控的感化。我们发明封闭黉舍是最有效的，类似的封闭工作场合、撤消"大众,"聚会会议都大年夜约会在采取办法的两周后开端生效，大年夜概一个月阁下达到后果最岑岭，之后后果慢慢阑珊。该研究比来方才被Value in Health期刊接收，这是我们实验室和钟院士团队合作的第二个项目。

第三个和钟院士团队合作的项目重要做流感趋势猜测。我们欲望可以提前一到两个礼拜猜测流感岑岭的到来，以采取封闭幼儿园等办法来进行干涉。这个工作今朝也取得了一些阶段性的成果，我们欲望最终能形成及时的流感指数，天天或者每周颁布一次，猜测流感的爆发。

我们在脑科学范畴的别的一个工作是和美国Allen Institute(艾伦脑科学研究所)以及东南大年夜学脑科学研究院合作。这个工作开展了两年多，重要目标是解决一个科学问题：分析神经元。大年夜脑中有大年夜量神经元，神经元体积很小，连接关系又特别复杂，我们对大年夜脑工作机理的懂得还比较浅近。这个项目标目标就是绘制一个脑图谱，将脑中各个区域的神经元连接关系和形态都提掏出来。这项工作成果方才揭橥于Nature正刊。

Q：将来五到十年，您认为有哪些临床问题，或者说新的场景亟待解决?

A：我们和高校的合作比较多。比来我们一个重要的合作是腾讯和钟南山院士团队在疫情时代建立了却合实验室。腾讯AI Lab和钟院士团队应用AI技巧分析新冠病人入院后有多大年夜的几率会恶化，有多大年夜的几率会须要到ICU治疗。如许我们可以结合AI猜测的成果，提前存眷病情更轻易恶化的病人，在资本和通知方面都对这些病人赐与更多的存眷，降低他们的逝世亡风险。这项工作揭橥在Nature Communications上。

A：我不是临床大夫，我的答复可能会有些单方面，我根据我的接触情况做一点猜测吧。病院办事的线上化应当会是一个经久趋势，会持续地普及。因为今朝大夫缺乏，导致病人就诊体验异常差。有个说法“三长一短”，“三长”指挂号时光长，候诊时光长，取药时光长，“一短”指就诊时光短，几分钟就停止了。

大夫缺乏是一个经久存在的问题。中国大夫和美国大夫是差不多半量的，但中国人口是美国的四五倍，这就导致了一个中国大夫面对的病人是美国的四五倍，导致国内大夫缺乏。培养一个大夫大年夜约要十年的时光，很难从技巧上解决“一短”的问题，然则可以用技巧解决“三长”的问题。

比如智能挂号办事、交互问答环节推荐就诊科室、预问诊，并主动生成初步诊断申报给到大夫，这些动作就是在试图把“三长”的问题变短。在诊断时大夫可以做进一步追问，他可以花费更多时光和病人沟通，把大夫这几分钟的就诊时光高效应用起来，这是我们预问诊的一个功能。腾讯在医疗付出上也为患者的便利推敲，应用电子医保凭证，把各类医保的信息拉通，不须要患者付出后本身走一遍医保报销门路。在取药环节，我们也响应国度的处方流转政策，患者并非只能在病院病房去等药，也可以把处方流转到连锁药店，或者主动配送到家中，如许可以便利患者。

Q：最后，您对从事医疗影像研究或者是医疗AI的青年学者有什么建议?

A：我谈谈小我领会吧，我在这个行业也将近20年了。起首作为研究员，应当寻求推动前沿技巧的成长。然则，医疗人工智能是一个应用学科，所以照样须要落地，解决一些实际临床问题，我认为如许这个学科才能成长更好，假如太偏理论，轻落地，实际上全部行业很难成长起来，所以我认为照样要跟大夫多沟通，去发掘大夫的一些痛点，比如我刚才提到的智能辅诊项目，一开端只做某个疾病的断定，后来又应用于病历的质量控制、智能开药等。

和大夫的交换促使你拓展研究范畴，发明新的应用偏向，最终你的项目、技巧可能就落地到病院去了，我小我还挺看重这个的，因为一篇论文可能真的就躺在那儿了，最多有些人引用一下罢了，研究成果没有对社会产生太多价值。这个算法真的用到病院去了，大夫用了办事到、赞助到病人，小我会有更大年夜成就感，所以我欲望我们的青年研究员可以或许存眷一下落地。

Tags： 从脑机接口到抗疫前线，医疗AI落地的几种未来 | 郑冶枫专访