详解 智能医学影像分析的前沿与挑战 (详解智能医学英文版)

雷锋网按 ：本文整理自雅森科技高级算法研究员杨士霆，在雷锋网硬创公开课上的演讲，主题为“智能医学影像分析的前沿与挑战”。

杨士霆，毕业于台湾长庚大学电机工程研究所博士班，主攻医学影像处理与应用。研究领域涉及医学影像处理，生物医学资讯，医用光学，类神经与模糊理论，功能性磁振造影，医学物理与生医统计。曾在台湾林口长庚医院，宁波杜比医疗负责影像算法开发工作，现任职于北京雅森科技发展公司，担任高级算法研究员。

公开课视频如下：

以下为雷锋网整理的演讲主要文字内容（关注雷锋网医疗科技微信公众号“”，回复“117”下载完整PPT）：

本次公开课主要分为四部分：

医学影像与人工智能

近三十年的医学成像，是一种实用性及创新概念的革命，主要包括两个部分：

这两个部分造就了成像上的进展。

医学成像主要分为两个形态：

一是结构性图像，它主要可以得到组织的结构性特征，但无法看到生物有机代谢的情况；

二是功能性图像，它可以提示代谢的衰变与下降，或功能性的疾病。

相比结构性图像，功能性图像的空间解析度较差。

我们可以透过不一样的介质来形成图像，结构性成像包括：

功能性图像有：

关于人工智能，我们一直听到它将对日常生活产生重要的影响。而如今，计算机已经可以像人类一样准确地处理图像与视频，甚至比人类表现还要好。这些突破主要来自深度学习。

关于深度学习，可以理解为它是机器学习的一个分支，其主要目的是模拟更高层次抽象思维。

深度学习主要是建构大量的抽象层，帮助将一些输入的讯号映射到更高层的表现方式。例如，处理图像中，输入的特征可以是每个像素，可以计算像素的强度，它可能是一组边缘，也可能是特定的轮廓与区域。透过这些方式可以让深度学习去达到我们的目的。

深度学习主要有非监督与半监督特征学习，它会分层进行特征提取。

在医学成像中，要做到精准诊断，对疾病进行评估，需要：

上面提到的四个主要问题，都可以通过深度学习的方式来促进诊断，即将需要治疗的地方做明确的辨识，辅助医师做更有效地诊断，找到病灶。

深度学习在医学影像上的应用

接下来要讲解深度学习技术在医学影像上的应用。目前医学影像领域的主要处理内容有：

我们为什么要在医学图像上使用深度学习的方法呢？因为图像有不同形态，来自不同的组织，而如前所述，深度学习可以进行分析与处理，让一些人为误差得到调整。通过深度学习提取最主要的特征，它也可以对疾病分类，做图像分类与分割。

接下来讲讲深度学习的临床应用。

上图中的案例是全自动淋巴结检测。左边是纵隔的淋巴结，右边是腹部淋巴结。可以看到，图像标定出来的位置中，其实淋巴结有很大的差异，比如形状与位置不一定，它与周围的组织也非常类似。

过去传统的图像处理，是透过电脑断层图像，取得3D的立体影像，然后做影像上的处理分析与应用。比较新的方法是増强式3D Haar特征，建立整体完整的检测器，透过scanning window检测淋巴结。

但传统方法表现不佳，主要是维度上的限制。

在前两年的一篇论文中，有人透过深度学习的方式自动检测淋巴结。做法是，首先通过随机森林分类器RF，检测出大概位置并做标定；然后将标定出来的淋巴结，根据矢状面、横切面、冠状面、三维角度，互相正交结合，创建出2.5维的空间投影立体特征。接下来，透过HOG特征提取方法，对空间投影图像进行向量特征截取。然后通过SVM训练方法，将取得的特征做加强和训练，然后自动检测出淋巴结位置。

用深度学习的方法做分割，在2015年的一篇文章也有展现。它主要利用卷积神经网络CNN，自动将大脑灰质、白质、脑脊髓翼自动分割，从而分析大脑的病变。

这篇论文中利用深度学习将不同的病人的资料做分割，精确度都不错。

具体来说，作者用CNN将不同类型的MRI图像，做有效分割，精确分割灰质、白质、脑脊髓翼。

他们通过CNN，将图像分成一块块patch，然后对完整图像做学习，训练与分类。

上面这个研究是海马回的分割。研究表明，海马回主要与记忆有关。上图是用手标定的海马回的位置，可以看出与淋巴结一样，它与临近组织很相近，分割有一定难度。

在2015年的一篇论文中，就有作者通过CNN，用2D patches、三平面patches，以及改良式3D patches的方法，将海马回进行深度学习，从而分割。左边是还没处理的情况，右是明确定位了海马回的位置。

在光学图像上，这里的例子是糖尿病视网膜病变的检测。一般来说，糖尿病患者容易发生眼部疾病，视网膜血管也会有所改变。上面中间的图是正常情况，右边是患者图像。

所以，在一些研究中用CNN的方法，针对眼底图像进行糖尿病视网膜病变的辨识。已经可以判断严重的情况。

另外还有深度学习在细胞检测中的应用。比如2013年的一篇论文，主要是胸部癌症细胞的检测，标定的是细胞癌症，通过max-pooling CNN，针对胸部组织图像做有丝分裂的分析。结果显示，精确度达到了将近9成。

上图就是针对组织图像的分析，得到的有线分裂的情况。

另外，还有个很好玩的例子。CNN除了做图像识别，还可以将3T MRI图像透过CNN网络，重建出类7T MRI的图像。所谓T是指特斯拉，即磁场感应强度。我们医学中常见的核磁机器是1T和1.5T，而7T是磁场强达7特斯拉，这种设备昂贵，需要很多的费用，但7T图像的性噪比强。所以，研究中想通过深度学习将3T变7T图像。

上图可以看出，左边3T图像中，脑部边缘有些模糊，但处理过后的右图变得清晰了。这是用低成本的方法做重建。

智能医学影像分析的挑战

以上就是深度学习在医学影像上的应用案例。那深度学习在应用当中，还有哪方面的挑战呢？

目前论文的实验，主要是探讨结构效度的评估，一般是在实验架构的基础上，评估CNN配合哪一个patch，哪些在实验中是好是坏。但没有思考，在实际使用深度学习的过程当中，表现是否如预期想的那么好。

使用模型当中，也常常选择很多不一样类型的特征去训练，这个过程中怎么样找出好的有效特征？另外，在建构深度学习模型中，如何透过那么多参数做调整。这些都是深度学习的挑战。

另外，想要发展一个有效的深度理论学习模型，要基于经验资料，去调试与评估网络的效果，这也是主要挑战的目标。在这个过程中，要评估与测量模型复杂的程度，比如：

一是深度学习过程中有神经元的概念，那到底要多少数量？到底要多少patch？

二是还要考虑计算单元的形态，要放置多少的隐藏层、卷积层？这部分是深度学习要思考的。

三是考虑到模型的架构和拓扑的结构，怎么样将CNN与不同类型的机器学习模型，做互相的结合与比较？

四是是怎么样有效地将模型产生与建立起来？

最后是学习中效率问题。深度学习早在80年代就有所发展，但由于计算机的限制，其发展也并不如意。最近计算力的进步才将机器学习的机制建立起来。回过头来看，到了如今的情况，硬件越来越好，那怎么样让学习效率做更有效的分配或调整呢？怎么样将学习效率调整到比较好的阶段，达到很好的结果？这都是深度学习的挑战。

另外，也需要采集数据的量到底需要有多大？听到了很多大数据的概念，但MR图像可能是128*128维度，也有很多的训练。大的数据量的分析与统计都会影响到大数据分析与学习。怎么样做权衡和评估的一个挑战。

我们需要融合经验资料，建构深度的理论学习模型，以取得好的评估效果。要做到这些，我们就需要定义一个理论策略，通过这个策略，去评估、调试模型。

在这个过程中，有一个常规化的机制。即最简单的输入-隐藏-处理-输出训练模型。但我们如何调整顺序，使得对模型的调试更加明确、更加常规化，也是值得探讨的地方。

我们在做深度学习的过程中，有个很一致的概念：我们都希望多放些层，或者减少内容。有时候，可能需要多一些特殊的加成层。但如何明确定义这个概念，使其常规化，也是我们要挑战的目标。

另一个挑战是：我们在做深度学习的过程中，最常使用的是非深度学习的架构。那我们要怎样评估这个架构，找出一个好方法呢？

最后，是关于计算效率。我们先前也有提到，机器效能和数据都会直接或间接影响计算效率。如何取得平衡点，是之后的深度学习研究中很好的一个研究方向。

我们做一个最简单的总结：深度学习主要用来做什么？

深度学习有很大的潜力，能分析大量资料，通过学习给出分析结论和答案。所以其应用广泛，不仅是在医学影像领域，在其他领域也有很大的贡献。并且在我们分析大数据时，深度学习可以为我们提供精简信息。深度学习的可发展性还是非常大的，还有很多东西值得去挑战，值得大家一起去探讨。

在2016年RANA会议上，深度学习、智能学习非常热门，医生们意识到深度学习可以辅助诊断，甚至能帮他们找出更有效的治疗方法，并且最近的一些会议中，我们都可以发现深度学习、智能分析的庞大市场和发展潜力

我相信，深度学习在智能医学影像分析中一定有很大的价值。

原创文章，未经授权禁止转载。详情见 转载须知 。

上一篇：上新大模型国家医保局与百度打造赛事AI助手

下一篇：翻山越岭老年人看病不再平安健康推出陪伴式