伯克利实验室重大医学 AI 成果：基于少量训练数

小鼠卵细胞切片。（a）对应的手动分割（b）100层的MS-D网络的输出结果

美国能源部劳伦斯伯克利实验室的数学家们，开发了一种针对实验成像数据的新的算法。与典型的机器学习算法需要成千上万的训练图像不同，这种新算法需要的训练图像少得多，而且速度也提高了不少。

伯克利实验室的能源高级数学研究与应用中心（简称CAMERA）的Daniël Pelt和James Sethian，通过开发一种他们称之为“多尺寸密集卷积神经网络”（MS-D）的新算法，颠覆了传统的机器学习理念。

和传统方法相比，新方法需要的参数更少，收敛更快，而且可以基于非常小的数据集进行学习。他们提出的这种方法已经被用于从细胞图像中提取生物结构，而且可以作为多个研究领域分析数据的主要计算工具。

当实验设备以更高的速度生成更高分辨率的图像时，科学家们很难对得到的数据结果进行管理和分析，这些工作通常需要手动完成。2014年，Sethian在伯克利实验室建立了一个集成的交叉学科中心CAMERA，目的是开发美国能源部科学用户设施办公室实验所需的基础数学方法。CAMERA是该实验室的计算研究部门的一部分。

“在许多科学应用中，研究人员需要耗费大量的体力劳动来标注和勾画图像，有时候为了得到几张勾画精细的图像，甚至要花费几周时间。我们的目标是开发出一种能基于非常小的数据集进行学习的技术”，Sethian说道。Sethian是加州大学伯克利分校的数学教授。

这项算法的详细介绍发表在了2017年12月26日的美国国家科学院学报上。

“这项突破源于我们意识到，通过放大和缩小，在不同尺寸下捕捉特征的方法，可以用在单个层上处理多个尺寸的数学运算来取代，” Pelt介绍道。Pelt是荷兰数学与计算科学研究所下属的计算成像小组的成员。

了解生物细胞的内部结构是该方法非常富有前景的应用领域之一。在一个项目中，Pelt和Sethian采用MS-D算法，只用了7个细胞的数据就确定了其内部结构。

“我们实验室正在研究细胞结构和形态如何影响或控制细胞的行为。”美国国家x射线断层扫描中心主任、加州大学旧金山分校医学院的教授卡Carolyn Larabell说道。“我们花了大量时间来手工分割细胞以提取结构，分辨健康与患病细胞之间的差异。这种新方法有可能从根本上改变我们理解疾病的能力，而且是我们建立人类细胞图谱的一个关键工具。人类细胞图谱是一个通过全球协作来绘制和勾画一个健康人体的所有细胞的项目。”

用更少的数据获取更多的科学真理

如今，图像无处不在。智能手机和传感器产生了一批珍贵的图像，其中很多都带有相关的标记信息。基于这个庞大的交叉参考数据库，卷积神经网络和其他机器学习算法已经彻底改变了我们快速识别那些和我们曾经见过和分类过的图像类似的自然图像的能力。

这类方法需要数以百万计的标记过的数据作为引导，通过调整一系列隐藏的内部参数来“学习”其中的规律，这个过程需要使用巨型计算机并花费大量的时间。如果我们没有这么多标记好的图像该怎么办呢？

要知道，在很多领域，如此庞大的数据是难以企及的奢侈品。生物学家记录下细胞图像，并煞费苦心地手动勾勒出边界和结构。对他们来说，为了得出一个完整的三维图像而花费数周时间，是很稀松平常的事情。

材料科学家利用断层重建技术来观察岩石和材料，撸起袖子手动标记不同的区域，辨认裂缝、断口和孔洞。不同重要结构之间的差异非常细微，数据中的噪声很可能掩盖掉这些特征，迷惑最出色的算法和专家。

对于传统的机器学习算法来说，这些手动标记的宝贵数据数量远远不够。为了解决这一问题，CAMERA的数学家们基于非常有限的数据对机器学习发起了挑战。他们试图用更少的数据获得更佳的结果，他们的目标是找出建立一套高效的数学“运算符”的方法，以大大减少参数的数量。这些数学运算符可能会自然地结合一些关键约束来帮助识别，比如结合对科学合理的形状和模式的要求。

多尺寸密集卷积神经网络

机器学习在成像问题中的许多应用，采用的都是深度卷积神经网络(DCNNs)。其中输入图像和中间图像在大量的连续层中进行卷积，使得网络能够学习高度非线性的特征。为了在复杂的图像处理问题中获得准确的结果，DCNNs通常依赖于额外操作和连接的组合，比如通过放大和缩小来捕捉不同的图像尺寸下的特征。为了训练更深层和更强大的网络，往往需要额外的层类型和连接。最后，DCNNs通常使用大量的中间图像和训练参数（往往超过1亿）来获取复杂问题的结果。

而新的“多尺寸密集”网络结构避免这样的复杂过程，它用扩张的卷积替代缩放操作，以捕捉各种空间范围下的特征，在单个层中使用多个尺度，并将所有中间图像紧密地连接起来。新的算法只需要很少的中间图像和参数就能获取精确的结果，而且不需要调整超参数以及额外的层或连接来支持训练。

从低分辨率数据中获取更精确的结果

这种方法所面临的一大不同挑战就是，要从低分辨率的输入中产生高分辨率的图像。任何尝试过把图像放大的人都知道，当图像的尺寸变大时画质也会变得糟糕，因此这听起来就像一个不可能完成的任务。

但一小部分经过多尺寸密集卷积神经网络处理的训练图像确确实实能够起到一些作用。比如对纤维增强的微型复合材料的层析重建进行降噪。论文中提到了一个实验，用1024个x射线投影重建的图像，得到的图像噪声相对较低。同一物体的噪声图像随后用128个投影进行了重建。训练输入是有噪声的图像，在训练中使用相应的无噪声图像作为目标输出。经过训练的网络能够有效地获取噪声输入数据并重构更高分辨率的图像。

新的应用方向

Pelt和Sethian正在努力将他们的研究成果应用到一系列新的领域，比如快速实时分析同步加速器光源产生的图像，以及生物重建问题，比如重建细胞和大脑的映射。

Pelt说道：“这些新方法令人振奋，它们让机器学习得以应用到比目前更加广泛的成像问题当中。通过减少所需训练图像的数量，增加可以处理的图像的大小，这一新的体系结构可以用来回答许多研究领域中的重大问题。”

CAMERA由美国能源部科学办公室的高级科学计算研究和基础能源科学办公室支持。科学办公室是美国物理科学基础研究的最大支持者，它正致力于解决我们这个时代最紧迫的一些挑战。

劳伦斯伯克利国家实验室通过推进可持续能源，保护人类健康，创造新材料，揭示宇宙的起源和命运，来解决世界上最紧迫的科学挑战。伯克利实验室成立于1931年，获得了13项诺贝尔奖。劳伦斯伯克利实验室虽然隶属美国能源部，却具体由加利福尼亚大学负责运行。