作者:刘华锋等 来源:《自然-生物技术》 发布时间:2020/6/30 13:31:29
选择字号:
效率提高上千倍!算法赋能成像:速度“快”起来

 

随着生物医学成像的数据采集技术的迅速提高和广泛应用,数字化数据量巨大。以荧光显微镜技术为例,为了更多更高分辨率的图像,这些数据可以达到GB甚至TB级别,它们的后处理,比如提高图像分辨率和对比度的去卷积和多视角图像融合,通常耗时远远超过数据采集时间。如何对这样的问题进行处理,已经成为当前医学成像领域需要解决的共性问题。

近日,浙江大学光电科学与工程学院和美国国立卫生研究院(NIH)联合在Nature Biotechnology在线发表题为“Rapid image deconvolution and multiview fusion for optical microscopy”的研究论文,提出了荧光显微镜图像去卷积和多视角图像融合的新技术,使荧光显微镜图像后处理的效率提高了数十甚至上千倍。

浙江大学光电科学与工程学院的博士生李玥和NIH的郭敏博士为论文的共同第一作者,NIH的吴一聪博士和浙江大学的刘华锋教授是本文的共同通讯作者。

研究团队首先修改了显微镜图像后处理过程中常用的去卷积算法,使其运行更快。对于通常受泊松噪声影响及点扩展函数退化的图像,理查德森-露西去卷积(RLD)可以通过迭代的方式获得去模糊的样本估计,并且可以用来实现同一样品的多个不同视角图像的融合。然而,为了得到满意的结果,RLD通常需要大量迭代处理时间。RLD的迭代更新公式如下:

其中,i为采集到的图像,f和b是前向投影算子和反向投影算子,ek和ek+1分别是样本在第k次和第k+1次迭代的估计结果。一般使用显微镜点扩展函数。传统RLD中,一般取为的转置,称为匹配的反向投影算子。在医学图像重建领域中,一个非匹配的反向投影算子可以加速去卷积的迭代过程。研究团队首次将这一理论应用于荧光显微镜去卷积中,设计出了三种不同的反向投影算子,分别是高斯反向投影算子(Gaussian)、巴特沃斯反向投影算子(Butterworth)、维纳-巴特沃斯反向投影算子(Wiener-Butterworth)(图1)。特别是提出的维纳-巴特沃斯反向投影算子,对于论文中多种数据都实现了只需一次迭代就能获得满意的结果。

图 1 非匹配反投影算子可以减少理查德森-露西去卷积需要的迭代次数。a)前向投影算子和反向投影算子的结果展示。c)使用不同反向投影算子对线粒体图像进行去卷积结果。d) c中结果的局部放大图。a和b中scalebar在空域和频域分别为1 μm和1/100 nm-1。c和d中scalebar分别为10 µm和1 µm。

其次,研究团队将图像配准算法改进并应用到GPU上,并在进行复杂的3D图像配准前实行了一个初步的2D配准,实现更快更稳定的表现效果以及30-175倍的配准提速。

对毫米级大型透明组织数据,研究团队提出了一个针对TB尺寸的单个3D图像处理流程:将原始3D图像切分成子块,每个子块进行配准和去卷积,最后将处理后的子串进行拼接,最终形成各向同性的亚微米分辨率的大型三维图像(图2)。

图 2 小鼠脑组织(4*2*0.5 mm3)透明成像的三维图像,Scalebar依次为500 µm,100 µm,30 µm,10 µm。

最后,为了加速空间变化点扩展函数模糊的显微镜图像去卷积过程,研究团队还设计了一种3D全卷积结构的网络模型DenseDeconNet(图3)。与维纳-巴特沃斯反投影算子针对变化点扩展函数去卷积的任务相比,进一步实现了50倍的加速。

图 3 用于去卷积的DenseDeconNet结构

本文中, NIH的Hari Shroff博士组织协调了20多个研究单位共同参与上述优化算法的应用研究,使用了多种尺寸由微米级至毫米级的数据进行效果验证,涉及七种不同类型的显微镜,最终实现了几十至上千倍的图像后处理加速。毫无疑问,这些优化算法可以加速基于图像的生物观察,为现代新型荧光显微镜的研究提供了更多可能。(来源:科学网)

相关论文信息:DOI:10.1038/s41587-020-0560-x

 
 
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
慧眼卫星发现距离黑洞最近的高速喷流 人工智能“开发”生物支架加速治疗
见“微”知著  交叉引领|重点实验室巡礼 黄龙世界生物圈保护区完成第二个十年评估
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文