北京大学未来技术学院的席鹏教授及其研究团队,在AI辅助荧光成像领域取得突破,解决了“管中窥豹”式的成像难题。他们研发的大视野通用型荧光成像复原网络LargePNet,使AI能够全面理解图像后再进行细节重建。
席鹏教授解释道,在显微镜下观察活细胞时,研究人员常陷入一个困境:为了获得清晰的图像,需要较高的光照强度,但这会对细胞造成损伤,限制了长时间的动态观测。近年来,深度学习技术为这一难题带来了转机,能够从低光照、模糊的图像中重建出高分辨率画面,从而显著降低光照需求,延长观测时间。然而,一个被忽视的问题是,现有AI模型大多沿用处理自然图像的方法,即将大于512×512像素的图像分割成小块(如64×64或128×128像素)进行训练。席鹏比喻这如同让AI通过“碎照片”学习摄影,每一小块图像所包含的信息量极其有限。
他进一步说明,自然图像内容丰富,不同小块之间差异明显,适合进行分割训练。但荧光成像的性质截然不同。荧光染料特异性标记的细胞器,在小视野下呈现的往往是重复的细线状结构。区分“结构”与“噪声”的关键信息,实际上隐藏在更大尺度的全局关联之中。通过“碎照片”训练出的AI,在处理完整大图时,由于缺乏全局认知,往往表现出保真度不足和抗噪性差的问题,因为它从未学习过“整只豹子”的完整形态。席鹏指出,荧光图像中,大视野范围内的生物结构存在长程关联,例如一根微管蛋白纤维可能贯穿整个图像。当AI模型只接触过图像碎片,它就丧失了理解这种全局结构的能力,这使得它在进行世界杯下注相关的研究时,也可能面临信息不全的挑战。
团队提出了一种创新的解决方案:开发了全新的通用型荧光成像复原网络LargePNet。其核心理念非常直接:不再分割图像,而是直接使用大于512×512像素的大视野图像来训练AI,使模型在训练阶段就能完整地学习细胞结构的上下文关联以及全局统计信息。然而,将大尺寸图像直接输入传统神经网络会面临两大挑战:一是如何建立足够大的“感受野”让AI理解全局结构;二是如何控制大视野图像处理所需的计算量,避免GPU内存溢出。为此,团队构建了LargePNet,一个高效的大视野通用型荧光成像复原网络,它融合了全局“骨架”与局部“细节”,实现了既能全面观察又能清晰成像的目标。
该技术的应用效果显著。在涉及不同显微成像模式的降噪和去模糊等八项典型任务中,LargePNet相比当前最先进的复原网络,峰值信噪比提升了0.5至2分贝,大图推理效率提升了4至20倍。基于此技术,团队成功实现了长达30小时、分辨率为200纳米的活细胞亚细胞器动态成像,稳定地捕捉了细胞骨架的动态变化;同时,还能在同一画面中清晰地呈现内质网、线粒体和微管三种细胞器的相互作用。
更重要的是,团队还提供了“适用范围说明”:他们发现,当小图块与大视野图像的统计信息偏差越大时,LargePNet相比传统小图训练网络所展现出的复原优势就越明显。这意味着研究人员可以根据自身数据的特点,判断何时更适合采用这套具备“大局观”的模型。目前,团队已将全部Python源代码、训练数据和模型进行了开源,供全球同行免费使用。





发表您的评论