北京大学未来技术学院席鹏教授的研究团队近期推出一项创新技术,解决了AI辅助荧光成像领域的长期瓶颈。他们开发的大视野通用型荧光成像复原网络LargePNet,能够让AI在处理图像前先“全局审视”,从而克服了以往“管中窥豹”式的局限。
席鹏解释说,传统的显微成像技术在观察活细胞时,为了获得清晰图像需要较高的光照强度,这会损伤细胞,限制了长时间观测的可行性。深度学习的出现曾一度改善这一局面,通过从低光照、模糊的图像中计算出高分辨率画面,显著降低了光照需求。然而,现有AI模型普遍采用将大于512×512像素的大图分割成小块进行训练的方式,这种方法如同让AI通过“零碎照片”学习摄影,每块图像包含的信息量有限。
他进一步说明,自然图像内容丰富,小图块之间差异明显,适合分割训练。但荧光成像不同,荧光染料标记的特定细胞器在小视野下呈现的往往是重复的细微结构。区分“结构”与“噪声”的关键信息,实则隐藏于大尺度的全局关联之中。因此,通过“碎照片”训练出的AI,在处理完整大图时,由于缺乏全局认知,往往表现出保真度不足和抗噪性差的问题,因为它从未学习过“完整豹子”的形态。席鹏强调,荧光图像中的生物结构在大视野范围内存在长程关联,例如一根微管蛋白纤维可能横跨整个图像,而仅见过碎片信息的网络则无法理解这种全局结构。
该团队的解决方案是构建一种全新的通用型荧光成像复原网络LargePNet。其核心理念是将大于512×512像素的大视野图像直接用于AI训练,使模型在训练阶段就能完整学习细胞结构的上下文关联和全局统计信息。为了解决直接处理大图带来的挑战——即建立足够大的“感受野”以理解全局结构,以及控制计算量避免GPU内存溢出——团队设计了LargePNet,一个能够融合全局“骨架”和局部“细节”的高效网络,实现了成像的全面性和清晰度。
这项技术的应用效果显著。在降噪、去模糊等八项跨越不同显微模态的典型任务中,LargePNet相比当前最先进的复原网络,在峰值信噪比上提升了0.5至2分贝,同时大图推理效率提高了4至20倍。借助这项技术,研究团队成功实现了长达30小时、分辨率达200纳米的活细胞亚细胞器动态成像,稳定记录了细胞骨架的动态变化,并清晰地呈现了内质网、线粒体和微管三种细胞器在同一画面中的相互作用。
更重要的是,该团队还提供了“适用范围说明书”。他们发现,当小图块与大视图的统计信息差异越大时,LargePNet相较于传统小图训练网络的复原优势越明显。这意味着研究人员可以根据自身数据的特点,判断何时采用这套具有“大局观”的模型更为合适。席鹏表示,他们已将全部Python源代码、训练数据和模型全部开源,供全球研究者免费使用。这项技术为未来更深入的细胞研究,甚至对足球比赛的实时转播,如世界杯直播,提供了一种更清晰、更全面的视角。




世界杯赛事中心致力于为全球足球爱好者提供最全面、最及时的赛事信息。我们通过专业的视角,深入剖析每一场精彩对决,让您不错过任何一个进球瞬间。