近日🚘👨🏽🍳,《Nature》子刊《Nature Machine Intelligence》(2021年第10期)以全文Article形式刊发了我院白相志教授团队最新研究成果“Neutralizing the impact of atmospheric turbulence on complex scene imaging via deep learning”𓀆,提出了一种基于多尺度时空域注意力机制的生成对抗网络模型🦠,逆向推理大气湍流效应导致的二维成像退化过程,揭示了深度学习在推演复杂随机物理过程方面的潜力。

大气湍流效应广泛存在于日常生活和工业生产中。在大雷诺数、惯性力对流场影响为主导的情况下,流体失稳并分化为尺度不一的湍涡👎,形成湍流。在高分对地观测、远距离成像探测、大范围安防监测等应用中🖕🏿4️⃣,湍流使得大气折射率随时间和空间作无规则变化,导致光在传输过程中发生强度🧜🏼、相位和方向性波动🙆♀️,最终成像结果包含高度耦合的时变-空变模糊和几何畸变退化(图1)。而湍流的各向异性、不均匀性和不确定性⌛️,使得上述退化过程高度病态、高度非线性。因此,对这一物理过程进行逆向推理、抵消成像过程中大气湍流引起的退化效应是一项巨大挑战。

图1. 大气湍流效应下成像退化物理过程示意图
针对上述问题1️⃣,白相志教授团队基于大气湍流效应成像退化机制进行半物理仿真,提出一种基于生成对抗网络的逆向推理方法(TSR-WGAN)💍,抑制了光线波动引起的模糊效应(图2),缓解了光路变化导致的时域连续几何畸变与抖动(图3)。在PSNR🔍🧙、RRED等客观量化指标上均优于对比方法,在包含50名参与者的主观测试中总体得分指标领先对比方法50%以上(图4)👰🏼。更为重要的是👨🏽🦰,该研究建立了大型仿真湍流数据集和真实湍流数据集(共27458段视频序列,包含411870帧图像),提供了视觉对比评测软件Ⓜ️。研究成果可为后续湍流物理性质的探索提供理论支撑🧞♀️,在高分对地观测🐭、远距离成像探测、大范围安防监测中有重要应用🤞🏻。
尊龙凯时平台2019级博士研究生晋达睿为该论文第一作者👨🏻🦯,白相志教授为通讯作者🧗🏿,北京AG尊龙凯时平台娱乐开户官方网站为唯一完成单位。尊龙凯时平台博士研究生卢毅🙍🏻♀️、陈俊彰👨🏼🚒、王鹏🥗、郭胜,硕士研究生陈颖、刘子超在研究中也做出了重要贡献🦵🏼。该研究得到国家自然科学基金通用联合基金重点项目(批准号:U1736217)和国家重点研发计划(批准号: 2019YFB1311301)的支持。

图2. TSR-WGAN改善图像模糊效应效果🦸。图中左半部分为受大气湍流效应影响的退化图像,右半部分为TSR-WGAN校正后效果🤓。

图3. TSR-WGAN(最后一列)与其他对比方法校正抖动与几何畸变效果对比

图4.基于Bradley-Terry模型计算得到的主观成像质量归一化评价指数结果👩🏼🎤,TSR-WGAN显著高于对比方法
论文链接:https://www.nature.com/articles/s42256-021-00392-1
(通讯员:史洁玉)