作者:沈秋月 田瑞颖 来源:科学网微信公众号 发布时间:2023/8/30 22:14:14
选择字号:
夜视技术难题攻克,感叹“多亏妻子兜底”

 

把女儿送到幼儿园后,鲍芳琳边开车边哼起了小曲儿,“自由”的一天开始了。

这时,手机收到一则信息,他和妻子同时欢呼起来,那张以为没戏的Nature封面投稿图,终于在沉寂两个多月后收到图片修改的回复。

7月26日,Nature以封面论文形式发表了这项可以在黑夜看到白天景象的夜视技术。美国普渡大学研究助理教授(research scientist)鲍芳琳是该论文的第一作者。

这篇耗时4年的论文发表后,鲍芳琳并没有过分惊喜。他坦言,很多情绪已经在两年3轮的审稿过程中被逐渐磨平。的确,光是第一轮意见,他就补充了80多页说明,第二轮意见更是让他一口气开发出10个应用场景。

鲍芳琳现在最想做的,就是在回国前,带着没怎么走出过校园范围的妻女,好好转转这座生活了4年的城市。

  ?

鲍芳琳

 

“看”透“鬼影”

 

 

鲍芳琳没有想到,2019年进入普渡大学做博士后的第一个“小组作业”,竟然一做就是4年。

合作导师Zubin Jacob当时正在酝酿一个关于热成像技术的项目课题,但究竟要解决什么问题,Zubin也没有想好。刚加入的鲍芳琳便被安排通过这个“小组作业”练练手,为后续开展红外量子传感与人工智能方面的研究做铺垫。

起初,他希望用擅长的量子技术来提升红外传感。但研究后发现,即使不利用量子技术,传统热成像也有瓶颈亟待突破。

鲍芳琳开始思考,如何让黑夜的热成像跟人们在白天肉眼看到的世界一样清晰。

目前,让机器拥有“高清”视力的传感器主要是摄像头和激光雷达。但在“实现黑夜高清成像”面前,两者各有弊端:摄像头只能在高可见度条件下作业,而未来如果成百上千的激光雷达同时作业,不仅会导致信号串扰,还对人眼有伤害。

热成像技术恰好可以作为提升机器视觉感知的有力补充。鲍芳琳说,红外热成像技术和摄像头一样,都是被动接收信号而不对外发射激光,不仅可以在很低的能见度下实现态势感知,也避免了对人眼的伤害。

但大多数热成像系统都面临一大障碍——“鬼影效应”。热成像的照片就像人眼直视耀眼的灯泡一样,只见轮廓,鲜有细节。

鲍芳琳想,如果攻克“鬼影效应”,就有望打造一个能在夜间识别物体纹理细节,实现高清成像与测距的“热雷达”!

通过查阅文献,他发现这一难题尚未被解决。这个原本只是打算练练手的作业,一下就引发了他的兴趣。

鲍芳琳意识到,结合机器学习、光学成像、红外物理等综合性知识,将机器视觉与热成像耦合,或许是击败“鬼影效应”的大胆尝试。但这让原来做量子理论研究的他,吃了不少苦头。

为此,鲍芳琳开始自学机器学习,捣鼓数据分析,还开发了一个光线追迹的渲染模拟器,对高光谱热成像进行仿真模拟,并用这些数据训练了一个神经网络模型。

最终,他们提出了一种热辅助探测和测距技术——HADAR。HADAR技术能像人眼在日光下一样,揭示黑暗中的纹理和深度。同时,HADAR还能提供每个物体材料及其周围环境温度的信息,形成一幅全面的“图像”。

对于能攻克“鬼影效应”,鲍芳琳认为是最初的“门外汉”角色给自己带来了机遇,对于领域里司空见惯的现象,反而敢于质疑并提出了自己的见解。

 

3投3改,4年画上句号

 

 

2021年4月6日,鲍芳琳忐忑地将两年的钻研成果投给了Nature,虽然深知HADAR技术非常创新,但还是多少感到心里没底。

实际上,导师Zubin在投稿前认为论文的体量和内容已经足够,但鲍芳琳还是坚持研究信息理论的极限,不仅让HADAR技术能够在黑暗中识别物体纹理,还深入探索了它在目标识别以及测距精度方面能达到的理论极限。

没有太大疑问,这项研究让Nature审稿人耳目一新,但他们也提出了不少问题。尤其,他们希望论文能进一步阐释HADAR技术的理论和算法逻辑。为此,鲍芳琳写了80多页的补充材料。

接踵而至的第二轮审稿意见,则差点让研究“夭折”。审稿人认为他们的理论论证已经很充分,但仿真模拟的复杂程度不足,而且他们使用红外相机加滤光片进行的实验也显得粗略。但获得更优质的数据,所需的实验设备极其昂贵,市场价格可达上千万元。

幸运的是,依据热雷达以及其他相关工作,Zubin带领整个组如愿申请到了项目资助,通过项目恰好能接触到该设备,获得文章所需的数据。在当时,竞争该项目的有80多个团队,最终仅4个团队成功,来自大学的团队只有普渡和麻省理工。

同时,鲍芳琳辗转找到业内的计算机图形仿真工作人员,经过8个月的通力合作,最后开发出了10个不同的复杂应用场景。所用到的计算机图形仿真,正是科幻电影《阿凡达》等常用的技术。

最终,审稿人对这项研究给予了高度评价,认为这是机器视觉及人工智能领域的突破,并表示HADAR重新定义了低能见度环境下的机器感知。

审稿人表示,HADAR使得机器可以更准确地评估周围环境并提供关键安全信息,有望重塑我们的未来。

回望改稿的两年,鲍芳琳感慨说,如果没有Zubin带领小组从80多个团队中脱颖而出的那个项目,补充实验数据就是天方夜谭了。

40岁左右的印度裔学者Zubin,是普渡大学电气和计算机工程学院副教授。鲍芳琳刚加入实验室时,组里只有十几个人,只是学校里很小的一个研究组,如今已发展到30多人。

  ?

Zubin课题组 (一排右三为Zubin)

在鲍芳琳看来,Zubin敢于“往前想”,思维也非常活跃。

当鲍芳琳还在想着如何优化HADAR时,Zubin已经在跟他聊“要不要先搞一个热成像技术公司,然后创建全球第一个热成像技术中心”。甚至在申请一个与量子加速的天文成像理论相关的项目时,Zubin还会提到要不要在普渡建一个天文台。

在这个学科交叉、文化更交融的环境中,鲍芳琳的思维和表达变得更加“开放”。

 

做兴趣的忠诚追随者

 

 

2007年考入浙江大学之前,鲍芳琳的世界很小。知识改变命运,放在这个出生在千岛湖附近一个普通农村家庭的小伙儿身上,再合适不过。

“当时学习没有强烈的目的性,不会说立志要考哪所大学,就是觉得学习有意思。”走出村子前,鲍芳琳从没想过考上清华北大,他直言就算没考上浙江大学,也不觉得遗憾。

对于选择浙江大学,鲍芳琳的理由很简单:就在家门口,而选择物理专业只是兴趣使然。虽然父母没有多高的文化水平,但对于他的选择,父母一向很支持,也不会去想哪些专业热门赚钱。

对物理的浓厚兴趣,让鲍芳琳在浙江大学完成了直博的学业后,又跟随导师前往华南师范大学华南先进光电子研究院做了3年博士后。也是在这里,他遇到了当时的师妹,后来的妻子。

博士后出站前,两个年轻人便结了婚。得知鲍芳琳想出国深造,妻子很支持,为此辞去了专利工程师的工作,跟他一同前往。

“她跟着我来到美国,生活非常不习惯,一开始语言不通,也没有工作。”鲍芳琳回忆过往时十分动容,尤其在论文审稿期间,妻子还经历了怀孕生子。

他至今仍清晰地记得自己升级为爸爸的那一天。那是2021年冬天,恰好论文进入回复二审意见的阶段,鲍芳琳将实验室的工作加班加点提前做好安排,随后便带着妻子前往医院。

女儿的出生为两个在异乡打拼的年轻人带去了新的希望,但也带来了不小的挑战。

还记得女儿9个月的时候,鲍芳琳为了补充论文第二轮审稿意见中的实验数据,借来了那台价值昂贵的设备,但借期只有4天。他一分钟也不敢浪费,每天不等天完全亮就出门,回来已是深夜凌晨。

那几天,女儿身上长满了湿疹,白天夜里都因痒哭闹。为了不影响鲍芳琳,妻子硬是一个人扛了下来,“我忙的时候,全靠她给这个家兜底。没有她,也就没有我现在的研究成果”。

科研之外,鲍芳琳会最大限度地把时间投入在带孩子上,尤其是孩子进入幼托以后,妻子开始继续进修专业,二人在家庭和工作上的配合更加默契。

  ?

鲍芳琳一家

离家4年,鲍芳琳的父母还只是在视频里见过孙女。对于自己发了Nature封面论文的喜讯,他暂时没有告诉父母。

“他们都是农民,可能不懂啥是Nature论文。”鲍芳琳希望把《中国科学报》的报道当作礼物,送给年迈的父母,让他们知道寒窗苦读二十多载的儿子,在宇宙浩瀚星辰中已经采撷到了绚丽果实。

(以上图片均为受访者供图)

相关论文信息:

https://www.nature.com/articles/s41586-023-06174-6

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
粉色饭来了,它是肉还是米? 土卫一存在地下海洋
迄今最小恒星,半径仅约地球7倍 科研人员在粤港澳大湾区发现齿菌新物种
>>更多
 
一周新闻排行
 
编辑部推荐博文