作者:沈春蕾 来源:科学网微信公众号 发布时间:2024/10/3 20:20:31
选择字号:
研究曾超越谷歌团队!26岁“轮椅博士生”:我只想努力做好自己

 

今年26岁的邵镇炜,体重仅有25公斤。他从小患有“进行性脊肌萎缩”,双手几乎只有大拇指和食指能动,终身与轮椅为伴。

邵镇炜

  ?

邵镇炜并没有就此向命运屈服。2021年9月,他以计算机技术与科学专业第一名的成绩获得推免资格,保送至杭州电子科技大学(以下简称杭电)攻读博士研究生,研究方向为多模态数据处理和人工智能技术;2023年6月,他的研究成果发表于计算机视觉领域国际顶级学术会议CVPR 2023,被认为是国内多模态大模型领域最早入局者之一。

“今年年初做了一个轻量级多模态大模型的系列,相关论文还在审稿阶段。”近日,邵镇炜在接受《中国科学报》采访时表示,“我最近在探索多模态大模型的高效计算相关的技术。如今大模型的技术迭代非常快,我得抓紧时间做出新的成果才可能收获新的成绩。”

曾“超越”谷歌旗下的多模态大模型Flamingo

2022年,邵镇炜开始研究多模态大模型。当时,大模型研究还没有现在这么火热,和多模态信息(文本、图片多种形式的组合数据)理解相关的大模型研究则更少。邵镇炜所在课题组当时就预见了多模态大模型技术的前景,并开展了相关探索。

邵镇炜说:“我们走的是模型轻量化路线。不仅可以降低计算成本,还能让大模型的应用场景更加丰富。但轻量化并不是一件容易的事。因为要缩小参数量,很可能会导致模型能力也就是智能水平的下降。”

为了解决技术上的难点,邵镇炜经常在电脑前一坐就是十多个小时,啃论文、查资料,尝试不同的技术方案。在常人看来简单的敲击键盘动作,对邵镇炜来说并不轻松。他只有大拇指和食指相对灵活,并且每打几十个字,就要停下来休息一会儿。尽管如此,他还是坚持每天工作十个小时以上。

“当时,我已经觉得这个课题可能要做不下去了,但邵镇炜说再给他一两周的时间,他想尝试一个新的方法。结果成功了。”邵镇炜的导师、杭电计算机学院教授余宙告诉《中国科学报》,“我们这项研究成果最终在CVPR 2023上发表,受到了全球同行的关注。”

邵镇炜是这篇论文的第一作者,他提出的Prophet方法为GPT等大规模语言模型装上“眼睛”。

论文中的方法框架图

  ?

他解释道:“我们的研究提出了名为Prophet的多模态大模型框架。通过在大型语言模型上游引入一个可学习的、任务相关的视觉问答小模型,来更好地激发大模型的潜力。比如可以发给系统一张杯子的图片,然后问系统这个图片里的杯子是什么材质、什么品牌,系统都会作出符合常识的回答。”

当时,在基于知识的视觉问答任务的评测数据集上,邵镇炜提出的Prophet方法的准确率超越了谷歌Deepmind旗下的大模型Flamingo,同时该方法所需的计算资源也大大减少。

公开的视觉问答数据集的评测榜单

  ?

如今,邵镇炜继续在多模态大模型研究领域深耕,希望有新的收获。

关上一扇门打开一扇窗

1998年,邵镇炜出生在杭州市滨江区。

在邵镇炜1岁时,父母发现原本可以踮脚抓东西的儿子竟然站不稳了。他们带着孩子四处求医,但情况并没有好转。邵镇炜被确诊为“进行性脊肌萎缩症”,肌肉萎缩四肢无力,肢体一级残疾,没有生活自理能力。

父母没有就此放弃对儿子的培养。他们相信,上天在关上一扇门的同时,必定会打开一扇窗。年幼的邵镇炜虽然不能像同龄孩子那样四处跑跳,但是他坚持和同龄的孩子一起上学接受教育。他发现学习可以让自己忘记身体的缺陷。

因学习成绩优异,邵镇炜被保送进入杭州市长河高级中学读高中,并在高一前的那个暑假自学了微积分的相关知识。上中学以来,邵镇炜发现自己很喜欢物理。2017年高考,邵镇炜考了644分,以第一名的成绩被杭电计算机专业录取。

这里还有一个小插曲。因高考几分之差,邵镇炜与浙江大学失之交臂。但在杭电的求学过程中,他发现杭电计算机学院也许是最好的安排。学校不仅给他一间单独的寝室,还安排在一楼,方便妈妈陪读,并安装了斜坡一直通到他寝室门口。

邵镇炜告诉《中国科学报》:“在辅导员老师的号召下,杭电的同学们自发地为我组建了一支志愿者团队。他们每学期都会提前统计好我的课表,接力协助我上下楼梯,提供力所能及的帮助。这让我非常感动。”

一路走来,导师余宙是邵镇炜科研路上的重要领路人。

“本科期间,我参观了余老师的实验室,并跟着余老师连续上了3年的课程。后来在申请保研的时候,余老师还推荐我去浙江大学试试,并给了我一颗定心丸——‘如果浙江大学进不了,我们实验室永远欢迎你’。”邵镇炜说,“如果去浙江大学读研,因为科研方向不同,可能我就没有机会接触前沿的人工智能,也不可能投入大模型的研究。实际在我第一次见到余老师的时候,命运就已经作出了安排。”

“我不是中国版霍金”

本科期间,邵镇炜连续6次获得学校一等奖学金、两次浙江省政府奖学金、一次国家奖学金,并在各项比赛中多次取得成绩,争取到保送的机会。2023年,邵镇炜还担任了杭州第四届亚残运会火炬手。

邵镇炜担任火炬手

  ?

在杭电计算机学院,邵镇炜是很多同学口中的“大神”。在进入杭电前,邵镇炜就获得了很多来自社会的关注和赞许,甚至被冠以“中国版霍金”“少年版霍金”等称号。对此,邵镇炜明确说:“我不是中国版霍金,我只想努力做好自己。”

在采访中,邵镇炜向《中国科学报》介绍了很多跟计算机、大模型相关的知识,并耐心给记者做了相关的知识科普。他和所有计算机技术的研究人员一样,希望自己的研究可以做出更多领先的技术和成果,希望这些技术和成果可以帮助更多人。

2023年12月,邵镇炜负责的“望问医聊——基于医疗大模型的数字家庭医生”项目,获中国国际大学生创新大赛(2023)金奖。他从自身提出的Prophet方法出发,希望能够利用好大模型技术,助力智慧医疗和健康生活走进千家万户。

邵镇炜(前排中间)与老师同学们

  ?

再过两年,邵镇炜将迎来博士毕业找工作。他希望可以继续留校做喜欢的科研,但他也坦言自己距离留校的要求还有差距。他需要继续努力,才更有能力和实力去讲述一个完整的科研故事。

*本文图片均由受访者提供

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: