来源:Frontiers of Computer Science 发布时间:2025/7/7 15:26:16
选择字号:
FCS 文章精要 | 南京大学黎铭等:TopPass:基于最大化pass@k的代码排序

论文标题:Top Pass: improve code generation by pass@k-maximized code ranking

期刊:Frontiers of Computer Science

作者:Zhicun Lyu, Xinye Li, Zheng Xie & Ming Li

发表时间:13 January 2025

DOI:10.1007/s11704-024-40415-9

微信链接:点击此处阅读微信文章

引用格式:

Zhicun LYU, Xinye LI, Zheng XIE, Ming LI. Top Pass: improve code generation by pass@k-maximized code ranking. Front. Comput. Sci., 2025, 19(8): 198341

阅读原文:

问题概述

大语言模型(LLM)为代码生成任务带来了显著的性能提升。但是,当面对复杂的现实问题时,基于LLM的方法仍然很难在一次尝试就提供正确答案。因此如何保证少数候选中即有正确答案仍是一个具有挑战性的问题。使用一个排序模型对候选进行排序,从而使得用户只需要检查头部少数几个候选方案,这种做法被证明是有效的。目前常用的方法把问题建模为二分类,忽视了最终目标是把正样本排序到头部。

技术步骤

我们提出直接优化’pass@k’. 通过它的定义,这种优化目标强调排序模型应该将第一个正样本排到第k个负样本前面。但是直接优化存在如下的问题。首先,仅仅依靠一个正样本会影响模型的泛化性能,因此我们的方法选择一部分高置信度样本。其次,如何同时优化不同k下的’pass@k’仍是困难的,我们类似的放松负样本的限制。最终综合为对应的目标函数。

实验结果

实验证明了该方法的有效性。以pass@k作为指标,在四个数据集上,和仅使用LLM、使用基于分类的代码排序方法相比,Top Pass在四个数据集上均显著提升了代码生成模型的性能。

期刊简介

Frontiers of Computer Science (FCS)是由教育部主管、高等教育出版社和北京航空航天大学共同主办,南京大学支持,SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊,月刊,全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授,共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库(CSCD)核心库等收录,为 CCF 推荐B类期刊;两次入选“中国科技期刊国际影响力提升计划”;入选“第4届中国国际化精品科技期刊”;两次入选“中国科技期刊卓越行动计划”(一期梯队、二期领军)。

中国学术前沿期刊网

http://journal.hep.com.cn

 
 
 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
果树还能变石头 两道同心圆环揭示恒星“双重引爆”证据
有证据证明成年人类也会萌发新脑细胞 桃多组学数据库PeachMD发布
>>更多
 
一周新闻排行
 
编辑部推荐博文