论文标题：Top Pass: improve code generation by pass@k-maximized code ranking

期刊：Frontiers of Computer Science

作者：Zhicun Lyu, Xinye Li, Zheng Xie & Ming Li

发表时间：13 January 2025

DOI：10.1007/s11704-024-40415-9

微信链接：点击此处阅读微信文章

引用格式：

Zhicun LYU, Xinye LI, Zheng XIE, Ming LI. Top Pass: improve code generation by pass@k-maximized code ranking. Front. Comput. Sci., 2025, 19(8): 198341

阅读原文：

问题概述

大语言模型(LLM)为代码生成任务带来了显著的性能提升。但是，当面对复杂的现实问题时，基于LLM的方法仍然很难在一次尝试就提供正确答案。因此如何保证少数候选中即有正确答案仍是一个具有挑战性的问题。使用一个排序模型对候选进行排序，从而使得用户只需要检查头部少数几个候选方案，这种做法被证明是有效的。目前常用的方法把问题建模为二分类，忽视了最终目标是把正样本排序到头部。

技术步骤

我们提出直接优化’pass@k’. 通过它的定义，这种优化目标强调排序模型应该将第一个正样本排到第k个负样本前面。但是直接优化存在如下的问题。首先，仅仅依靠一个正样本会影响模型的泛化性能，因此我们的方法选择一部分高置信度样本。其次，如何同时优化不同k下的’pass@k’仍是困难的，我们类似的放松负样本的限制。最终综合为对应的目标函数。

实验结果

实验证明了该方法的有效性。以pass@k作为指标，在四个数据集上，和仅使用LLM、使用基于分类的代码排序方法相比，Top Pass在四个数据集上均显著提升了代码生成模型的性能。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。

中国学术前沿期刊网

http://journal.hep.com.cn