论文标题：Benchmarking Studies

期刊：Genome Biology

作者：Olga Vitek and Mark D. Robinson

微信链接：点击此处阅读微信文章

上世纪90年代末出现的微阵列技术，2000年代中期出现的大规模并行核苷酸测序技术，以及现在仍然不断发展的质谱分析和成像技术，使我们在生物学领域的研究方式发生着翻天覆地的变化。这些新技术所产生的复杂且庞大的数据集反过来又会推动数据科学各个领域的巨大进步。现在，我们还可以针对特定的数据集量身定制一些统计计算方法和软件工具来对它们进行处理、解析和压缩，从而协助研究人员建立并测试新的假说，并挖掘出一些颇具价值的研究方向。

但是，方法和工具的多样化也会带来一些问题。对于同一个问题，不同的视角会用到不同的工具。在用不同的工具进行数据预处理或分析的过程中，即便是细微的差别也会大大影响后续的生物学结论，有时甚至会产生自相矛盾的结果。因此，面对快速发展的生物技术和数据科学，迷茫也产生了：到底该选用哪些合适的技术和数据分析方法/工具来解决某个特定的科学问题呢？与之相伴的是，在这个实验难以重复、科学怀疑论和假新闻的报道满天飞的时代，民众也对科学产生了怀疑。

Genome Biology 本期专辑的初心是用严格且详尽的基准测试有效解决这些问题。由于不是每个方法和工具都能经得住时间的考验，因此只在原始论文中进行论证是远远不够的。基准测试的目的是以透明的方式进行检验，并强调方法学中的以及实施过程中的差距。当然，要想对方法和工具进行适当的基准测试并取得可信的结论，就需要攻克一些方法学上的难题，而Genome Biology 一直是这方面的先行者。随着这期专辑文章的陆续发表，有关基准测试的一些已知的和新出现的方法学难题也随之进入大家的视线。

在某些情况下，可用方法的数量太多也会让基准测试变得复杂化。例如，Kosugi等人研究了69种结构多样性检测算法；Abdelaal等人对27个数据集的22种单细胞分类方法进行了评估；Zielezinksi等人测试了74种比对方法。且不说别的，单单是Mangul等人观察到的生物信息学工具安装方面的高度多样性就让人不由得感叹进行这样的比对是何其的困难！

虽然本专辑中的基准测试方法都比较严格且全面，但是它们只能代表当前水平下的前沿。而科学的脚步从不会停歇。未来需要更多的方法学研究和基础设施来使基准测试不断地更新方法、参考数据集和衡量指标。只有这样，才能早早地让新兴的基准测试为方法开发人员所用，避免产生单细胞数据分析中的“方法井喷”现象或针对新方法的评价方法纷繁各异的“评价井喷”现象，并且使基准测试与时俱进。

专题文章选读

A comparison of automatic cell identification methods for single-cell RNA sequencing data

点击此处，阅读论文。

Dissociation of solid tumor tissues with cold active protease for single-cell RNA-seq minimizes conserved collagenase-associated stress responses

点击此处，阅读论文。

Comprehensive evaluation of structural variation detection algorithms for whole genome sequencing

点击此处，阅读论文。

A practical guide to methods controlling false discoveries in computational biology

点击此处，阅读论文。

Benchmarking of alignment-free sequence comparison methods

点击此处，阅读论文。

Accuracy, robustness and scalability of dimensionality reduction methods for single-cell RNA-seq analysis

点击此处，阅读论文。

Systematic comparative analysis of single-nucleotide variant detection methods from single-cell RNA sequencing data

点击此处，阅读论文。

（来源：科学网）