与以往侧重于考察模型记忆能力或遵循既定步骤完成任务的测试方法不同,GeneBench-Pro 旨在模拟真实科研场景的应用性,要求模型在面对“数据模糊、不完整甚至含有干扰信息”的环境下进行判断和分析。
GeneBench-Pro 涵盖了基因组学、定量生物学以及转化医学等多个领域,共计设计了 129 道题目。这些题目分布在 10 个主要领域和 21 个子领域内,具体内容包括统计遗传学、群体遗传学、功能基因组学和蛋白质组学等。每道题目都会向模型提供一个接近真实研究条件的数据集,并附带简要的实验背景介绍和一个与后续决策相关联的目标问题。模型需要自主完成数据探索、分析方法选择,并在过程中不断调整策略,最终得出答案。
为了规避传统长流程基准测试中常见的评分误差,OpenAI 在开发 GeneBench-Pro 时采用了合成数据作为关键构建要素。这是因为如果直接使用历史真实数据出题,可能存在多种可行的分析路径,导致模型即使采用了错误方法也可能偶然获得正确答案。通过使用合成数据,OpenAI 能够完全掌控底层因果关系和数据生成过程,从而更精确地评估模型是否真正理解问题,而非通过“取巧”的方式。
目前,OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示范性题目,并提供了一个交互式平台供外部研究人员试用。未来,官方计划将其中 50 道题目开放给 Artificial Analysis 进行第三方独立评估,以检验不同模型在这一基准测试中的实际表现,正如在 2026世界杯 足球比赛中评估各支队伍的真实实力一样。
世界杯以世界杯下注为核心,带来高效便捷的体验。