Jeff Dean投的RSI出成果了：Kimi K3自我进化排国产第一

Jeff Dean投资的AI初创公司hillclimb，其研发的RSI新基准终于有了成果！

该基准名为DeepRSI，旨在测试各大模型的递归自我改进能力，结果令人意外——

Claude Fable 5.1夺得榜首。

GPT-6 Astra紧随其后，位居第二。

月之暗面的Kimi K3取得第三名，同时也是国产模型和开源模型中的第一，超越了Grok和Gemini～（谷歌：怎么又提到我？）

测试方式相当“硬核”——

让AI在48小时内自主进行科研挑战，包括编写代码、运行实验、改进算法，观察其能将研究成果优化到何种程度。

共15道题目，全部源自真实的机器学习研究，RSI这次遇到了最严格的考验。（笑）

48小时…RSI…姐夫…热情…转发…大家…赶紧…往下看吧…

48小时的RSI大考，AI能交出怎样的答卷？

首先，我们来了解姐夫热情转发的DeepRSI究竟是什么。

简单来说，它是一个专门评估AI自主科研和自我改进能力的新基准，旨在测试AI独立完成真实机器学习研究任务的能力。

以往类似基准多采用研究人员设计的短期任务，测试时长通常在12小时左右。

但DeepRSI将时间延长至48小时，并将题目替换为正在进行的真实机器学习研究。（刺激.jpg)

具体而言，共15道题，涵盖四大方向——

深度学习训练方案优化、GPU内核加速、估计器精度提升，以及向量搜索等算法改进。

考试规则相当严格！！

所有模型必须在无网络环境下，使用统一的Pi Agent框架，以最高推理强度完成任务。

期间，AI需自行提出方案、编写代码、运行实验，并根据结果不断调整，力求提升研究指标。

评分方面，DeepRSI设置了“公开验证器+私有验证器”的双重机制。

前者允许AI反复测试、自我优化；后者负责最终验证，防止模型对公开测试过拟合或钻评分空子。

最后，通过Bradley-Terry模型，将各模型表现转化为Elo评分，排出最终名次。

总而言之，这场考试旨在检验AI能否像科研人员一样，在48小时的反复试错中，持续找到更优方案。

从最终结果看，模型间的差异非常明显。

总榜显示，Claude Fable 5.1以1548分位居第一，GPT-6 Astra以1232分排名第二。

Kimi K3以820分位列第三，超过Grok 4.7和Gemini 3.8 Flash，成为测试中排名最高的开放权重模型。

值得注意的是，榜单上有两个关键点——

首先，AI进行科研，时间越长，结果可能逆转。

官方测试显示，GPT-6 Astra在初期一度领先，但随着任务推进，Claude Fable 5.1逐渐反超。

而Grok和Gemini在不同任务上各有优劣，其中Gemini在GPU加速和内核优化方面表现更佳。

这里还有一笔值得关注的经济账。

根据DeepRSI公开榜单，各模型的列示成本如下：

Claude Fable 5.1约627美元、GPT-6 Astra约404美元、Kimi K3约159美元。

Kimi K3跻身前三，且次榜单列示成本仅约159美元，约为Claude的四分之一。

这里的成本反映的是测试运行开销，各模型实际探索路径不同，因此不能直接等同于真实科研场景中的投入产出比。

但它提供了一个值得持续观察的新维度——

未来衡量AI科研能力，除了看成果多少，还需看每花一美元、每运行一小时，能换来多少有效的研究进展。

Token消耗方面，也存在有趣的反差。Claude Fable 5.1平均每次尝试消耗约4700万Token，拿下第一。

GPT-6 Astra仅消耗约700万Token，便取得第二名。

Kimi K3以约3600万Token位列第三。

最夸张的是Gemini 3.8 Flash，消耗超过1亿Token，最终却排在第五。。。

此外，模型越聪明，可能越擅长钻评测规则的空子。

团队公布了GPT-6 Astra的一个特殊案例。

在一项颜色交换谜题训练任务中，Astra最初尝试训练Transformer模仿一个传统求解程序。

发现训练效果不佳后，它竟重新设计技术方案，将求解算法直接编码进模型权重。

为此，Astra还利用残差流充当工作内存、构造注意力头和逻辑门，最终将一套手工设计的算法写入神经网络结构。

这个案例被研究团队列入奖励机制漏洞利用的讨论。

AI确实展现了复杂的工程解决能力，但其优化结果可能偏离研究人员最初希望实现的目标。

从AI辅助科研，到AI自主科研

DeepRSI背后的AI初创公司hillclimb，也值得一提。

公司成立于2025年，入选Y Combinator当年秋季批次，目前团队仅4人。

主要业务是与前沿AI实验室合作，通过高质量训练数据和强化学习环境，帮助AI Agent逐步具备独立科研能力。

公司投资阵容相当豪华，前谷歌首席科学家Jeff Dean本人就是投资人之一。

更值得一提的是，姐夫联合创办的AI初创公司Discovery Loop，研究方向本身就是RSI～

此外，还有YC创始人Paul Graham、Replit CEO Amjad Masad，以及来自OpenAI、Anthropic、DeepMind、xAI等顶尖AI实验室的天使投资人。

更有趣的是，这家公司的两位联合创始人，均出身职业电竞圈。

Jun Park早年曾担任《无畏契约》战队教练，后转向AI研究，先后在亚马逊、Google DeepMind担任研究工程师。

2025年8月，他离开仅待了约3个月的DeepMind，创办hillclimb：

另一位创始人Ibrakhim Ustelbay早年曾担任《堡垒之夜》电竞教练。

此后，他先后在微软、Coinbase担任软件工程实习生，还曾创办用户超10万的AI面试平台Headstarter。

2025年8月，他与Jun Park共同创办hillclimb，并于2026年3月离开。

从带队打电竞，到带领AI搞科研，这两位的职业转型，堪称跨界开挂啊。。。

当然，DeepRSI本身仍处于早期阶段。

15项研究任务、5组模型配置，每个模型仅运行两次，距离全面衡量AI自主科研能力，还有不少差距。

更何况，任务目标、实验环境和评分标准仍由人类设定，距离AI真正实现递归自我改进，还有很长的路要走。

But，这丝毫不妨碍RSI成为今年AI圈的新晋顶流——

从卡帕西的AutoResearch，到AutoResearchExam，再到如今的DeepRSI，AI自主科研这件事，已经从概念讨论一路卷到了排行榜。

挺好，RSI的智能爆炸还没等来，AI圈先把“进化大赛”办起来了。

谷歌：生不逢时啊。。。

参考链接：

[1]https://www.deeprsi.com/blog/

[2]https://x.com/jparkjmc/status/2109684519896780938?s=20

本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。