AI对资深开发者生产力影响的研究摘要

我们采用随机对照试验 (RCT) 的方式直接衡量AI在真实世界的影响：

• 参与者：招募了16位经验丰富的开发者，他们都为大型开源项目（平均 22k+ 星标，1M+ 行代码）贡献多年。
• 任务：开发者从他们自己的项目中提供了246个真实待解决的问题（Bugs、新功能、代码重构）。
• 分组：将这些问题随机分配，一组允许使用AI工具（主要是Cursor Pro + Claude 3.5/3.7 Sonnet），另一组禁止使用。
• 衡量标准：开发者记录完成每个任务所需的总时间。

• 超越基准测试：传统的编程基准测试（Benchmarks）虽然有用，但往往过于理想化，无法完全反映真实开发场景的复杂性，可能高估或低估AI的实际能力。
• 评估AI对AI研发的加速效应：了解AI对软件开发效率的真实影响，有助于我们评估AI自身发展的速度。过快的AI进步可能带来监管和安全风险，因此准确测量至关重要。

我们排除了实验设计缺陷（如模型落后、任务难度不均等），并发现了5个可能的因素导致了减速（详情见论文）。核心在于，真实开发与基准测试有巨大差异：

• 任务类型不同：真实世界的任务需要大量上下文，对代码风格、测试、文档有隐性且高标准的要求，而AI目前难以处理。
• 交互方式不同：开发者使用AI的方式（聊天、代码补全）与基准测试中AI代理（可进行数百万次尝试）的“暴力破解”方式完全不同。
• 质量标准极高：在高质量的开源项目中，开发者需要确保代码不仅能“运行”，还要“优雅”，并通过严格的代码审查。AI生成的代码可能需要大量的人工修改和完善才能达到标准。

我们的RCT减速结果、基准测试的高分、以及广泛的正面坊间传闻共同构成了一幅复杂的图景。最合理的解释是：

假设3：互补证据，衡量不同场景 (最可能)

这三种证据都是“正确”的，但它们衡量的是不同类型任务和环境下的AI能力。

• 我们的RCT：代表了高标准、复杂上下文的真实开发场景，AI在此表现不佳。
• 基准测试：代表了定义清晰、可算法化评分的 изолиated problems，AI在此表现优异。
• 正面传闻：可能来自质量要求较低、一次性或原型开发等场景，或者源于不可靠的个人感觉。

• 并未证明 AI对所有开发者都无效。我们的研究对象是特定的资深开源开发者。
• 并未证明 AI在软件开发之外的领域无效。
• 并未证明 未来的AI不会变得更有效。技术在飞速进步。
• 并未证明 没有更高效地使用AI的方法。更好的提示工程、微调或工具可能带来提速。

我们将继续使用这种方法进行研究，以追踪AI能力的演进趋势。相比易被“刷分”的基准测试，这种真实世界衡量方法是理解AI真实能力和潜在风险的重要补充。

如果未来AI在我们的实验场景中能实现显著提速，这将是AI研发全面加速的一个强烈信号，值得我们高度关注。