温和的奇点

视频开篇即引用了Sam Altman博客中最震撼的观点： 我们已经越过了人工智能发展的“事件视界”（即临界点），起飞已经开始。这意味着，通往超级智能的进程已不可逆转，但到目前为止，其展现的形式比我们想象的要“温和”得多，不那么怪异。

We are past the event horizon; the takeoff has started. Humanity is close to building digital superintelligence, and at least so far it’s much less weird than it seems like it should be. - Sam Altman

Altman指出，表面上看，世界变化不大：机器人没有遍布街头，我们大部分人也没有整天和AI对话。 然而，在底层，我们已经构建了在许多方面比人类更智能的系统。他认为，最艰难的科学突破（如GPT-4和o3背后的洞见）已经完成，这为未来的巨大飞跃奠定了基础。

Robots are not yet walking the streets, nor are most of us talking to AI all day... And yet, we have recently built systems that are smarter than people in many ways... The least-likely part of the work is behind us; the scientific insights that got us to systems like GPT-4 and o3 were hard-won, but will take us very far. - Sam Altman

视频重点强调了Altman对未来的具体年份预测，这让他的观点极具冲击力：

• 2025年：AI智能体（agents）出现，能完成真正的认知工作，计算机编程将永久改变。
• 2026年：系统将能发现新颖的洞见，即具备一定的原创性研究能力。
• 2027年：机器人可能开始在现实世界中执行任务。

2025 has seen the arrival of agents that can do real cognitive work; writing computer code will never be the same. 2026 will likely see the arrival of systems that can figure out novel insights. 2027 may see the arrival of robots that can do tasks in the real world. - Sam Altman

视频和原文都指出了几个强大的自我增强循环，这是加速发展的关键：

1. AI加速AI研究： 我们可以用AI来做更快的AI研究，这是最显著的加速器。科学家已经报告使用AI后生产力提高了2-3倍。如果一年能完成十年的研究，进步速度将截然不同。这是一种“递归式自我改进”的早期版本。
2. 经济价值飞轮： AI创造的经济价值，正在推动对更强大AI系统的基础设施进行复合式投资和建设。
3. 物理世界飞轮： 机器人制造机器人，数据中心建造数据中心，这并非遥不可及。一旦机器人能操作整个供应链，从挖矿到建厂，物理世界的进步速度也将呈指数级增长。

From here on, the tools we have already built will help us find further scientific insights and aid us in creating better AI systems... this is a larval version of recursive self-improvement. And robots that can build other robots (and in some sense, datacenters that can build other datacenters) aren’t that far off. - Sam Altman

在2030年代，“智能”和“能源”（即想法和实现想法的能力）将变得极其丰富。这将从根本上改变人类社会。

• 工作变革： 虽然整类工作会消失，这很艰难，但世界将变得空前富裕，使我们能构想全新的社会政策。
• 人类的适应性： 历史证明，人类能快速适应和吸收新工具（如工业革命后的职业变迁）。我们的期望和能力会同步提升。
• “假工作”悖论： 一千年前的农民会觉得我们现在的工作是“假”的，只是在玩游戏。同样，我们未来或许会觉得一千年后的人类工作也是“假”的，但对他们而言，这些工作将无比重要和令人满足。

In the 2030s, intelligence and energy—ideas, and the ability to make ideas happen—are going to become wildly abundant... A subsistence farmer from a thousand years ago would look at what many of us do and say we have fake jobs... I hope we will look at the jobs a thousand years in the future and think they are very fake jobs... - Sam Altman

为什么这场剧变是“温和的”？Altman给出了一个相对论的视角：

奇点的发生是“一点一点”的，融合是缓慢的。我们正攀爬在指数级技术进步的漫长弧线上。向前看，它似乎是垂直陡峭的；向后看，它却是一条平滑的曲线。 回想2020年，如果有人预测到2025年AI会接近AGI，听起来会很疯狂，但对比过去5年的实际发展，这种预测似乎又很合理。

From a relativistic perspective, the singularity happens bit by bit, and the merge happens slowly. We are climbing the long arc of exponential technological progress; it always looks vertical looking forward and flat going backwards, but it’s one smooth curve. - Sam Altman

面对巨大的机遇，也存在严峻的挑战。Altman提出的最佳路径是：

1. 解决对齐问题 (Alignment Problem)： 必须确保AI系统的学习和行为符合人类的长期集体意愿。他以社交媒体算法为例，指出它们是“未对齐AI”的典型——它们擅长让你不断滚动，却利用了你大脑中覆盖长期偏好的弱点。
2. 普及与去中心化： 在解决安全问题后，应致力于让超级智能变得廉价、广泛可用，而不是集中在少数个人、公司或国家手中。

视频中，谷歌CEO Sundar Pichai也表达了类似观点，认为AI的变革性在于其“递归式自我改进”的特性，这使其与以往任何技术都不同。

Solve the alignment problem... Then focus on making superintelligence cheap, widely available, and not too concentrated with any person, company, or country. - Sam Altman

Altman在结尾描绘了一个宏大的愿景： 我们（整个行业）正在为世界构建一个大脑。这个大脑将是高度个性化、易于使用的。他认为，未来的瓶颈不再是技术，而是“好的想法”。那些曾被嘲笑的“点子大王”（idea guys）即将迎来他们的时代。

最后，他以一句充满希望和敬畏的话结束：愿我们能够平稳、指数级且波澜不惊地扩展，穿越超级智能。

We (the whole industry, not just OpenAI) are building a brain for the world. It will be extremely personalized and easy for everyone to use; we will be limited by good ideas... May we scale smoothly, exponentially and uneventfully through superintelligence. - Sam Altman