[智能应用]AI对就业影响,超级智能的安全和预测 [复制链接]

文: Web3天空之城| 未经许可不得转载 [城主说]:在这一次最新深度对话中，Anthropic联合创始人Ben Mann(原OpenAI GPT-3的创始架构师)分享了他对AGI（通用人工智能）时间线的预测（50%概率在2028年左右），并阐述了为何将AI安全作为首要任务，这也是他离开OpenAI创立Anthropic的核心原因。访谈覆盖了AI人才争夺战、经济图灵测试、AI对就业市场的颠覆性影响、宪法式AI（Constitutional AI）等核心技术，以及如何通过培养好奇心和适应性来应对未来的变革。Ben Mann强调，尽管通往安全超级智能的道路充满不确定性，但现在正是确保人类未来繁荣的关键时期。

核心观点摘要

“我认为现在达到某种超级智能的50%概率大约是2028年。”

“我们觉得安全在OpenAI不是首要任务……在Anthropic，我们的最佳情况是，我们能影响人类的未来。”

“超级智能很大程度上是关于，我们如何将上帝关在盒子里？……一旦我们达到超级智能，对齐模型就为时已晚。”

“Claude模型的个性，是我们对齐研究的直接结果。这关乎人工智能理解人们想要什么，而不是他们说了什么。”

“对于可能出现的生存风险或极其糟糕的结果，我最好的预测介于0%到10%之间。即使可能性很小，但由于几乎没人研究，研究它就极其重要。”

“在一个劳动力几乎免费的富足世界里，工作会是什么样子？……他们称之为奇点，部分原因是它就像一个临界点，超过这个点，你很难预测会发生什么。”

“现在是非常疯狂的时代。如果你觉得并不疯狂，那你一定是与世隔绝了。但也要习惯它，因为这就是常态。很快会变得更加奇怪。”

AI人才争夺战与加速发展的现实
当前AI领域的竞争激烈程度，在人才市场上表现得淋漓尽致。当被问及Meta等巨头不惜以过亿美元的薪酬方案从顶尖实验室挖角时，Ben Mann认为这恰恰是时代价值的体现。“我们正在开发的技术极具价值，” 他坦言，“如果你仅仅思考一下个人对公司发展轨迹的影响程度……支付个人1亿美元的四年期薪酬方案，与为企业创造的价值相比，实际上相当便宜。”
然而，他强调，Anthropic在这次人才争夺战中受影响相对较小，其核心原因在于公司强烈的使命驱动。“这里的人……会说，‘当然我不会离开，因为我在Meta的最佳情况是我们能赚钱。而我在Anthropic的最佳情况是，我们能影响人类的未来’。” 这种使命感，正是Anthropic凝聚顶尖人才的关键。
对于外界普遍感受到的“AI发展正在放缓”的论调，Mann则给出了截然相反的判断。他认为，这是一种因迭代速度过快而产生的错觉。“进展实际上正在加速，” 他解释道，“以前模型发布大约是一年一次，现在则是每月或每三个月。这就像一次接近光速的旅行，时间膨胀正在增加。” 他坚信，作为AI发展基石的“规模定律”（Scaling Laws）依然有效，并且随着从预训练到强化学习的演进，其潜力远未耗尽。真正的瓶颈并非技术本身，而是我们提出更好基准和目标的能力。
重新定义AGI：从经济图灵测试到社会变革
对于行业热议的AGI（通用人工智能），Mann倾向于使用一个更具现实意义的术语——“变革性人工智能”（Transformative AI）。其核心判断标准并非机器能否像人一样思考，而是它是否能引发实质性的社会与经济变革。
他引用了“经济图灵测试”这一概念来具体衡量：“如果你为一个特定的工作以合同形式聘请一个代理人，而结果证明它是一台机器而不是人，那么它就通过了该角色的经济图灵测试。” 当AI能够通过约50%（按金额加权）的工作岗位的测试时，就意味着变革性AI的到来。Mann和他的CEO Dario Amodei都预见到，这可能导致高达20%的失业率，尤其是在白领工作中。
Mann进一步指出，人们低估了AI对工作场所的渗透速度，部分原因在于人类不擅长理解指数级增长。“它看起来是平坦的，然后突然你到达曲线的拐点，事情变化得非常快。” 他以客户服务和软件工程为例，“在客户服务方面，我们看到像FIN和Intercom这样的公司，82%的客户服务问题都能自动解决。在软件工程方面，我们的云代码（Claude）团队，大约95%的代码是由云编写的。”
他预言，未来20年，当世界越过“奇点”，资本主义的形态本身都可能发生改变。在一个劳动力近乎免费的富足世界里，工作的定义将被彻底颠覆。
Anthropic的创立：安全是第一要务
Anthropic的创立故事，本身就是对AI安全重要性的一次宣言。Mann与多位核心成员均来自OpenAI的GPT-3项目，他们离开的根本原因，在于对安全优先级的认知分歧。“当关键时刻来临时，我们觉得安全在OpenAI并不是最重要的，” Mann回忆道，“这基本上是OpenAI所有安全团队的负责人（共同的感受）。我们认为安全真的非常重要，尤其是在边缘情况下。”
这种坚持，源于对潜在风险的清醒认识。Mann引用了其内部制定的AI安全等级（ASL）来说明：目前模型处于ASL 3级，有一定危害风险；ASL 4级可能被滥用于造成重大伤亡；而ASL 5级则可能达到灭绝级别的生存风险（X-risk）。“我们已经向国会作证，说明模型如何在制造新流行病方面进行生物提升，” 他严肃地指出，“一旦我们达到超级智能，可能就太迟了，无法对齐模型。”
Anthropic选择了一条更艰难但也更负责任的道路：主动暴露模型的潜在风险，以此推动整个行业的警觉和政策制定。“我们努力做到让他们可以信任我们，我们不会粉饰太平或美化事情。”
构建对齐的AI：宪法、人格与信任
为了解决安全对齐的核心难题，Anthropic开创了名为“宪法式AI”（Constitutional AI）的独特方法，其核心是RLAIF（Reinforcement Learning from AI Feedback），即利用AI自身的反馈进行强化学习。
这个过程，是将一套类似宪法的原则——其内容源自《联合国人权宣言》、苹果的服务条款等——融入模型的训练中。“我们会要求模型本身首先生成一个响应，然后看看该响应是否真的遵守宪法原则，” Mann解释道，“如果答案是‘不’，那么我们会要求模型本身批判自己，并根据该原则重写自己的响应。” 这种递归式的自我修正，旨在让模型内化一套符合人类普世价值的“道德观”。
这一过程产生了意想不到的积极效果：塑造了Claude模型独特的人格。“人们真正喜欢它的一点是它的个性和人格。这是我们对齐研究的直接结果，” Mann说。一个更可靠、诚实且不易谄媚（sycophancy）的AI，其本身就是安全性的体现。“这关乎人工智能理解人们想要什么，而不是他们说了什么……我们不想要那种猴爪场景。” 这种通过价值观构建信任的路径，是Anthropic在商业竞争中独树一帜的护城河。
个人如何在AI浪潮中立足
面对即将到来的剧变，个人应如何自处？Mann的建议并非学习某种特定技能，而是培养更底层的核心素养。首先是在使用工具方面要有雄心壮志。他鼓励人们大胆尝试使用AI工具完成看似不可能的任务，并保持耐心，“如果第一次不成功，就再尝试三次。”
而对于下一代的教育，他的关注点更是远离了传统的学业竞争。“我只希望她快乐、有思想、好奇和善良，” 他谈及自己的女儿时说，“我认为那正是我认为最重要的教育类型。事实将会逐渐淡出背景。” 在他看来，好奇心、创造力和善良这些核心人类品质，将是在AI时代保持自身价值和幸福感的关键。
与Ben Mann的对话，让人深刻感受到一种交织着兴奋与忧虑的复杂情绪。他既是推动技术指数级发展的引擎，也是试图为这列飞速行驶的列车铺设安全轨道的工程师。他相信，人类极有可能迎来一个前所未有的繁荣未来，但也清醒地认识到，那条通往美好未来的道路极其狭窄，稍有不慎就可能坠入深渊。

核心观点摘要

- AGI时间线预测：Ben Mann认为，达到某种超级智能的50%概率大约在2028年。
- AI安全的重要性：Mann离开OpenAI创立Anthropic的核心原因在于对AI安全的重视。他认为，一旦达到超级智能，对齐模型可能为时已晚。
- 变革性人工智能：Mann倾向于使用“变革性人工智能”（Transformative AI）这一术语，其核心判断标准是能否引发实质性的社会与经济变革。
- 经济图灵测试：通过经济图灵测试的AI将能够替代约50%的工作岗位，可能导致高达20%的失业率。
- 宪法式AI：Anthropic通过“宪法式AI”（Constitutional AI）的方法，将一套类似宪法的原则融入模型的训练中，以确保AI的安全性和可靠性。
- 个人应对策略：Mann建议个人在AI浪潮中立足的关键在于培养好奇心、创造力和善良等核心人类品质。

AI人才争夺战与加速发展的现实

当前AI领域的竞争激烈程度在人才市场上表现得淋漓尽致。Meta等巨头不惜以过亿美元的薪酬方案从顶尖实验室挖角，这恰恰体现了AI技术的极高价值。然而，Anthropic在这次人才争夺战中受影响相对较小，其核心原因在于公司强烈的使命驱动。这种使命感是Anthropic凝聚顶尖人才的关键。

对于外界普遍感受到的“AI发展正在放缓”的论调，Mann给出了截然相反的判断。他认为，进展实际上正在加速，真正的瓶颈并非技术本身，而是我们提出更好基准和目标的能力。

重新定义AGI：从经济图灵测试到社会变革

对于行业热议的AGI（通用人工智能），Mann倾向于使用一个更具现实意义的术语——“变革性人工智能”（Transformative AI）。其核心判断标准并非机器能否像人一样思考，而是它是否能引发实质性的社会与经济变革。他引用了“经济图灵测试”这一概念来具体衡量，当AI能够通过约50%的工作岗位的测试时，就意味着变革性AI的到来。

Mann进一步指出，人们低估了AI对工作场所的渗透速度，部分原因在于人类不擅长理解指数级增长。他预言，未来20年，当世界越过“奇点”，资本主义的形态本身都可能发生改变。

Anthropic的创立：安全是第一要务

Anthropic的创立故事本身就是对AI安全重要性的一次宣言。Mann与多位核心成员均来自OpenAI的GPT-3项目，他们离开的根本原因在于对安全优先级的认知分歧。这种坚持源于对潜在风险的清醒认识。Mann引用了其内部制定的AI安全等级（ASL）来说明，目前模型处于ASL 3级，有一定危害风险；ASL 4级可能被滥用于造成重大伤亡；而ASL 5级则可能达到灭绝级别的生存风险（X-risk）。

Anthropic选择了一条更艰难但也更负责任的道路：主动暴露模型的潜在风险，以此推动整个行业的警觉和政策制定。

构建对齐的AI：宪法、人格与信任

为了解决安全对齐的核心难题，Anthropic开创了名为“宪法式AI”（Constitutional AI）的独特方法，其核心是RLAIF（Reinforcement Learning from AI Feedback），即利用AI自身的反馈进行强化学习。这个过程是将一套类似宪法的原则——其内容源自《联合国人权宣言》、苹果的服务条款等——融入模型的训练中。

这一过程产生了意想不到的积极效果：塑造了Claude模型独特的人格。一个更可靠、诚实且不易谄媚（sycophancy）的AI，其本身就是安全性的体现。这种通过价值观构建信任的路径，是Anthropic在商业竞争中独树一帜的护城河。

个人如何在AI浪潮中立足

面对即将到来的剧变，个人应如何自处？Mann的建议并非学习某种特定技能，而是培养更底层的核心素养。首先是在使用工具方面要有雄心壮志。他鼓励人们大胆尝试使用AI工具完成看似不可能的任务，并保持耐心。

而对于下一代的教育，他的关注点更是远离了传统的学业竞争。他认为，好奇心、创造力和善良这些核心人类品质，将是在AI时代保持自身价值和幸福感的关键。

与Ben Mann的对话让人深刻感受到一种交织着兴奋与忧虑的复杂情绪。他既是推动技术指数级发展的引擎，也是试图为这列飞速行驶的列车铺设安全轨道的工程师。他相信，人类极有可能迎来一个前所未有的繁荣未来，但也清醒地认识到，那条通往美好未来的道路极其狭窄，稍有不慎就可能坠入深渊。

AI对就业市场的冲击与变革预测
AI对就业市场的影响正逐渐显现，且其渗透速度可能远超预期。Anthropic联合创始人Ben Mann指出，人们往往低估AI对工作场所的渗透速度，部分原因在于人类不擅长理解指数级增长，它看起来是平坦的，然后突然到达曲线的拐点，事情变化得非常快13。

高失业率风险：Mann和Anthropic的CEODario Amodei都预见到，AI可能导致高达20%的失业率，尤其是在白领工作中13。
部分行业自动化程度
客户服务：像FIN和Intercom这样的公司，82%的客户服务问题都能自动解决13。
软件工程：Anthropic的云代码（Claude）团队，大约95%的代码是由云编写的13。
工作定义的颠覆：在一个劳动力近乎免费的富足世界里，工作的定义将被彻底颠覆13。
超级智能的安全挑战与风险等级
超级智能的安全是AI发展中至关重要的问题，Anthropic将安全视为首要任务。Mann与多位核心成员均来自OpenAI的GPT-3项目，他们离开OpenAI的根本原因，在于对安全优先级的认知分歧，他们认为在OpenAI安全并不是最重要的13。

AI安全等级（ASL）
ASL3级：目前模型处于该级别，有一定危害风险13。
ASL4级：可能被滥用于造成重大伤亡13。
ASL5级：可能达到灭绝级别的生存风险（X-risk）13。
潜在生存风险：Mann引用了其内部制定的AI安全等级来说明相关风险，还指出模型可能在制造新流行病方面进行生物提升，一旦达到超级智能，可能就太迟了，无法对齐模型13。对于可能出现的生存风险或极其糟糕的结果，Mann最好的预测介于0%到10%之间，即使可能性很小，但由于几乎没人研究，研究它就极其重要3。
超级智能的发展预测与AGI的新定义
对于超级智能的发展及AGI（通用人工智能），业内有着不同的看法和预测。Mann认为当前AI发展并非放缓，而是迭代速度过快产生的错觉，进展实际上正在加速，以前模型发布大约是一年一次，现在则是每月或每三个月，这就像一次接近光速的旅行，时间膨胀正在增加