“AI取代人类，并导致人类灭绝的风险一直存在”

7月2日至4日，取代第十四届世界和平论坛在北京召开。人类在4日的并导专题讨论中，中国人民大学高瓴人工智能学院吴玉章讲席教授、致人直存北京前瞻人工智能安全与治理研究院院长曾毅就人工智能的类灭治理与管控议题发表重要观点，警示AI安全风险。风险

核心观点：AI无法实现绝对安全，取代人类必须掌握控制权

曾毅强调，人类“我们绝不能忘记我们的并导责任，即控制AI。致人直存”他指出，类灭AI取代人类并导致人类灭绝的风险风险始终存在。主要原因在于，取代短期内我们尚未找到有效的人类方法，防止AI利用人类的并导弱点进行攻击或操控。因此，必须确保对所有AI系统实施有效管控，人类需承担相应的主体责任。

关键警示：永远不要用AI做决定

曾毅认为，人工智能的定位应当是辅助人类的工具，而非取代人类的决策者。人类必须始终保持自主决策权。他提出了以下严峻判断：

• 数学上的不安全：“我们永远无法构建一个数学上可能安全的人工智能。”
• 非100%完整与安全：“无论以何种方式建造它，人工智能都不会是100%完整的，也不会是完全安全的。”
• 决策红线：“这意味着永远不要使用人工智能来帮你做决定。”

社会灾难预警：从代理AI开始失控

曾毅进一步警告，如果人类放弃对自身行为的控制，特别是从代理AI（Agent AI）开始，这将引发一场社会灾难。

“人类如果想放弃自己的责任，那么失控的时机就到了。”曾毅说道。

本文系观察者网独家稿件，未经授权，不得转载。

(责任编辑：焦点)