本周，四位杰出的技术专家就人工智能的未来展开了激烈的辩论，引发了关于人工智能未来的尖锐分歧。超人类主义者曾就构建通用人工智能展开辩论，或者急性胃肠病要么拯救人类，要么毁灭人类。

这控制板由非营利组织主办人性+此次活动汇聚了人工智能“末日论者”中最直言不讳的人物之一埃利泽·尤德科夫斯基（他曾呼吁停止高级人工智能的开发），以及哲学家和未来学家马克斯·莫尔、计算神经科学家安德斯·桑德伯格和“人类+”荣誉主席娜塔莎·维塔-莫尔。

他们的讨论揭示了关于通用人工智能是否能与人类生存相一致，或者它的创造是否会导致人类灭绝的根本分歧。

“黑箱”问题

尤德科夫斯基警告说，现代人工智能系统从根本上来说是不安全的，因为它们的内部决策过程无法被完全理解或控制。

尤德科夫斯基警告说：“任何黑箱技术最终都可能出现与现有技术极其相似的问题。”他认为，人类需要“彻底摆脱当前的思维模式”，才能安全地开发出先进的人工智能。

通用人工智能是指一种能够推理和学习并处理各种任务的人工智能形式，而不是像传统人工智能那样，是为单一任务而构建的。text,图像， 或者视频通用人工智能（AGI）通常与技术世代的概念联系在一起。奇点因为达到那种智能水平可以让机器自我改进。快点人类无法跟上。

尤德科夫斯基指出“回形针最大化器哲学家尼克·博斯特罗姆（Nick Bostrom）推广了一个类比来说明这种风险。这个思想实验设想了一个人工智能，它会将所有可用的物质都转化为回形针，从而进一步强化了它对单一目标的执着，最终损害了人类的利益。尤德科夫斯基（Yudkowsky）表示，增加目标数量并不会显著提高安全性。

（他指的是他最近出版的关于人工智能的书的书名）如果有人建造它，所有人都会死。他说：“我们的标题不是这样的。”可能“可能会要了你的命，”尤德科夫斯基说。“我们的标题是，如果有人建造它，每个人死了。

但莫尔对“极度谨慎就能带来最安全的结果”这一前提提出了质疑。他认为，通用人工智能（AGI）或许能为人类提供克服威胁的最佳机会。老化以及疾病。

“对我而言，最重要的是，通用人工智能（AGI）或许能够帮助我们阻止所有人因衰老而灭绝，”莫尔说道。“我们终将一死。我们正走向一场灾难，一个接一个地死去。”他警告说，过度限制可能会迫使各国政府走向威权统治，以此作为阻止人工智能在全球范围内发展的唯一途径。

桑德伯格将自己定位在这两个阵营之间，他自称“比较乐观”，但同时又比超人类主义乐观主义者更加谨慎。他讲述了自己的一次亲身经历：他差点使用大型语言模型来辅助设计……生物武器他将这段经历描述为“令人毛骨悚然”。

桑德伯格说：“我们正逐渐意识到，助长恶意行为者的力量也会造成巨大的混乱。”尽管如此，他仍然认为部分或“近似安全”是可以实现的。他反对安全必须完美才有意义的观点，并指出人类至少可以在生存等最基本的共同价值观上达成共识。

“所以，如果你要求绝对安全，那是不可能的。从这个角度来看，这听起来很糟糕，”他说。“但另一方面，我认为我们实际上可以做到接近安全。这就足够了。”

对联盟的怀疑

Vita-More 批评了更广泛的联盟辩论本身，认为该概念假定了一种即使在长期合作者之间也不存在的共识水平。

“所谓‘结盟’的想法纯属天真，”她说。“我们永远不可能结盟。我的意思是，即使在这里，我们都是好人。我们认识几十年了，但我们之间并没有结盟。”

她将尤德科夫斯基关于通用人工智能（AGI）必然会杀死所有人的说法描述为“绝对主义思维”，这种思维不给其他结果留下任何空间。

“我对‘人人都会死’这种一概而论的说法感到不满，”她说。“从未来学家和务实主义者的角度来看，这种说法不考虑任何后果、替代方案或其他可能性。这只是一个简单粗暴的断言，我不禁怀疑它是否反映了一种绝对主义的思维方式。”

讨论内容包括关于人类与机器更紧密融合是否能够降低通用人工智能（AGI）带来的风险的辩论——特斯拉首席执行官埃隆·马斯克对此表示赞同。建议的过去，尤德科夫斯基曾驳斥过与人工智能融合的想法，将其比作“试图与你的烤面包机融合”。

桑德伯格和维塔-莫尔认为，随着人工智能系统能力的不断增强，人类需要与它们更紧密地融合或整合，才能更好地应对后通用人工智能时代。

“这场讨论是对我们作为人类的本质的一次现实检验，”维塔-莫尔说道。