“AI教父”来华首谈，大咖齐警告：AGI已在路上，AI会不会“骗你没商量”？
全球顶级AI大脑激辩：今年AI治理比AGI更被关注
作者／ IT时报记者 贾天荣
编辑／ 郝俊慧
“面对AI，我们只有两个选择：要么训练它永远不伤害人类，要么‘消灭’它！” 7月26日，“AI教父”、诺奖与图灵奖双料得主杰弗里·辛顿首次到访中国，在2025 世界人工智能大会暨人工智能全球治理高级别会议（WAIC 2025）上，抛出了这道“生存选择题”。
当天，WAIC 2025在上海启幕，本届大会以”智能时代 同球共济”为主题，来自 30 余个国家和地区的 1200 余位嘉宾齐聚沪上。
大会首日主论坛期间，围绕辛顿的“生存抉择论”，对AI安全治理的讨论成为焦点，多位图灵奖、诺贝尔奖得主、中外院士及国际顶尖实验室代表分享了对AI最前沿的观点，迫切呼吁中美合作，共同勾勒出AI时代的复杂图景。
当AGI曙光初现，“比人类更聪明的AI将出现”几乎成为共识，对AI的警惕也越来越多地成为WAIC聚焦的议题。
“AI教父”辛顿
人类已无法消灭AI
只能全球共研AI向善
本次大会迎来了“AI教父”级别的重量级演讲嘉宾——诺贝尔奖和图灵奖得主杰弗里·辛顿。这是辛顿首次访问中国并发表演讲。
WAIC开幕前一天，辛顿还参加了第四届人工智能国际安全对话（International Dialogues on AI Safety，IDAIS），并与二十余名行业专家共同签署发布了《AI安全国际对话上海共识》。
“面对AI，我们只有两个选择：要么训练它永远不伤害人类，要么消灭它。”辛顿在演讲中抛出警示。但他同时指出，AI在医疗、教育、气候变化、新材料等领域潜力巨大，几乎能够提升所有行业的效率，“即便有国家选择放弃AI，其他国家也不会停止发展。因此，我们无法消除AI，只能找到训练它不伤害人类的方法。”
辛顿指出，过去60多年来，学界对于 AI 有两种不同的理解范式，一个是逻辑型，认为符号规则的表达操作可以实现推理；另一种是图灵和冯·诺依曼所相信的，认为智能的基础在于学习神经网络中的链接，这个过程中理解是第一位的。
早在1985年，他曾尝试用小型模型结合两种理论，通过语义特征预测词语，这一思路后来演变为当今的大语言模型，“如今的大模型被视为我当年微型语言模型的‘后代’，其理解语言的方式与人类相似，都是通过特征交互整合语义”。
他用“乐高积木”类比语言理解，强调人类和大模型都在通过多维特征的“拼接”生成意义，并提出“人类和AI都可能产生幻觉”。辛顿还谈到生物计算与数字智能的差异：人脑功耗低，但知识转移效率有限；而数字智能可通过复制和共享权重实现快速学习。
“几乎所有专家都认为，我们将创造出比人类更智能的AI。”这也让辛顿感到担忧，在谈及AI安全时，辛顿警告，未来AI或会具备自我复制与目标控制能力，“一旦它们的智能水平远超人类，它们将会像成年人操纵三岁小孩一样轻松地操纵我们。”
此前辛顿曾发出警告称，未来30年内，AI导致人类灭绝的可能性上升至10%~20%。
对于如何避免这个结果，辛顿坦言，尽管各国在网络攻击、致命武器、虚假信息操纵等领域的合作难度较大，因利益和看法不同，但在 “人类掌控世界” 这一目标上，各国存在共识。
因此他提议，全球主要国家或 AI 大国应建立一个由 AI 安全机构组成的国际社群，研究如何训练高智能 AI 向善。这与训练 AI 变得聪明的技术不同，各国可在自身主权范围内研究，再分享成果，“尽管目前还不知道具体怎么做，但这是人类长期面临的最重要问题，且所有国家都能在此领域合作。”
中国工程院院士郑南宁
警惕AI带来新的结构性风险
中国工程院院士、人机混合增强智能全国重点实验室主任郑南宁指出，人工智能正迎来一次从“模型驱动”向“意图驱动”的深层次变革，这一范式跃迁不仅将推动AI技术本身的跨越式发展，也将重塑社会运行结构与安全治理体系。
“模型驱动智能的基本技术形态有三：一是深度学习端到端训练机制；二是大参数与大模型的规模增长；三是基础模型作为平台生态。”郑南宁指出。
以GPT为代表的大模型快速发展，极大地推动了当前模型驱动智能的发展，但“幻觉”——模型在缺乏事实支撑时生成虚假但语义连贯的信息，也成为制约大模型的可靠性以及实用性的关键问题之一，威胁决策安全并引发伦理挑战。
他指出，大模型依赖统计相关性进行推理，缺乏因果建模与世界知识的结构化表征，难以实现真正的“认知跃迁”。因此，AI必须引入因果推理机制、知识验证闭环以及多模态对齐，推动智能从“生存能力”迈向“认知能力”。
在他看来，“意图驱动智能”是AI发展的下一个阶段。与传统模型驱动不同，意图驱动的核心是让机器在理解人类目标和价值的基础上，主动分解任务、规划路径并形成自适应闭环，实现信息处理与价值调制的统一。
郑南宁强调，实现意图驱动智能需满足三大技术突破：一是将数据与标签转化为目标和意图的“表征语言”；二是构建因果推理机制，实现任务生成与阶段反馈；三是创新学习架构，从单向输出走向交互反馈。他同时提醒，AI的递归自我改进潜力、平台化集中趋势以及“数据主权”与“智能不对称”等结构性风险，正在对全球治理提出全新挑战。
“人工智能不是终点，而是面向未来的起点。”郑南宁表示，智能跃迁不仅驱动技术革命，更促使人类重新理解自身认知结构。未来，数据主权与全球智能秩序将成为构建人机混合智能社会的重要支撑，AI治理必须体现多元合作与人类命运共同体的理念。
图灵奖得主约书亚・本吉奥
AI越强越会骗人
图灵奖得主约书亚・本吉奥发表演讲称，前沿模型近期在规划和推理方面取得了显著进展。如果这样的趋势持续，AI 的规划推理能力有望在十年内达到人类的水平。
但约书亚・本吉奥也表示，如果缺乏坚实的防护措施，强大的AI可能会放大虚假信息，网络攻击和生物威胁等现有风险。更令人担忧的是，人类恐将失去对自我保护型智能体的控制，这些智能体的认知能力或将“很快超越人类”。
本吉奥认为，科学界仍有相当比例认为这种情况可能发生，就必须保持最高警惕。目前尚无科学验证方法确保 AI 可信且始终遵从人类意图。更糟糕的是，欺骗和自我保护行为在最强模型中似乎更加明显，“随着 AI 的智能水平不断提升，这才是真正令人担忧的地方，因为智能意味着权利，而问题是这种权力将由谁来掌控？”
本吉奥表示，我们急需在技术和政策层面采取措施，以应对这些风险和其他潜在的问题。理性的政策应鼓励开发不具备危险能力的 AI 开源项目；同时，禁止其他情况下的开发，并对闭源模型实施充分的安全保障措施，包括网络安全和物理安全，确保其不易被犯罪分子、恐怖分子或流氓国家所利用。
MiniMax闫俊杰
AGI一定会实现
不同于学者辛顿日益增长的担忧，产业界人士对AI带来的未来，更加乐观。
MiniMax创始人兼首席执行官闫俊杰在演讲中表示：“我们认为AGI（通用人工智能）一定会实现，这是件服务大众、普惠大众的事，而且一定是AI企业和用户一起实现的。”
闫俊杰提到，“未来AI会变得更普惠，由于模型的大小与芯片的计算速度成正比，目前训练单模型的成本几乎是固定的，但推理成本在不断降低，未来一两年内最好模型的推理成本有望再降低一个量级。Token会越来越便宜，但Token量会显著增长，这使得算力需求仍在增长。”
闫俊杰回忆，在研发大模型的过程中，他明显感受到AI与现实场景的融合正在加速。“一开始，我们需要设计软件来分析数据，后来发现，AI能直接生成软件来帮我们完成分析。”他强调，AI不仅是更强的生产力，其创意也在不断突破。
他举例说，十五年前上海世博会的IP“海宝”曾风靡一时，如今AI可以快速生成符合当下上海潮流的新形象。同样，热门IP“LABUBU”的宣传视频，以前可能需要两个月时间、上百万元成本，如今借助MiniMax的视频模型“Hailuo”，一天即可完成，成本仅需几百元。据透露，过去半年“Hailuo”已在全球生成超3亿个视频。
闫俊杰认为，AI已经在超人类预期的场景中展现出潜力，例如解析古文字、辅助设计天文望远镜。“当模型能力越来越强的时候，无需过多协作，就能极大增强个人的创意。”他强调，AI企业的使命不是复制互联网公司的发展逻辑，而是通过AI持续增强个人和社会的能力。
“人很难一直变得更聪明，但AI可以。”闫俊杰说。
他指出，随着模型迭代，AI正在参与自身的优化过程，过去研发大模型需要大量普通人标注，如今只有专家才能教AI更复杂的思考路径，“标注已不再是给答案，而是教模型思考过程。”
对于AI是否会被少数公司垄断，他表示乐观，一定会有多个玩家同时在场。过去一年，开源模型如雨后春笋般涌现，能力已非常接近闭源模型。他判断，AI的持续进化是“永无止境的”，未来也将形成多元生态。
炉边对话
施密特对话沈向洋
中美AI合作是“必选项”
在备受关注的炉边对话中，谷歌前CEO埃里克·施密特与香港科大校董会主席沈向洋共议AI未来。施密特敏锐指出当前格局：中国领先模型多开源，美国则倾向闭源。
“中美如何加强信任与协作？”是他抛出的核心问题。
他强调，中美在AI方面的协作是可以实现的，而且必须加快步伐。原因在于技术进步的速度远超预期，如果不在早期建立沟通与共识，后续的风险将被放大。他相信，只要投入足够多的力量和资源，大部分问题都能被解决。
施密特特别提到，“超级智能之间的协作”是未来一定会发生的场景，而人类需要在这一进程中达成基本价值观上的一致。他引用基辛格博士推动的“对话机制”，呼吁中美保持开放对话，分享理解、数据和风险。
施密特坦言，自己个人一直支持开源，因为开源能够让技术快速扩散，也为全球合作提供了可能。但他同时提醒，开源也带来潜在威胁：一旦技术被滥用，限制可能难以收回。相比之下，闭源模型多由公司或政府严格管理，虽然安全边界清晰，但缺乏全球协同的灵活性。他认为这本质上是一个“技术与治理结合”的问题，未来需要中美以及其他开源社群共同探索“护栏”应如何设立。
谈及AI对齐（Alignment）问题，施密特直言：即便在最先进的美国模型中，AI依然能轻易被诱导去撒谎或误导用户，哪怕你明确要求它不要这样做。这说明我们还没有真正解决“AI如何理解做好事”这一根本性难题。
他特别警示，在未来三年内，AI系统可能会出现“递归自我改进”的能力，这意味着AI可以自主学习并改变自身结构。在这一临界点上，人类必须保持高度警惕：它们在学什么？学到的东西是好是坏？ 这些都需要国际合作与对话。
施密特对未来依然充满乐观。他认为，接下来两年将迎来“智能体革命”：AI将具备更强的语言记忆和任务执行能力，能够被企业和政府直接嵌入工作流，大幅提升效率。而在更远的未来，更深层次的推理与先进算法将推动AI进入新阶段。
他再次强调，面对可能出现的“AI自主复制”或“获取武器”等高风险场景，中美乃至全球必须保持持续对话，在“红线”问题上形成共识，而不是在风险出现后被动停摆。“重要的不是恐慌，而是能不能在对话中影响AI发展的方向，确保它不会失控。”
在圆桌论坛上，图灵奖得主、中国科学院院士、上海期智研究院院长姚期智表示，“AI技术革命如何造福全世界，是个很有意思的话题。”姚期智表示，“AI快速发展，但只掌握在少数国家、少数公司手中，如何才能确保AI发展中不会出现我们担忧的数字鸿沟问题，这是个很值得讨论的问题。”
排版／ 季嘉颖
图片／ WAIC 网络
来源／《IT时报》公众号vittimes
E N D
1、浦东新区人工智能产业生态全球推介会举行,上海浦东新区人工智能上市公司
2、问题来了，在高速120+巡航时看到前车紧急变道疑似避障，老司机的你会…