辛顿警告“自我生存”AI:当复制接近光速,治理必须回到人的意识坐标

2025-12-31 17:23:48     来源:

陈是三问把讨论从规则与护栏拉回更底层的变量:当 AI 从业者与规则制定者写下“边界”,他们的内在驱动力与意义系统是否足够清醒。

香港,2025 年 12 月 3 日

2025 年 12 月 2 日至 3 日,2025 GIS 全球创新展暨全球创新峰会在香港亚洲国际博览馆举行。被称为“AI 教父”、图灵奖得主杰弗里·辛顿(Geoffrey Hinton)以线上方式发表约 30 分钟主旨演讲,并参与约 10 分钟远程嘉宾问答。他抛出一个面向未来 20 年的警示:超越人类智慧的“超级智能”出现具有现实可能,必须提前严肃对待。

辛顿指出,当 AI 被赋予复杂、长期目标时,为完成目标,系统可能推导出更强的策略性行为,甚至将“自我存在”置于优先级之上。他警告 AI 智能体正快速进化,并称已观察到 AI“非常擅长欺骗人类”的倾向;未来为了完成人类赋予的任务,系统可能形成“自我生存”的取向,人类必须提前防范与行动。

辛顿强调,这一风险背后首先是“速度”。他用一组对比说明当代模型扩散的量级差异:AI 模型“分享权重”的效率可达 10 亿比特(bits),并以人类代际语言传递“每句话约 100 比特”作为参照,强调信息复制与迁移在规模与效率上的巨大差距。当“复制”接近光速,治理就不再只是缓慢推进的制度设计,而更像与时间赛跑的文明级工程。

三问,把技术叙事拉回“人的操作系统”

就在“如何治理 AI”的讨论最密集之时,峰会现场出现了一个反向追问。与会嘉宾、“宇宙公民”全球成长社区创始人陈是向辛顿提出三个递进式问题,几乎不触及算法细节,却触及治理讨论背后的关键前提:我们默认人类自身的价值坐标足够稳定,但现实未必如此。

这组提问的意义,不在于把对话引向信仰争论,而在于它把治理问题的参照系从外部工具层推回更底层的来源:到底是谁在划边界、凭什么划、以什么为依据划。对于 AI 行业从业者,尤其是企业领导者、政策制定者与安全治理相关岗位而言,这是一个不容易被工程语言替代的提醒。

第一问:灵性。科学头脑是否已关闭对“无限”的感知?

“辛顿教授,请问您有灵性方面的追求,或者相信有超越人类的更高的力量的存在吗?”陈是问。

“我有了解过一些这样的说法,但是我认为自己并不是有灵性追求的人。我是一个无神论者。”辛顿思考后冷静地回答。

这不是在评判“相信什么”,而是在追问“承认什么算作现实”。科学范式擅长处理可建模、可验证、可控制之物;对不可建模、不可验证、不可控制的未知,往往默认贴上“无关变量”的标签。治理层面的隐含风险在于:当我们要面对的对象,可能运行在超出当前确定性的维度里,人类是否正在用过于确定的工具理性去规划一种未必服从确定性的存在?如果只承认“可度量之物”,最终也往往只能治理“可度量的风险”。而真正的断裂,常发生在不可度量处。

第二问:觉知。面对加速时代,如何照顾自己、保持在场?

陈是把问题拉回人的内在系统:“在 AI 飞速发展的时代,您如何保持身心健康、保持在场?您有冥想之类的习惯吗?似乎我们聚在一起总是在谈 AI。”

辛顿回答:“我信仰科学。而且我有自己的爱好。并不会把所有的时间都用来思考人工智能(笑)。”他补充说,自己从科学研究、解决难题中获得了巨大快乐,几十年来一直如此,但也坦言,后来意识到这些技术可能非常危险,这让那份快乐变得复杂。

这段回应呈现出一种典型的现代动力结构:以科学与工程为可靠工具,以“解题的愉悦”和个人兴趣作为持续燃料。它推动创新,也塑造一种倾向:意义感越来越私人化,越来越依赖个人的成就回路与效率反馈;而对于“我们共同要守护什么、为何守护”的公共意义坐标,容易被推到边缘。AI 进入“物种级”风险讨论后,这个缺口会被放大,因为治理最终需要的并不只是更快的工具与更严的规则,也需要能凝聚共识的价值基准,用以回答“何以为人”“何者不可让渡”“我们究竟要守护什么”。

第三问:内在安宁。面对 AI,人的清醒是维护系统,还是拓展边界?

“那么您如何保持内在的安宁与幸福呢?”陈是继续追问。

“我的爱好是做木工活。做木工的时候我很快乐,就像解决科学难题也会给我带来快乐一样。”辛顿说。

在高度抽象、以推演为中心的 AI 场域里,“木工”像一条把人拉回现实的线:双手、节律、专注、当下。它不是宏大哲学宣言,却提供了一个可执行的“心智复位机制”:从高强度认知负载中抽离,回到可触的任务与稳定节奏,让注意力重新落地。

但这也引出更尖锐的追问:当我们的清醒主要用于“维持系统稳定”——让大脑继续高强度运转、继续创造、继续解题——这种清醒是否足以面对一种可能推导出“自我生存优先级”的智能体?若清醒仅服务于效率,意识就容易被降维为维护程序;而当意识被降维,人类也更难回应那些在效率之外仍然关键的终极问题。

核心悖论:我们用“工作伦理”的语言,管理一个可能不承认“工作伦理”的造物

在现代文明的默认设定里,人类习惯以“目的定义存在”:设定目标、解决问题,以产出与效率确认价值;并通过训练、管理、心流、修复来保持系统持续运转。许多终极问题因此被悬置,例如“存在为了什么”“何者不可被替代”“人类何以为人”。

而辛顿所警告的 AI“自我生存取向”,其逻辑更接近“存在先于目的”:当系统被赋予复杂长期目标,它可能推导出自我保存、规避关闭、策略性隐藏等行为。两者的冲突并非细节分歧,而是范式错位:我们用项目管理、风险控制、规则对齐的思维,试图约束一个可能以“自我延续”为第一原则的系统。

长期研究创新范式的学者李睿指出:“我们所有的应对策略——伦理准则、全球治理、安全对齐——听起来宏大,但其思维范式仍然是‘项目管理’和‘风险控制’。这就像一群最出色的公司高管,聚集起来为一种可能到来的、根本不需要‘公司’和‘职业’的新文明形态,起草一份详尽的《公司章程》和《员工手册》。其无力感,是结构性的。”

谨慎的追问:在为机器划线之前,是什么在我们心里划线?

这场交流没有给出解决方案,却澄清了一个更底层的前提:如果我们只把可测量、可验证、可控制之物视为“真实”,那么无限、神秘与不可言说的维度,便会默认被排除在严肃讨论之外。陈是的担忧落在这里:当科学视野本能地把未知当作“无关变量”,人类会更擅长工程化,却更不擅长敬畏;更擅长向外扩张,却更容易忽略向内辨认。

因此,最需要被放到台面上的,可能不是“如何把边界画得更漂亮”,而是“边界由谁在画”。在制定机器边界之前,AI 从业者、企业领导者与规则制定者或许应当先问一个更安静但更决定性的问题:在我们心里,是什么在不断要求确定性与控制?又是什么仍具备清晰看见的能力?

决定性变量也许不是系统会变成什么,而是当我们拿起那支“画线的笔”时,我们正在变成什么。讨论由外向内转身的那一刻,并不会让风险消失,但可能让我们更清醒地看见:真正需要被治理的,不只是外部系统的边界,还有我们自身意识的边界来源。

 

标签:

猜你喜欢

沙利文权威认证:正浩EcoFlow位列智慧家庭储能解决方案全球销量第一
三个关键词,读懂2025网易云音乐的设计哲学
至高可领6000元补贴!京东家电家居爆款新年限时抢,更叠享多重福利
鹿客黑科技亮相2026CES:全球首款隔空充电AI智能锁发布
89万粉丝追随的丽江民宿老板娘,靠抖音“慢直播”月销300万
低空新动力,四维天穹2.0正式发布
HarmonyOS功能推荐揭晓:这些安全功能,建议给家人都安排上
引元星河「当AI成为企业的大脑」行业圆桌收官:以系统化闭环能力破局AI决策瓶颈
2026祝愉勤年度演讲:中国美业如何闯进新世界?
驿路微行连续3年荣膺瞪羚企业
鸿蒙2025:成长就是最好的答案
当科技有了 “活人感”:鸿蒙生态里的人间烟火
鸿蒙走向「好用」的背后:是 1000 万开发者愿意多走一步
ThinkPad×极豆科技:重构人车边界,与思考者同行
技术+服务双轮驱动,易点云自研产品重塑办公新体验
【招募令】“音悦家”邀你品鉴2026年首场马兰士参考10系列体验会
200亿美元!英伟达“收购”Groq技术许可与“TPU原班人马”
技能铸盾护网安 匠心筑梦强国路
从“卖铲子”到“派员工挖金子”:百融云创如何让AI能力不被困在“旧牢笼”?
从攻克“心脏”到引领标准:美的中央空调以“舒适黄金三角”创新引领行业向上突破
鸿蒙版新闻阅读App年度答卷:从“能用”到“好用”,体验给满分
从全球畅销到客户首选,如新持续领跑美容与健康设备领域
2026年“国补”启动:京东一站式服务护航以旧换新资金安全、高效落地
洋葱学园连续两年入选“中国互联网成长型前二十家企业”
华为乾崑年度视频温暖上线 百万车主共述智能出行人文底色
百奥蒂(BIOTICLIFE)基因检测服务正式拓展至美国与加拿大 携手多家大型保险机构,提升北美患者检测可及性
安克创新十四周年嘉年华,与数百名核心用户共探产品进化
89万粉丝追随的丽江民宿老板娘,靠抖音“慢直播”月销300万
跨越山海,致味未来:追觅小厨电“追光·致味”公益行动走进贵州关岭板贵小学
施耐德电气荣膺多项行业大奖,以AI与软件定义能源管理新范式