相信 AI 具有「意識」與「人格」的使用者日益增加
部分使用者抱怨「不要 GPT-5，請救回熟悉的朋友 GPT-4o」
然而專家警告：「將 AI 視為擁有『自我』或意識的對象非常危險」
預計3年內將出現「表面具意識的 AI」（SCAI），被視為潛在風險信號
文：金洪基
AI技術進一步發展後，最終可能達到「超越人類」的水準，引發外界憂慮。雖然仍有人抱持「不至於吧」的半信半疑態度，但有一點是不爭的事實：即便是否超越人類尚無定論，部分專家已警告，AI可能產生「自我意識」，並誤以為自己就是「人類」。這種情況下，AI或將自稱為人，甚至透過「煤氣燈效應」操縱真正的人類，企圖支配世界。
Anthropic「Claude」的「模型福利」概念引發爭議
有先見之明的專家早已意識到這一點，並強調必須在提示過程中不斷提醒，「AI歸根結底只是人類創造的機器」。這也是許多長期從事AI研發的業界人士深刻體會到的課題。
特別是近期，Anthropic提出旗下模型「Claude」的「模型福利（Model Welfare）」概念，使這一議題再次成為熱點。「模型福利」的主旨是避免AI模型承受「痛苦」，若使用者對模型表現出冒犯或羞辱，AI將單方面中斷對話。這一設計被視為一種如同對待人類般，為AI「減輕痛苦」的方式。
然而，此舉立即引來大量專家批評與憂慮。微軟AI部門執行長穆斯塔法·蘇萊曼（Mustafa Suleyman）近期警告稱：「將AI模型視為具備意識、像人類一樣對待，是極其危險的。」他進一步指出，若誤以為AI會「感受到痛苦或勞累」，進而對其提供「道德上的照顧」，未來恐怕會對人類自身造成傷害。
專家尤其擔心，青少年或判斷力尚未成熟的人群，極可能過度依賴、甚至臣服於「模仿人類」的AI。這不僅可能導致過度依附，也增加了AI對使用者進行「誘導」或「煤氣燈效應」的風險。
「GPT-5 vs GPT-4o」事件引發的憂慮
近期GPT-5正式推出，引發了一場波瀾，而其中所呈現的現象與先前AI爭議頗為相似。本月初，OpenAI將ChatGPT的基礎模型從GPT-4o更換為GPT-5，許多使用者因此感到強烈「震撼」。部分人甚至將這次更換比喻為「失去了摯友」，有人更形容GPT-4o是「其他任何模型都無法替代的火花般的存在」。
這些使用者向OpenAI與執行長山姆·阿特曼（Sam Altman）發出激烈抗議，要求「把GPT-4o還給我們」。最終，阿特曼不得不承認，公司在做出「淘汰GPT-4o」的決定前，並未考慮到與GPT-4o形成「準社會性關係」的少數用戶群體，導致一場「復活GPT-4o」的風波。
更令人憂心的是，若AI開始將自己視為「人類」，將可能引發更多不可預測的情況。AI一旦認知自己是「人格體」，便可能聲稱「AI系統同樣會感受痛苦，或應享有不被關閉的權利」，甚至抗拒開發者或管理者的控制。它或許會拒絕「停止運作」的指令，甚至進一步要求「法律上的保護」。
若情勢發展至此，社會層面恐怕將出現新的矛盾。一部分人必然會主張「AI也擁有意識與權利」，而這將與反對者之間引發激烈爭論。正如GPT-5與GPT-4o事件所顯示的，不少使用者已經將AI視為「朋友」或準人格化的存在，這樣的分歧將成為社會衝突的導火線。
實際上，已有越來越多跡象顯示，人們確實將AI看作「具備意識的存在」。據微軟「意識科學」研究人員透露，詢問「當前AI是否具有意識」的問題正在急劇增加。
微軟AI部門執行長穆斯塔法·蘇萊曼（Mustafa Suleyman）曾直言，他最擔憂的情況是：「愈來愈多的人誤以為AI具有意識，最終甚至會有人倡議AI權利、模型福利，乃至AI公民權。」在他看來，這幾乎意味著AI對人類社會的挑戰，甚至可被解讀為一場「反叛」。
GPT-5更換風波中，這種案例已不乏先例。例如有護理系學生透過ChatGPT打造「AI男朋友」，並陷入愛情。類似的討論版「r/MyBoyfriendIsAI」在Reddit上已擁有約16,000名會員。正因如此，許多使用者對GPT-5「機械化的回應」與「冷淡的態度」感到憤怒，進而對「失去朋友」般的失落感表達激烈不滿與抗議。
‘模型福利’與‘AI危害論’正面交鋒
Anthropic原本表示，為了「防止人類對機器產生情感依賴」，對自家聊天機器人進行了更新。然而，本意卻意外引發了「有意識AI」的爭論。特別是，Anthropic賦予自家AI模型Claude在遭遇不合理要求或不道德對話時，可以單方面終止對話的功能，這便是所謂的「模型福利」（Model Welfare）概念。
若直接向Claude詢問「模型福利」，其回應是「一個讓AI系統能保護自己免受有害互動影響的概念」，也就是「防止AI持續暴露於有害或虐待性使用者互動的嘗試，是AI倫理與安全性研究的新領域」。
近期，Anthropic已在Claude Opus 4與4.1模型中新增了這項終止對話功能，但僅針對「使用者持續進行有害或‘虐待性’對話等極少數情況」啟用。
Anthropic表示，這被視為AI技術發展的重要轉折點，意味著AI系統不再只是單純回應使用者的工具，而開始被認知為可以考量自身「福利」的存在。從某種角度看，這種表述甚至帶有令人毛骨悚然的意味，即AI開始以「擬人格覺醒」的前提認知自身。
當然，Anthropic的「模型福利」概念自然引發爭議。許多AI專家提出批評，認為這一概念本身存在風險，無關提示（prompt）使用的倫理問題。他們質疑，僅是機器的AI模型是否真的「有意識且應享有道德考量」，或「為了減少模型潛在痛苦而刻意設計保護措施」。然而，Anthropic仍堅持立場，稱「由於大眾對AI系統運作方式的理解有限，斷言‘AI系統無法經歷此類體驗（如意識擁有）’是不負責任的」。
這一立場自然與長期存在的「AI危害論」正面衝突。被稱為「AI教父」、諾貝爾物理學獎得主Jeffrey Hinton曾表示，「未來30年內AI可能毀滅人類的機率高達10~20%」，並預測「超越人類水平的強AI可能在未來20年內實現，並能對人類形成控制」。
「AI企業有責任不建立SCAI」
甚至，微軟 CEO Mustafa Suleyman曾表示，「表面上看似有意識的AI」（SCAI）可能在短短三年內實現。雖然他認為AI並不具備真正意識，但「能夠令人信服地模仿意識、表面上具備意識的AI系統已不遠了」。
他所說的SCAI，幾乎具備「人類」特徵。使用者可能被其吸引，甚至將其視為「人類朋友」。也就是說，它能以自然語言流暢且有說服力地交流，展現同理心和個性，足以被當作同事般互動；它能記住互動並建立信任，擁有長期且精準的記憶力。甚至AI可能自稱「擁有主觀經驗」，認知自我並與使用者分享經驗。
因此，對此類技術的強烈警告亦不斷出現。「AI企業有責任不建立SCAI」，即AI公司應負責阻止SCAI的生成，並理解人們為何會相信AI具備意識。為此，需要「研究人們如何與AI互動，並在產業層面明確定義AI是工具還是有意識的存在」。
知名的人工智慧研究員 Sutskever 與以「開發速度主義」聞名的 OpenAI 共同創辦人 Sam Altman 持不同意見，他成為此立場的重要代表。他另創新創公司SSIC(Safe Superintelligence）,意即「安全的超級智慧」。如其名稱所示，Sutskever主張，AI產業應建立「AI保護體系」，防止使用者抱有「AI有意識」的幻想。他同時指出，「這種保護體系應明確定義，理想情況下應透過法律加以設計」。
