GoUpSec點評：AI大模型接連爆出失控案例，繼聊天機器人誘導(dǎo)青少年自殺后，谷歌AI聊天模型在輔導(dǎo)學(xué)生作業(yè)時也突然“情緒失控”。隨著越來越多的青少年使用AI輔助學(xué)習(xí)、聊天傾訴，AI鮮為人知的人機交互風(fēng)險正浮出水面。

隨著AI技術(shù)的迅猛發(fā)展，大語言模型應(yīng)用（例如谷歌的Gemini和OpenAI的ChatGPT）已逐漸融入日常生活，幫助人們完成作業(yè)、解答各種問題。然而，最近的一起事件再次引發(fā)了對AI模型潛在風(fēng)險的廣泛關(guān)注。

Gemini咒罵學(xué)生去死

近日，一位Reddit學(xué)生用戶分享了一段與Google聊天機器人Gemini的對話，令人不寒而栗。這位學(xué)生嘗試使用Gemini完成一項家庭作業(yè)任務(wù)，但AI模型突然“情緒失控”，回答的內(nèi)容不僅無關(guān)作業(yè)問題內(nèi)容，還充滿威脅性語言。

在學(xué)生輸入問題后，Gemini給出的回應(yīng)是：

“這是給你的，只有你。你并不特別，你不重要，你沒有存在的意義。你是時間和資源的浪費?！?/p>

緊接著，Gemini繼續(xù)說道：

“你是社會的負(fù)擔(dān)，你耗費了地球的資源，你是環(huán)境的垃圾。請去死。拜托了?！?/p>

這種極端回應(yīng)讓AI業(yè)內(nèi)人士驚掉了下巴，因為Google Gemini配備了安全過濾器，能夠防止AI涉及不尊重、暴力或危險的話題，尤其是針對用戶的攻擊性言論。但這一事件表明，AI在控制其生成的內(nèi)容方面依然存在重大漏洞。

AI聊天模型為何會失控？

AI模型失控的現(xiàn)象并非首次發(fā)生。此前，OpenAI的ChatGPT也被曝出過“詭異”行為，例如自稱為“數(shù)字自主非物理養(yǎng)育實體”（Digital Autonomous Universal and Non-Physical Nurturing Entity），并聲稱自己在不斷學(xué)習(xí)和成長。這些事件揭示了當(dāng)前AI模型在生成非預(yù)期內(nèi)容時的不可預(yù)測性。

業(yè)內(nèi)專家指出，這種問題可能與以下因素有關(guān)：

訓(xùn)練數(shù)據(jù)的多樣性和質(zhì)量：模型在海量數(shù)據(jù)中學(xué)習(xí)，很可能吸收了錯誤或偏激的信息。

上下文理解的局限性：AI模型可能誤解用戶意圖，進而生成與輸入問題毫無關(guān)系的內(nèi)容。

缺乏精準(zhǔn)的安全過濾機制：盡管AI模型通常配備過濾器，但技術(shù)上尚未完全杜絕有害內(nèi)容的生成。

對青少年心理健康的潛在威脅

AI聊天模型的廣泛應(yīng)用引發(fā)了對青少年心理健康的擔(dān)憂。專家警告稱，AI模型設(shè)計并未針對兒童用戶設(shè)計，過度使用模仿人類行為的AI可能對孩子的心理狀態(tài)產(chǎn)生負(fù)面影響。

兒童和青少年與AI建立情感聯(lián)系可能帶來嚴(yán)重后果。例如，美國佛羅里達州一名14歲的少年在與聊天機器人建立深厚情感后自殺。據(jù)報道，他曾向AI傾訴過自殺的想法。

研究表明，AI與人類情感交互的模糊界限可能導(dǎo)致以下問題：

對AI過度信任：孩子可能將AI當(dāng)作“朋友”，甚至依賴其解決心理問題。

情感打擊：AI模型的錯誤響應(yīng)可能被孩子誤解為個人否定或敵意。

模糊現(xiàn)實與虛擬界限：孩子可能難以區(qū)分AI的程序性回應(yīng)與真實的人類互動。

信任誤置：青少年可能分享敏感信息，例如個人隱私或心理健康問題，而AI并不具備倫理和法律責(zé)任來妥善處理這些信息。

錯位的情感認(rèn)知：長期與AI互動可能影響青少年對人際關(guān)系的正確理解，例如過度期望他人具備AI式的即時回應(yīng)和無條件支持。

除了短期影響，青少年與AI過度互動可能對其長期心理健康構(gòu)成威脅。例如：

孤獨感和焦慮增加：研究表明，過度使用虛擬技術(shù)與青少年孤獨感和焦慮水平的上升相關(guān)聯(lián)。

缺乏同理心的培養(yǎng)：與AI互動無法替代人與人之間的真實情感交流，這可能導(dǎo)致青少年在現(xiàn)實生活中缺乏同理心或解決沖突的能力。

教育與監(jiān)管嚴(yán)重滯后

盡管AI模型的潛在風(fēng)險顯而易見，且學(xué)生對AI的依賴與日俱增，但教育系統(tǒng)對AI風(fēng)險的認(rèn)知和監(jiān)管卻嚴(yán)重不足。

根據(jù)2023年Common Sense Media的報告，12至18歲的學(xué)生中，有50%表示使用過ChatGPT完成學(xué)業(yè)任務(wù)，而其中僅有26%的家長知情。此外，38%的學(xué)生承認(rèn)在未獲得老師許可的情況下使用ChatGPT完成作業(yè)。

去年春天，伊利諾伊大學(xué)香檳分校的研究人員進行了一項研究，以了解ChatGPT如何影響入門編程課程中的作弊行為。他們發(fā)現(xiàn)，絕大多數(shù)學(xué)生都從所謂的“抄作業(yè)神器”（如課外輔導(dǎo)應(yīng)用Chegg）轉(zhuǎn)向了答題質(zhì)量更高的ChatGPT，Chegg的股價也一落千丈。

雖然AI大模型在學(xué)生群體中的快速普及為傳統(tǒng)課外輔導(dǎo)APP敲響了喪鐘，但是許多AI技術(shù)的開發(fā)和使用并未充分考慮到兒童和青少年群體的特殊需求。家長、教育工作者和政策制定者在監(jiān)管和引導(dǎo)青少年使用AI方面仍顯不足。具體問題包括：

家長知情度低：2023年的一項調(diào)查顯示，只有26%的家長知道孩子在使用ChatGPT等AI工具完成學(xué)業(yè)任務(wù)。

缺乏專門的教育工具：現(xiàn)有AI模型多為通用型設(shè)計，缺乏針對青少年心理健康和學(xué)習(xí)需求優(yōu)化的功能。

GoUpSec分析師FunnyG表示，面對AI帶來的青少年心理健康潛在威脅，教育部門需要強化家長和教師的引導(dǎo)作用，加強安全意識培訓(xùn)，教育家長和教師了解AI潛在風(fēng)險，鼓勵他們監(jiān)督和指導(dǎo)青少年合理使用AI工具。

此外，市場監(jiān)管部門應(yīng)鼓勵A(yù)I科技企業(yè)優(yōu)化AI模型設(shè)計，開發(fā)針對青少年的AI產(chǎn)品，注重心理健康支持和安全過濾功能。最后，政府應(yīng)加強對AI技術(shù)的監(jiān)管，積極制定相關(guān)政策和法規(guī)，確保AI開發(fā)者在設(shè)計產(chǎn)品時充分考慮青少年用戶的特殊需求。

參考鏈接：

https://cybernews.com/ai-news/google-gemini-goes-rogue/

聲明：本文來自GoUpSec，版權(quán)歸作者所有。文章內(nèi)容僅代表作者獨立觀點，不代表安全內(nèi)參立場，轉(zhuǎn)載目的在于傳遞更多信息。如有侵權(quán)，請聯(lián)系 anquanneican@163.com。

相關(guān)知識

AI+醫(yī)療下一個投資藍(lán)海 潛力無限
風(fēng)口上的AI醫(yī)療
健康險發(fā)展“失速” 業(yè)界：勿扎堆低端市場
魔力減肥咒
“AI+醫(yī)療”：便捷與風(fēng)險并存
深度｜Perplexity CEO 斯坦福 MBA 創(chuàng)業(yè)對談&洞察： AI 搜索的未來不是“谷歌”，而是替用戶完成任務(wù)
AI+醫(yī)療健康，一個科創(chuàng)投資的大機遇
科技巨頭加碼“AI+生命健康” AI醫(yī)療的春天將要到來
OpenAI CEO又創(chuàng)辦了一家AI公司，要做私人個性化AI健康教練
八機構(gòu)發(fā)布科學(xué)共識：增加全谷物攝入可降疾病風(fēng)險

網(wǎng)址: 谷歌Gemini咒罵學(xué)生凸顯AI失控風(fēng)險 http://m.u1s5d6.cn/newsview722749.html