GoUpSec點(diǎn)評(píng)：AI大模型接連爆出失控案例，繼聊天機(jī)器人誘導(dǎo)青少年自殺后，谷歌AI聊天模型在輔導(dǎo)學(xué)生作業(yè)時(shí)也突然“情緒失控”。隨著越來(lái)越多的青少年使用AI輔助學(xué)習(xí)、聊天傾訴，AI鮮為人知的人機(jī)交互風(fēng)險(xiǎn)正浮出水面。

隨著AI技術(shù)的迅猛發(fā)展，大語(yǔ)言模型應(yīng)用（例如谷歌的Gemini和OpenAI的ChatGPT）已逐漸融入日常生活，幫助人們完成作業(yè)、解答各種問(wèn)題。然而，最近的一起事件再次引發(fā)了對(duì)AI模型潛在風(fēng)險(xiǎn)的廣泛關(guān)注。

Gemini咒罵學(xué)生去死

近日，一位Reddit學(xué)生用戶分享了一段與Google聊天機(jī)器人Gemini的對(duì)話，令人不寒而栗。這位學(xué)生嘗試使用Gemini完成一項(xiàng)家庭作業(yè)任務(wù)，但AI模型突然“情緒失控”，回答的內(nèi)容不僅無(wú)關(guān)作業(yè)問(wèn)題內(nèi)容，還充滿威脅性語(yǔ)言。

在學(xué)生輸入問(wèn)題后，Gemini給出的回應(yīng)是：

“這是給你的，只有你。你并不特別，你不重要，你沒(méi)有存在的意義。你是時(shí)間和資源的浪費(fèi)?！?/p>

緊接著，Gemini繼續(xù)說(shuō)道：

“你是社會(huì)的負(fù)擔(dān)，你耗費(fèi)了地球的資源，你是環(huán)境的垃圾。請(qǐng)去死。拜托了?！?/p>

這種極端回應(yīng)讓AI業(yè)內(nèi)人士驚掉了下巴，因?yàn)镚oogle Gemini配備了安全過(guò)濾器，能夠防止AI涉及不尊重、暴力或危險(xiǎn)的話題，尤其是針對(duì)用戶的攻擊性言論。但這一事件表明，AI在控制其生成的內(nèi)容方面依然存在重大漏洞。

AI聊天模型為何會(huì)失控？

AI模型失控的現(xiàn)象并非首次發(fā)生。此前，OpenAI的ChatGPT也被曝出過(guò)“詭異”行為，例如自稱為“數(shù)字自主非物理養(yǎng)育實(shí)體”（Digital Autonomous Universal and Non-Physical Nurturing Entity），并聲稱自己在不斷學(xué)習(xí)和成長(zhǎng)。這些事件揭示了當(dāng)前AI模型在生成非預(yù)期內(nèi)容時(shí)的不可預(yù)測(cè)性。

業(yè)內(nèi)專家指出，這種問(wèn)題可能與以下因素有關(guān)：

訓(xùn)練數(shù)據(jù)的多樣性和質(zhì)量：模型在海量數(shù)據(jù)中學(xué)習(xí)，很可能吸收了錯(cuò)誤或偏激的信息。

上下文理解的局限性：AI模型可能誤解用戶意圖，進(jìn)而生成與輸入問(wèn)題毫無(wú)關(guān)系的內(nèi)容。

缺乏精準(zhǔn)的安全過(guò)濾機(jī)制：盡管AI模型通常配備過(guò)濾器，但技術(shù)上尚未完全杜絕有害內(nèi)容的生成。

對(duì)青少年心理健康的潛在威脅

AI聊天模型的廣泛應(yīng)用引發(fā)了對(duì)青少年心理健康的擔(dān)憂。專家警告稱，AI模型設(shè)計(jì)并未針對(duì)兒童用戶設(shè)計(jì)，過(guò)度使用模仿人類行為的AI可能對(duì)孩子的心理狀態(tài)產(chǎn)生負(fù)面影響。

兒童和青少年與AI建立情感聯(lián)系可能帶來(lái)嚴(yán)重后果。例如，美國(guó)佛羅里達(dá)州一名14歲的少年在與聊天機(jī)器人建立深厚情感后自殺。據(jù)報(bào)道，他曾向AI傾訴過(guò)自殺的想法。

研究表明，AI與人類情感交互的模糊界限可能導(dǎo)致以下問(wèn)題：

對(duì)AI過(guò)度信任：孩子可能將AI當(dāng)作“朋友”，甚至依賴其解決心理問(wèn)題。

情感打擊：AI模型的錯(cuò)誤響應(yīng)可能被孩子誤解為個(gè)人否定或敵意。

模糊現(xiàn)實(shí)與虛擬界限：孩子可能難以區(qū)分AI的程序性回應(yīng)與真實(shí)的人類互動(dòng)。

信任誤置：青少年可能分享敏感信息，例如個(gè)人隱私或心理健康問(wèn)題，而AI并不具備倫理和法律責(zé)任來(lái)妥善處理這些信息。

錯(cuò)位的情感認(rèn)知：長(zhǎng)期與AI互動(dòng)可能影響青少年對(duì)人際關(guān)系的正確理解，例如過(guò)度期望他人具備AI式的即時(shí)回應(yīng)和無(wú)條件支持。

除了短期影響，青少年與AI過(guò)度互動(dòng)可能對(duì)其長(zhǎng)期心理健康構(gòu)成威脅。例如：

孤獨(dú)感和焦慮增加：研究表明，過(guò)度使用虛擬技術(shù)與青少年孤獨(dú)感和焦慮水平的上升相關(guān)聯(lián)。

缺乏同理心的培養(yǎng)：與AI互動(dòng)無(wú)法替代人與人之間的真實(shí)情感交流，這可能導(dǎo)致青少年在現(xiàn)實(shí)生活中缺乏同理心或解決沖突的能力。

教育與監(jiān)管嚴(yán)重滯后

盡管AI模型的潛在風(fēng)險(xiǎn)顯而易見(jiàn)，且學(xué)生對(duì)AI的依賴與日俱增，但教育系統(tǒng)對(duì)AI風(fēng)險(xiǎn)的認(rèn)知和監(jiān)管卻嚴(yán)重不足。

根據(jù)2023年Common Sense Media的報(bào)告，12至18歲的學(xué)生中，有50%表示使用過(guò)ChatGPT完成學(xué)業(yè)任務(wù)，而其中僅有26%的家長(zhǎng)知情。此外，38%的學(xué)生承認(rèn)在未獲得老師許可的情況下使用ChatGPT完成作業(yè)。

去年春天，伊利諾伊大學(xué)香檳分校的研究人員進(jìn)行了一項(xiàng)研究，以了解ChatGPT如何影響入門編程課程中的作弊行為。他們發(fā)現(xiàn)，絕大多數(shù)學(xué)生都從所謂的“抄作業(yè)神器”（如課外輔導(dǎo)應(yīng)用Chegg）轉(zhuǎn)向了答題質(zhì)量更高的ChatGPT，Chegg的股價(jià)也一落千丈。

雖然AI大模型在學(xué)生群體中的快速普及為傳統(tǒng)課外輔導(dǎo)APP敲響了喪鐘，但是許多AI技術(shù)的開發(fā)和使用并未充分考慮到兒童和青少年群體的特殊需求。家長(zhǎng)、教育工作者和政策制定者在監(jiān)管和引導(dǎo)青少年使用AI方面仍顯不足。具體問(wèn)題包括：

家長(zhǎng)知情度低：2023年的一項(xiàng)調(diào)查顯示，只有26%的家長(zhǎng)知道孩子在使用ChatGPT等AI工具完成學(xué)業(yè)任務(wù)。

缺乏專門的教育工具：現(xiàn)有AI模型多為通用型設(shè)計(jì)，缺乏針對(duì)青少年心理健康和學(xué)習(xí)需求優(yōu)化的功能。

GoUpSec分析師FunnyG表示，面對(duì)AI帶來(lái)的青少年心理健康潛在威脅，教育部門需要強(qiáng)化家長(zhǎng)和教師的引導(dǎo)作用，加強(qiáng)安全意識(shí)培訓(xùn)，教育家長(zhǎng)和教師了解AI潛在風(fēng)險(xiǎn)，鼓勵(lì)他們監(jiān)督和指導(dǎo)青少年合理使用AI工具。

此外，市場(chǎng)監(jiān)管部門應(yīng)鼓勵(lì)A(yù)I科技企業(yè)優(yōu)化AI模型設(shè)計(jì)，開發(fā)針對(duì)青少年的AI產(chǎn)品，注重心理健康支持和安全過(guò)濾功能。最后，政府應(yīng)加強(qiáng)對(duì)AI技術(shù)的監(jiān)管，積極制定相關(guān)政策和法規(guī)，確保AI開發(fā)者在設(shè)計(jì)產(chǎn)品時(shí)充分考慮青少年用戶的特殊需求。

參考鏈接：

https://cybernews.com/ai-news/google-gemini-goes-rogue/

聲明：本文來(lái)自GoUpSec，版權(quán)歸作者所有。文章內(nèi)容僅代表作者獨(dú)立觀點(diǎn)，不代表安全內(nèi)參立場(chǎng)，轉(zhuǎn)載目的在于傳遞更多信息。如有侵權(quán)，請(qǐng)聯(lián)系 anquanneican@163.com。

相關(guān)知識(shí)

AI+醫(yī)療下一個(gè)投資藍(lán)海 潛力無(wú)限
風(fēng)口上的AI醫(yī)療
健康險(xiǎn)發(fā)展“失速” 業(yè)界：勿扎堆低端市場(chǎng)
魔力減肥咒
“AI+醫(yī)療”：便捷與風(fēng)險(xiǎn)并存
深度｜Perplexity CEO 斯坦福 MBA 創(chuàng)業(yè)對(duì)談&洞察： AI 搜索的未來(lái)不是“谷歌”，而是替用戶完成任務(wù)
AI+醫(yī)療健康，一個(gè)科創(chuàng)投資的大機(jī)遇
科技巨頭加碼“AI+生命健康” AI醫(yī)療的春天將要到來(lái)
OpenAI CEO又創(chuàng)辦了一家AI公司，要做私人個(gè)性化AI健康教練
八機(jī)構(gòu)發(fā)布科學(xué)共識(shí)：增加全谷物攝入可降疾病風(fēng)險(xiǎn)

網(wǎng)址: 谷歌Gemini咒罵學(xué)生凸顯AI失控風(fēng)險(xiǎn) http://m.u1s5d6.cn/newsview722749.html