亚洲婷婷一区亚洲无码明星,国模无码一区二区三区私拍视频,草逼精品视频导航

人類監(jiān)督已成為人工智能治理的關鍵機制。通常認為，人類監(jiān)督者可以提高人工智能系統(tǒng)的準確性、安全性，維護人類價值觀，促進公眾對該技術的信任。但實證研究表明，人類履行監(jiān)督任務并不可靠，可能缺乏勝任能力或受到有害激勵，這對人類監(jiān)督的有效性構成挑戰(zhàn)。對此，一是考察新興的監(jiān)督法律，尤其是歐盟《人工智能法案》。該法案雖關注人類監(jiān)督者的勝任能力，但沒有提供如何實現(xiàn)有效監(jiān)督的指導，也未明確定義人工智能開發(fā)者的監(jiān)督義務。二是提出一種新的分類方法，根據(jù)人類干預是構成抑或糾正人工智能決策，對人類監(jiān)督的角色進行劃分。該分類有助于針對相應監(jiān)督類型形成提升其有效性的建議。三是借鑒民主理論研究，提出六項規(guī)范原則，使對人類監(jiān)督的不信任上升為制度。不信任的制度化在民主治理中具有悠久的實踐歷史。這些原則首次應用于人工智能治理，預見了人類監(jiān)督者的易犯錯性，并試圖在制度設計層面減輕這些錯誤，旨在直接提高人類監(jiān)督的可信度，間接激發(fā)對人工智能治理的適當信任。

一、問題的提出

人類監(jiān)督已成為人工智能治理的關鍵機制。歐盟委員會《人工智能法案》提案（以下簡稱aia）第14條要求人工智能系統(tǒng)的設計和開發(fā)應使其能夠“受到自然人的有效監(jiān)督”。根據(jù)人類是參與系統(tǒng)的每一個決策，還是監(jiān)控系統(tǒng)的整體運作，人類可能被置于人工智能系統(tǒng)“回路”的內部或外部。實施人類監(jiān)督有多條理由。首先，人們通常認為人類可以提高人工智能系統(tǒng)的性能和安全性。其次，人類監(jiān)督捍衛(wèi)了合法性、問責制、尊嚴以及人類自主性和能動性等價值。根據(jù)aia第14條第2款，保持人類參與旨在“預防或最小化健康、安全或基本權利的風險”，從而兼顧安全與價值考量。此外，aia還增加了第三個理由：其總體目標是建立歐盟公民對人工智能的信任。雖然從經(jīng)驗上看，人們的信任可能與人工智能的安全性和對價值的影響相關，但從監(jiān)管的角度來看，信任本身就是一個目標：如果人們信任一項技術，就更可能使用它，從而釋放其經(jīng)濟和社會潛力。實證研究表明，如果告知公眾有人類在“人機回路”當中，那么他們在一開始就會更加信任人工智能系統(tǒng)。然而，如果此人的監(jiān)督不夠有效，那么人們對人工智能系統(tǒng)的信任就并不妥當了，甚至可能有害其利益和福祉。

如何有效實現(xiàn)對人工智能的人類監(jiān)督，是當前監(jiān)管領域的重大問題之一。最近一項對人類監(jiān)督政策的調查實證研究得出結論，人類大多無法履行指定的監(jiān)督職能。研究表明，人類一方面過度依賴（“自動化偏見”），另一方面又過于低估算法建議（“算法厭惡”），并且在判斷算法預測的準確性方面表現(xiàn)不佳。此類偏差的實證記錄仍有待討論。然而，在計算機系統(tǒng)設計中，通常要考慮何時最好將人類置于“回路之外”。在航空領域，出于安全考慮，人工操作已越來越受到限制，并逐漸被自動化取代。因此，通過法律命令人類監(jiān)督并非化解人工智能風險的萬靈藥。若要使其有效，仍需仔細調校。

有觀點認為，最好在制度設計層面解決人類監(jiān)督的有效性挑戰(zhàn)。筆者遵循這一思路，并為其增添了新的分析工具和設計原則，結合歐盟新興的人工智能監(jiān)管秩序展現(xiàn)其實踐影響。在此過程中，本文旨在為人工智能治理的新興研究作出三方面貢獻。第一個貢獻是分析性的。本文考察了歐盟新興的人類監(jiān)督法律，尤其是aia。aia是第一部全面處理人工智能風險的法律，可能會成為全球標準。筆者將其視為不斷演變的監(jiān)管格局的風向標，但不將其主張與aia的特定規(guī)范捆綁在一起。下文將表明，aia要求監(jiān)督有效，但沒有指出如何實現(xiàn)這種有效性，也沒有明確定義人工智能開發(fā)者的監(jiān)督義務。筆者在撰寫本文時，歐盟理事會和歐洲議會都提出了對委員會提案的修正案。下文中，aia指的是委員會的提案，“歐盟理事會版aia”和“歐洲議會版aia”則是指相應的修正案。

本文的第二個貢獻也是分析性的。筆者提出了一種新的人類監(jiān)督角色分類法，根據(jù)對人工智能系統(tǒng)決策輸出的兩種影響類型，區(qū)分為一級監(jiān)督和二級監(jiān)督。一級監(jiān)督者對人工智能作出或支持的決策具有反事實影響。所謂反事實影響，即人工智能系統(tǒng)的初始輸出可能因人類參與而有所不同。一級監(jiān)督者通常是受到人工智能預測或建議支持的本地決策者。二級監(jiān)督者距離相應的本地決策更遠一步，履行復核或審計職責。他們對初始決策輸出沒有反事實影響，而是對其進行糾正。簡言之，一級監(jiān)督者通常會參與人工智能支持的決策過程中，二級監(jiān)督者則在事后采取行動，例如檢查系統(tǒng)日志。這兩類監(jiān)督者都面臨能力不足和錯誤激勵的挑戰(zhàn)。兩種類型的監(jiān)督和兩個挑戰(zhàn)創(chuàng)造了一個包含四個不同關注領域的二乘二矩陣。該分類法使得針對相應監(jiān)督類型提出量身定制的解決方案成為可能，以解決有效性問題。

本文的第三個貢獻是理論性的。筆者提出了一個新建議，即利用“制度化不信任”來處理上述四個關注領域。民主理論研究提出“在民主架構中制度化不信任”可以提供一種治理秩序，讓公眾得以建立適當信任。什托姆普卡稱之為“民主的悖論”：正是由于民主的基本原則意味著某種程度的制度化不信任，才讓政府語境下的信任得以生成。將其應用于人工智能治理，意味著應當基于對人類監(jiān)督者能力和動機的不信任來針對其角色進行相應制度設計。這將有利于培養(yǎng)對人工智能系統(tǒng)的適當信任（而非天真的信任）。本文提出了六項原則，以此使對人類監(jiān)督的不信任上升為制度：正當性、定期輪換、集體決策、機構權力有限性、可訴性和問責制、透明度。本文提出的原則首先適用于公共機構，但仍與私營部門的人工智能治理密切相關。當然，人類監(jiān)督的制度化不信任并不能保證無風險的人工智能系統(tǒng)。相反，它著眼于提供一個總體框架，讓實施可信人類監(jiān)督得以可能。

最后要說明的是，“人工智能”一詞在本文中并非特定的技術理解，而是遵循歐洲議會版aia第3條的定義，即“旨在以不同程度自主性運行的機器系統(tǒng)，能夠生成預測、建議或決策等輸出，從而影響物理或虛擬環(huán)境”。

二、正在興起的監(jiān)督法律

aia第14條第1款明確要求在高風險人工智能系統(tǒng)投放市場之前，對其進行有效的人類監(jiān)督。aia第29條規(guī)定，實施人類監(jiān)督措施是高風險人工智能用戶的義務。這實質上不僅僅是名義上的人類參與，而且提高了歐盟數(shù)據(jù)保護法的現(xiàn)有標準?！锻ㄓ脭?shù)據(jù)保護條例》（以下簡稱gdpr）第22條第1款賦予數(shù)據(jù)主體在未經(jīng)同意的情況下不受“完全”自動化決策約束的權利。對“完全”自動化決策的狹隘關注已招致一些中肯的批評。首先，在沒有任何人類參與的情況下作出決策的人工智能系統(tǒng)可能仍是罕見情況，由此大大縮小了gdpr第22條的適用范圍。通常，人工智能通過提供預測信息來協(xié)助人類，增強后者的決策能力。例如，如果錄取決定最終是人類作出，那么在學生錄取中使用的人工智能推薦系統(tǒng)將被排除在gdpr第22條范圍之外。其次，倘若即便是名義上的人類參與也足以將人工智能系統(tǒng)排除在gdpr第22條范圍之外，那么就存在人類僅僅“橡皮圖章式”確認人工智能決定而沒有任何實質性監(jiān)督的風險。因此，“第29條數(shù)據(jù)保護工作組”強調，數(shù)據(jù)控制者“必須確保對決策的任何監(jiān)督都是有意義的，而不僅僅是一種象征性的姿態(tài)”。

相比之下，aia第14條的包容性更強，其適用范圍不區(qū)分人類參與的程度，因此也涵蓋了推薦系統(tǒng)。然而，aia第14條僅在人工智能系統(tǒng)被認定為“高風險”時方得適用（根據(jù)aia第6條和aia附件iii）。此外，歐盟委員會的aia提案并未明確何時以及如何要求人類監(jiān)督。直覺上，可能會有觀點主張監(jiān)督是與系統(tǒng)的實際運行相關，而不涉及開發(fā)階段。

定義人類監(jiān)督的范圍對于劃分人工智能提供者和用戶／部署者之間的義務至關重要。通常，人類可能在人工智能系統(tǒng)的整個生命周期中影響其決策輸出，即在人工智能系統(tǒng)投入使用之前、期間或事后。aia第14條第1款規(guī)定，自然人必須在“人工智能系統(tǒng)使用期間”對高風險人工智能系統(tǒng)進行監(jiān)督。歐洲議會版aia第14條第1款補充道，“事故發(fā)生后必須進行徹底調查”。這表明，人類監(jiān)督的時間范圍始于人工智能系統(tǒng)投入使用時，并可能在事故已發(fā)生、系統(tǒng)關閉后進行追溯。然而，aia第14條第3款規(guī)定，人類監(jiān)督措施應在高風險人工智能系統(tǒng)投放市場或投入使用之前由提供者（即開發(fā)者）“識別”并（如果可能）“內置”到人工智能系統(tǒng)中。aia第29條第2款提到用戶“實施”提供者“指明”的監(jiān)督措施。這確立了開發(fā)者（提供可監(jiān)督的人工智能）和用戶／部署者（執(zhí)行監(jiān)督）之間的共同責任。此外，人工智能系統(tǒng)在使用過程中通常會繼續(xù)迭代演化。它們可能使用不同的數(shù)據(jù)重新訓練，或者整合吸納用戶反饋。這又可能意味著從人工智能部署階段回到了開發(fā)階段。在不斷學習和變化的人工智能系統(tǒng)中，其開發(fā)者和用戶之間的區(qū)別變得模糊。這項技術是動態(tài)交付的，而不是靜態(tài)產品或“一次性服務”。這表明，aia第14條的時間范圍原則上應保持開放，以涵蓋人工智能生命周期的所有主要階段，包括設計和開發(fā)階段。監(jiān)督責任應根據(jù)具體情況落在人工智能開發(fā)者身上，在需要填補監(jiān)督空白時予以實施。

此外，aia第14條沒有提供太多關于如何使人類監(jiān)督有效或有意義的信息。aia第14條第3款和第4款概述了一些旨在使人類監(jiān)督者能夠監(jiān)控和干預人工智能決策的系統(tǒng)設計措施。負責監(jiān)督的人員必須能夠“理解人工智能系統(tǒng)的能力和局限性”，持續(xù)對“自動化偏見”進行識別，能夠“正確解釋”人工智能系統(tǒng)的輸出，能夠決定不使用人工智能系統(tǒng)或“忽略、推翻或撤銷”其決策，并“中斷”系統(tǒng)的運行（aia第14條第4款）。歐洲議會版aia第14條第4款第e項補充道，如果“增加風險或對性能產生負面影響”，人類不應干預人工智能系統(tǒng)。aia前言第48條補充道，人類監(jiān)督者必須“具備履行該角色所需的勝任能力、培訓經(jīng)歷和權限”。歐盟理事會版aia第29條第1款第a項幾乎逐字重復了aia前言第48條中的觀點。歐洲議會版aia第14條第1款補充道，人類監(jiān)督者應具有“足夠的人工智能素養(yǎng)”和“必要的支持和權限”?！叭斯ぶ悄芩仞B(yǎng)”一詞已被議會在新的第4b條中添加。其定義模糊，被解讀為對“人工智能系統(tǒng)及其功能的基本概念和技能的理解，包括不同類型的產品、用途、風險和益處”（歐洲議會版aia第14b條第3款）。歐洲議會版aia第29條第1a款第ii項規(guī)定，人類監(jiān)督者必須“勝任、具備資格和訓練有素，并擁有必要的資源，以確保對人工智能系統(tǒng)的有效監(jiān)督”?？傊?，aia要求人類監(jiān)督者具備足夠的能力和權限來干預人工智能系統(tǒng)。它沒有明確規(guī)定那些負責執(zhí)行aia第14條職能的個人必須具備哪些確切資格（更不用說認證）。對于像《人工智能法案》這樣的橫向法律，在缺乏現(xiàn)有的有效監(jiān)督標準的情況下，這可能已經(jīng)是目前力所能及之處了。

aia中的要求沒有進一步明確人類監(jiān)督是否可以由人工智能增強，以及如果可以，能增強到何種程度。考慮到在審核復雜的人工智能系統(tǒng)時人類能力面臨的可預見挑戰(zhàn)，某種形式的混合智能可能對實現(xiàn)有效人工智能監(jiān)督而言是必要的。若僅考慮為解釋人工智能模型而開發(fā)的眾多方法，其中一些方法本身就可能屬于“人工智能”的監(jiān)管定義。至少對于高風險系統(tǒng)而言，aia第14條第4款第d項和第e項表明，為了使人類監(jiān)督“有效”，人類（而非機器）必須對結果擁有最終權威，并能夠推翻人工智能的決定或建議。

是否允許人工推翻自動化決策，很難在抽象層面上確定。即使在具體領域內，選擇也并非總是明確。以航空為例，一些航空制造商實施了“硬自動化”，其自動飛行系統(tǒng)可以覆蓋人工輸入以防止人為錯誤。其他制造商則選擇“軟自動化”，允許人工操作員推翻自動化建議或決策。與軟自動化相比，根據(jù)aia第14條第4款，硬自動化乍一看更難與“有效”的人類監(jiān)督相協(xié)調。然而，由于aia中的人類監(jiān)督理由承認了安全考慮，在復雜人工智能系統(tǒng)的決策鏈中，某些步驟采用硬自動化可能與aia第14條第4款相容，尤其是如果議會修正案最終成為法律的話。

最后，技術標準將在定義人類監(jiān)督的功能和方法方面發(fā)揮作用。2023年5月，歐盟委員會向歐洲標準化委員會（cen）和歐洲電工標準化委員會（cenelec）提交了標準化請求，其中包括“規(guī)定人類監(jiān)督的措施和程序”的標準。與此同時，國際標準化機構已經(jīng)開始制定人工智能標準。截至2023年8月，國際標準化組織第42分委員會已發(fā)布20項人工智能標準，包括技術報告和技術規(guī)范。到目前為止，已發(fā)布的標準沒有提供關于如何實施有效人工智能人類監(jiān)督的進一步信息。（“人工智能可信度概述”）iso／iectr24028僅強調了擁有能力和自主權干預最終決策過程的人類決策者的重要性。（“道德和社會問題概述”）iso／iectr24368要求高風險人工智能系統(tǒng)“有一名具備合格資質的人員參與其中，以授權自動化決策”。

總之，迄今為止，新興的人類監(jiān)督監(jiān)管體系要求人類監(jiān)督者有能力并被授權干預乃至推翻人工智能系統(tǒng)，但沒有進一步指導需要哪些能力（除了對人工智能素養(yǎng)的模糊描述）。未來的技術標準有望提供最佳實踐、措施和程序。因此，人工智能系統(tǒng)的開發(fā)者和用戶在決定如何制度化實施其人類監(jiān)督義務時，將擁有廣泛的自由裁量空間。雖然許多制度設計選擇將取決于人工智能系統(tǒng)的本地特征，但本文討論了與大多數(shù)人工智能監(jiān)督系統(tǒng)相關的制度設計問題。作為這種橫向方法的第一步，下文將介紹一種新的人類監(jiān)督角色分類方法。

三、一級人類監(jiān)督與二級人類監(jiān)督

筆者根據(jù)人類監(jiān)督者是否對人工智能系統(tǒng)的決策結果具有反事實影響，對他們的角色進行類型劃分。所謂反事實影響，即由于人類的參與，人工智能系統(tǒng)的初始輸出可能會有所不同。若沒有反事實影響，人類只能在初始輸出產生后介入糾正和逆轉其決策。

廣義而言，人工智能系統(tǒng)可以是完全自動化或部分自動化的。在部分自動化系統(tǒng)中，人工智能通常會為專業(yè)人員提供決策支持。例如，在醫(yī)療保健領域，人工智能可以提供診斷預測和治療建議。在刑事程序中，法官可能會運用算法對被告人進行風險評估。至少在形式上，最終決定權仍然掌握在醫(yī)療或司法專業(yè)人士手中。根據(jù)阿格拉瓦爾等人的區(qū)分，在這種系統(tǒng)中，人工智能提供預測，而人類負責判斷，即決定人工智能預測結果的重要性或價值。拋開有效性問題不談，在提供決策支持的部分自動化人工智能系統(tǒng)中，由于人類仍然參與最終決策，因而構成人類監(jiān)督。此外，部分自動化系統(tǒng)中的人類通常會有反事實影響：決策輸出將取決于他們對人工智能預測的判斷。由此，人類監(jiān)督構成了結果的組成部分。我們將這種情況稱為“一級人類監(jiān)督”。

一級監(jiān)督者可以是醫(yī)生和法官等專家，也可以是接受過輕度到中度培訓的專業(yè)人員。例如，在meta，對違反內容政策的帖子進行刪除的操作似乎在很大程度上是自動化的，只有少數(shù)帖子會交由人工內容審核員進行審核——在這種情形中，自動化內容審核遺漏了本應該標記和刪除的內容，需要人工介入。4將內容標記以供進一步的人工審核是機器學習的一個主要用例：由于人工內容審核無法輕易擴展以滿足內容托管公司的需求，機器學習系統(tǒng)會預先選擇一小部分內容供人工審核。只要內容審核員的判斷對刪除（或保留）帖子的初始決定起到構成作用，他們的參與就可以認定為一級監(jiān)督。

即使在完全自動化人工智能系統(tǒng)中，人類仍然會影響決策輸出。構建人工智能模型并為其預測或分類制定基準的行為，對人工智能輸出具有反事實影響。想象一下人工智能開發(fā)人員設置閾值分數(shù)，例如無人駕駛汽車應該何時剎車，或者信用卡支付應該何時被拒絕。信用卡支付因盜刷被拒絕的概率閾值將決定會有多少交易被取消。一旦設置好閾值的完全自動化系統(tǒng)投入使用，就不再需要人工判斷，任何超過閾值的交易都會自動被取消。但是，這些取消的基準是人類關于閾值分數(shù)的判斷。除了金融業(yè)，在線廣告是另一個已經(jīng)廣泛實施完全自動化的領域。

對于完全自動化系統(tǒng)，在邏輯上只有兩個時間點可以執(zhí)行人類監(jiān)督：在人工智能系統(tǒng)實施之前和它作出決定之后。然而，如果在決定作出后介入，人類對人工智能的初始決策輸出就沒有反事實影響。我們可以將這些情況稱為“二級人類監(jiān)督”。二級監(jiān)督不是構成性的，而是對人工智能決策輸出的糾正。對于完全自動化系統(tǒng)，gdpr第22條第3款提到了這種二級監(jiān)督，涉及數(shù)據(jù)主體的異議權和獲得人工干預的權利。二級監(jiān)督并不僅限于完全自動化系統(tǒng)。人工復核權也可能與部分自動化系統(tǒng)相關。aia適用于完全自動化和部分自動化系統(tǒng)，并設想可以通過第三方審計來評估其合規(guī)性。此外，歐洲議會版aia第14(1)條要求，高風險人工智能系統(tǒng)的設計必須至少允許事后的“徹底調查”。復核和審計是二級監(jiān)督的形式，因為人類監(jiān)督者不直接參與人工智能或由人工智能支持的決策過程。他們與該流程相差一步，對系統(tǒng)的初始輸出沒有反事實影響。

meta的二級監(jiān)督可能還具有分層結構。在meta，上述通過人工內容審核員進行的一級監(jiān)督本身就由所謂的監(jiān)督委員會監(jiān)督。監(jiān)督委員會為meta旗下的facebook和instagram上作出的內容審核決定提供申訴流程。例如，2022年，監(jiān)督委員會決定恢復一個之前被該公司部分自動化內容刪除系統(tǒng)刪除的帖子。

一級監(jiān)督和二級監(jiān)督之間的區(qū)別為“有意義”監(jiān)督的規(guī)范性要求增添了分析深度。之前已有觀點指出，有意義的監(jiān)督要求某人有“改變決定的權威和能力”或有“推翻人工智能決定或建議的能力”。然而，改變或推翻人工智能輸出可能會產生不同的規(guī)范性后果，這取決于它對決定是構成性的抑或糾正性的。這可能在確定誰對損害負責方面具有重要影響。

從新興的監(jiān)督法來看，上述分類方法引出了兩個問題。首先，人工智能開發(fā)者是否有資格成為一級監(jiān)督者？根據(jù)分析，開發(fā)者通常會對系統(tǒng)的輸出產生反事實影響，例如確定分類閾值或工作流程。對于部分自動化系統(tǒng)，這個問題可能不如完全自動化系統(tǒng)那么具有決定性，因為在完全自動化系統(tǒng)中，開發(fā)者的判斷構成了決策中大部分（或全部）人工輸入。從法律上講，aia第14條設想在開發(fā)者和用戶／部署者之間分擔責任，開發(fā)者使人工智能可被監(jiān)督，而用戶／部署者執(zhí)行監(jiān)督。對于完全自動化系統(tǒng)，用戶執(zhí)行人類監(jiān)督可能僅限于中斷系統(tǒng)（即按下“停止按鈕”）以避免危害。如果這足以滿足aia第14條的要求，那么人類監(jiān)督將只是一個非常薄弱的要求。根據(jù)本文提出的反事實影響標準，如果人工智能模型的動態(tài)演變使得用戶監(jiān)督在很大程度上失去實效，那么一部分監(jiān)督義務就應由人工智能開發(fā)者承擔。

其次，二級監(jiān)督是否屬于aia第14條的范圍？目前必須保持開放態(tài)度。如果歐洲議會提出的修正案獲得通過，在高風險人工智能系統(tǒng)投放市場之前，必須確保事后調查的可行性。除了aia，gdpr第22條的復核權保證了對完全自動化人工智能決策的二級監(jiān)督。表1呈現(xiàn)了兩種人類監(jiān)督的二維矩陣，其中人工智能開發(fā)由星號標記，表示需要根據(jù)具體情況決定是否將其納入其中。

表1 一級監(jiān)督與二級監(jiān)督

四、人類監(jiān)督面臨的兩大挑戰(zhàn)

與所有人一樣，監(jiān)督者也可能犯錯誤。如果人類在監(jiān)督人工智能方面系統(tǒng)性地失敗，人類監(jiān)督作為一種治理機制就可能帶來虛假的安全感。目前還沒有對人類監(jiān)督者可靠性的總體評估或預測。以“自動化偏見”和“算法厭惡”為例，這是人類表現(xiàn)出的兩種對人工智能相反的反應。

當人們偏好人類預測而不是算法預測時，即使算法被證明更準確，也會出現(xiàn)算法厭惡。這種厭惡不僅出現(xiàn)在普通人身上，也出現(xiàn)在專家身上。自動化偏見則可能導致人們高估人工智能在性能方面的準確性和一致性。研究表明，當外行人士認為建議是來自算法而非人類時，他們更容易接受建議。當人們必須在算法的建議和他們自己的判斷之間作出選擇，以及當他們在該領域具備專業(yè)知識時，這種偏向算法的效應就會減弱。應用于人類監(jiān)督，這表明相較于專家型監(jiān)督者，未經(jīng)訓練的監(jiān)督者可能更容易受到自動化偏見的影響，聽從算法的預測。如果必須在人工智能的預測和（一級）人類的預測之間作出選擇，未經(jīng)訓練的二級監(jiān)督者可能比未經(jīng)訓練的一級監(jiān)督者受到更大影響。專家型人類監(jiān)督者可能會因過度依賴自己的判斷而不是算法的建議而損害他們的準確性。

關鍵在于，即使有了簡化的監(jiān)督角色分類法，就這些偏見如何影響一級或二級監(jiān)督者而言，我們也可以調整相應預期。在這個抽象層次上，這可能已經(jīng)是最好的結果了。在廣泛的應用范圍內對人工智能技術的概括性評估很可能無法實現(xiàn)。因此，有必要對局部用例進行調查，并測試上述提到的認知偏見及其對特定人工智能系統(tǒng)人類監(jiān)督的影響。

人類監(jiān)督者還可能缺乏理解人工智能系統(tǒng)運作所需的適當訓練。一般而言，引入一種新的人工智能系統(tǒng)通常是因為人工智能在某項任務上優(yōu)于人類。加上前述關于自動化偏見的實證研究，有人認為監(jiān)督自動化系統(tǒng)對人類來說是不可能完成的任務。這至少提高了人類干預人工智能系統(tǒng)以提高其可靠性的認知門檻。同樣，有學者懷疑，額外的培訓是否真的能緩解人類與人工智能在預期平均決策質量方面的差距，至少在某些參數(shù)上是如此。我們稱之為能力不足的挑戰(zhàn)：人類可能缺乏有效監(jiān)督人工智能系統(tǒng)的技能和認知上的完備性。

另一個挑戰(zhàn)源于激勵結構。人類監(jiān)督者可能缺乏時間去作出一個不完全基于人工智能預測的判斷。有些人可能只是因為任務感到疲倦和無聊。財務或商業(yè)激勵以及自身利益同樣可能導致質量低下的結果。隨著大型科技公司主導人工智能的發(fā)展，審計人員為了重復獲得審計委托，存在被行業(yè)利益俘獲的風險。制度設計的目標是消除對有意義的人類監(jiān)督的障礙，并防止權力濫用。因此，必須考慮人類監(jiān)督者的動機（激勵）并限制他們造成損害的能力。一級和二級監(jiān)督者可能面臨結構上不同的激勵環(huán)境，尤其是考慮到他們在組織內外的不同地位。因此，我們可以對之前的二維矩陣進行如下調整，其中字母a至d表示下一章中解決需關注的領域：

表2 一級和二級人類監(jiān)督面臨的挑戰(zhàn)

五、在人工智能監(jiān)督中將不信任制度化

為使其可信，人類對人工智能的監(jiān)督必須解決上述缺乏能力和錯誤激勵的挑戰(zhàn)。本文建議通過明確構建人工智能監(jiān)督的民主治理架構，將對人類監(jiān)督的不信任上升為制度，以解決上述兩個問題。民主理論的一個悠久傳統(tǒng)是優(yōu)化制度設計，以防止公共決策者的能力和動機偏離正軌。理論家們反復強調，不信任有利于民主及其制度的設計。這并不意味著公民對民主制度的實際不信任是有利的。相反，不信任的視角可以幫助我們創(chuàng)造值得信任的制度，反過來又激發(fā)公眾對民主的信任。

本章旨在表明，基于不信任的視角推導出人類監(jiān)督制度設計原則，可以為人工智能治理作出積極貢獻。下文概述的原則主要是針對公共部門的人工智能系統(tǒng)，但也可能與私營部門的人工智能應用產生共鳴。

（一）

民主理論中的制度化不信任

什托姆普卡描述了民主如何有助于產生“信任文化”——“正是由于不信任在民主架構中的制度化”。民主原則為“那些愿意冒險托付信任的人提供了后備支撐或者保險”。雖然什托姆普卡談的是整個治理體系的信任，但在人工智能監(jiān)督中制度化不信任是在一個更為具體的領域內展開的。人類監(jiān)督是人工智能治理的眾多機制之一。同時，人工智能治理和監(jiān)督可以影響更廣泛的制度環(huán)境。當一個公共機構使用一個新的人工智能系統(tǒng)時，這可以改變其感知到的可信度，以及其使公民對其行動產生信任的過程。

什托姆普卡考慮的是一種特定形式的信任。他的“信任文化”是人類群體的一種經(jīng)驗特征，既不是個人的心理傾向，也不是對受托者值得信任程度的理性計算?？偟膩碚f，信任研究很難在學科之間甚至在同一學科內進行比較，因為信任的概念差異很大。因此，將什托姆普卡關于制度化不信任的概念應用到人工智能治理需要進行一些調整。首先，我們可以區(qū)分可信程度的規(guī)范性解釋和公眾信任的經(jīng)驗性衡量。對規(guī)范上不太值得信賴的事物給予過多信任是不合理的，并且可能是天真的。其次，實證研究表明，對制度的信任通常是解釋對ai等技術產生信任的一個重要變量。aia提出了一個發(fā)展“可信人工智能”的監(jiān)管框架。由于（實然的）信任不能通過命令憑空創(chuàng)造，因此表明（應然的）可信度是最具前景的選項，以實現(xiàn)在歐盟廣泛采用人工智能所需信任水平的既定目標。因此，實現(xiàn)對不信任的制度化意味著提高治理體系的可信度，正如什托姆普卡所言，為建立實際而正當?shù)男湃蝿?chuàng)造機會。因此，對不信任的制度化在人工智能監(jiān)督中旨在提高人工智能治理的可信度，并支持公眾對人工智能系統(tǒng)產生正當?shù)男湃巍?/p>

那么，哪些民主原則體現(xiàn)了對不信任的制度化呢？什托姆普卡認為至少有12項：正當性、換屆選舉、少數(shù)服從多數(shù)和集體決策、權力制衡和機構權力有限性、法治、立憲主義和司法審查、訴訟、正當程序、公民權利、法律實施、普遍主義和公平、開放溝通。對于人工智能人類監(jiān)督這一具體領域，這些原則可以進一步濃縮為下文所闡釋的內容。

（二）

人類監(jiān)督的六項設計原則

借鑒什托姆普卡的工作，本文提出六項原則，用于解決表2中a—d所對應的人類監(jiān)督挑戰(zhàn)。

1.正當性（a、b、c、d）

公共權力需要正當性來支撐其合法性。大多數(shù)理論家認為，投票和公共審議等民主程序可以將合法權力授予公職人員。除了回答誰應擁有權力這一道德問題外，正當性還有制度之維。依據(jù)分配給公共機構及其官員的不同職責，（專業(yè)）能力是闡明公眾期望的一種方式。因此，人工智能人類監(jiān)督者能力的缺失會對制度層面的正當性產生影響。正當性原則直接適用于公共機構的人工智能監(jiān)督和公共服務的供給。然而，算法問責制的研究認為，正當性的需求也擴展至私人機構，因為自動決策系統(tǒng)的設計、操作和結果必須面向所有決策所涉對象進行正當化。

有學者最近建議，應要求公共機構報告說明實施算法決策系統(tǒng)的理由。此外，無論提出何種形式的人類監(jiān)督，其功能都需要有經(jīng)驗證據(jù)的支持。如果缺乏這種證據(jù)，則應通過“人機協(xié)作的實驗性評估”來獲取。換句話說，其主張要求提供人類監(jiān)督能力的證明，以證實在政府中使用人工智能是正當?shù)摹?/p>

這種方法在很大程度上值得肯定，至少在有可行基準的情況下是如此。雖然避免死亡和傷害應當是無可爭議的安全基準，但要證明人類監(jiān)督者在保護基本權利方面達到令人滿意的程度，可能仍存在不確定性。這需要就什么是良好的規(guī)范性結果達成一致，例如算法決策的公平性。因此，對人工智能使用及其監(jiān)督的書面證明方法必須謹慎，以免造成規(guī)范確定性的錯覺。

新興的監(jiān)督法律確證了正當性的制度之維。如前所示，aia要求人類監(jiān)督者具備勝任能力（或“人工智能素養(yǎng)”）、訓練有素，并有足夠的權限干預人工智能系統(tǒng)。然而，將實證測試人類監(jiān)督有效性的做法解釋為aia提案的要求，可能過于激進。當然，這并不意味著這種測試不利于滿足正當性原則。

就表2而言，正當性在制度層面直接涉及a、b領域。無論一級和二級監(jiān)督者在特定人工智能系統(tǒng)中的績效標準如何，他們都必須可靠地執(zhí)行自己的任務。需要注意的是，一級和二級監(jiān)督者可能需要不同的專業(yè)能力。一名與人工智能系統(tǒng)合作為患者尋找最佳治療方案的醫(yī)生，顯然既要具備醫(yī)療能力，也要具備與醫(yī)療人工智能互動的能力。一名醫(yī)院人工智能系統(tǒng)的審計人員卻不一定需要完整的醫(yī)學教育背景，而是需要經(jīng)歷高級統(tǒng)計學培訓，以檢測治療建議中的偏差。

錯誤的激勵同樣會妨礙人類監(jiān)督的有效性，因而關系到正當性的制度之維（c和d領域）。例如，外部激勵結構或內在動機如何影響人類監(jiān)督者的表現(xiàn)，仍待進一步研究。因此，正當性原則的啟發(fā)是對人類監(jiān)督的行為因素進行實證測試。

2.定期輪換（d）

aia要求人工智能系統(tǒng)提供商通過內部控制或第三方審計（“第三方指定機構”）來評估合規(guī)性。人工智能開發(fā)商將能夠選擇自己的審計師，實施審計師輪換制度可以保護審計師免受開發(fā)商利益影響，從而提升其公正性。在一個由特別強大的市場參與者主導的人工智能經(jīng)濟中，外部審計師（即二級人類監(jiān)督者）可能會為了獲得重復委托而迎合客戶的需求。

但與此同時，定期輪換可能會削弱審計師的能力，因為他們需要獲得診查人工智能系統(tǒng)的技能和經(jīng)驗。因此，制度設計必須在原則之間權衡取舍。正當性原則要求勝任能力，但定期輪換原則可能削弱之。這要求人工智能治理在兩者之間尋求平衡，例如引入一定的輪換，同時要求一定的最低能力門檻。因此，定期輪換原則主要是解決d領域的問題，但可能對b領域產生不利影響。

3.集體決策（a*、b*、c、d）

集體決策原則假定某些決策者可能存在有害動機。正如布萊斯維特所言：“當我們以12名公民而不是1名公民作為陪審團時，我們就通過人數(shù)來將對某些陪審員可能受賄的不信任進行了制度化?！盿ia第14條第5款規(guī)定，對于附件iii第1條第a項提及的高風險人工智能系統(tǒng)，行動決定需要“由至少2名自然人核實和確認”。這里涉及的人工智能系統(tǒng)是用于自然人遠程生物識別的。關于其理由和范圍，該條款留下了許多懸而未決的問題，因為它沒有說明為什么對于生物識別，2名人類監(jiān)督者比1名更好。我們可以將其重構為一種制度設計選擇，以防止錯誤激勵妨礙對生物識別系統(tǒng)的有效監(jiān)督。

從積極角度來看，集體可能改善決策。群體可以通過多樣性提高其認知能力。如果我們匯總成員的判斷，個人偏見可能會相互抵消。通過增加具有不同生活經(jīng)歷和解決問題認知技能的成員，給定有利條件，三個臭皮匠也可能賽過諸葛亮。例如，在內容審查中，有通過眾包來利用多樣性的嘗試。meta的監(jiān)督委員會“包括來自不同文化和專業(yè)背景的成員”，從而增加了其五人小組在審查和裁決案件時的認知多樣性。如果aia第14條第5款旨在通過集體決策來提高監(jiān)督能力，它應該增加第3名成員，因為兩人小組幾乎總是太小，無法綜合其成員的判斷以獲得認知收益。

集體決策需要借助社會選擇理論。群體決策可能會出現(xiàn)級聯(lián)或循環(huán)。群體可能會兩極化或放大成員的個人錯誤，而非糾正它們。因此，集體決策需要精心設計的決策規(guī)則，例如究竟是多數(shù)決還是一致決，是匯總意見綜合判斷還是就結果進行辯論協(xié)商。因此，通過集體決策提高能力并非必然結果，這就是筆者對a和b領域標記了星號的原因。

4.機構權力有限性（b*、d）

正如什托姆普卡寫道，限制機構的權限“意味著對機構將傾向于擴張、壟斷決策、濫用權力的懷疑”。權力的分置是將不信任制度化的最古老原則之一。

在分層的人類監(jiān)督結構中，二級監(jiān)督者對一級監(jiān)督者進行制衡。國家主管部門（aia第59條）和第三方指定機構（aia第33條）可能試圖擴大其在aia下的權力。在人工智能治理中，一個機構擴張權限的能力很可能取決于其技術能力和對人工智能技術的理解。一個監(jiān)督機構越能夠展現(xiàn)出其技術能力，越能夠滿足其受眾的利益，其他機構就越可能傾向于遵從其決定。aia第37條為質疑第三方指定機構資格提供了一個結構化程序。然而，這一程序實現(xiàn)的是正當性原則：合法權威要求專業(yè)勝任能力，而限制有能力的機構的權力并將決策權重新分配給勝任能力較低的機構，面臨著正當性障礙。

因此，人工智能治理將受益于建立具有相對技術能力水平的二級監(jiān)督機構，允許在二級監(jiān)督者之間進行垂直控制。允許監(jiān)督提供者之間進行競爭的基于市場的解決方案可能會奏效。再次借鑒航空領域，軟自動化與硬自動化的不同設計方法是由兩個市場競爭對手開發(fā)的：空客（硬自動化）和波音（軟自動化）在開發(fā)最佳方法上相互競爭。鑒于此，限制機構的權限主要解決d領域的問題。如果監(jiān)督提供者之間的競爭是基于能力進行的，則可能對b領域產生積極影響（因而用星號標記）。

5.可訴性和問責制（a、b、c、d）

在民主國家，個人權利使公民能夠將私人和公共機構（以及其他公民）告上法庭，以主張其正當訴求。aia提案因未包括個人質疑自動化決定并尋求補救的程序性權利而受到批評。因此，歐盟理事會和歐洲議會都提議納入個人向國家監(jiān)管機構提出申訴的權利（歐盟理事會版aia第63條第11款；歐洲議會版aia第68a條）。根據(jù)aia的最終措辭，受人工智能系統(tǒng)不利影響的個人可能會要求無效的人類監(jiān)督者承擔責任。

通過二級監(jiān)督提起申訴是另一條問責途徑。aia第45條要求成員國“確保對第三方指定機構的決定提供申訴程序，供該決定涉及的合法利益相關方使用”。界定“合法利益”的范圍可能成為一個爭議問題。但申訴作為一種制度措施仍是人工智能治理結構中的寶貴補充。如前所述，meta已在其私人機構中設置了一個申訴機構——監(jiān)督委員會。

我們還可以考慮是否應引入針對人類監(jiān)督者的責任索賠制度，這在現(xiàn)有的行業(yè)法規(guī)中尚不存在。醫(yī)生等一級監(jiān)督者已經(jīng)受到過失和不端行為制度的約束。申訴程序和責任制度可以在一級或二級人類監(jiān)督因故意或過失而失效時進行干預。在這方面，歐盟委員會2022年新提出的《人工智能責任指令》（aild）和修訂的《產品責任指令》（pld）具有重要意義。然而，在其當前的草案版本中，aild提案似乎不適用于人類監(jiān)督者在人工智能輸出和損害之間進行干預的情況。

雖然對一級監(jiān)督?jīng)Q定的申訴自然涉及a和c領域，但責任制度可以針對二級和一級監(jiān)督者，從而涵蓋從a到d的所有關注領域。為使其有效，決策所涉對象通常需要獲得人類監(jiān)督設計和運作的理由和解釋。否則，他們將缺乏關于人類監(jiān)督者何時、為何以及如何未能完成任務的信息。因此，可訴性和問責制原則依賴于正當性原則的實施，以及根據(jù)下面介紹的透明度原則所披露的信息。

6.透明度（a、b、c、d）

透明度制度能激發(fā)信任。o1i3自動化決策系統(tǒng)長期以來一直與不透明和“黑箱”決策聯(lián)系在一起。目前，可解釋的人工智能和算法透明度已成為人工智能治理的關鍵機制，得到政策制定者和學界的擁護。人工智能的代碼、數(shù)據(jù)和開發(fā)過程的透明度是人類有效監(jiān)督的必要條件。但就本文而言，問題在于，人類監(jiān)督本身應該有多透明？

首先，需要明確人類參與是真實的還是僅僅是表面上的。人工智能部署者有動機創(chuàng)造“人機回路”的假象，以避免流失某些用戶。例如，聊天機器人可能模仿人類交談的方式，包括停頓和習慣動作，以避免給人完全自動化的印象。因此，利用模仿人類的人工智能來操縱人類信任的風險是客觀存在的。如前所述，如果告知有人類參與人機循環(huán)之中，人們會更加信任該人工智能系統(tǒng)。自動化輔助設備如果給人以人性化的印象，人們會認為其更值得信賴。

其次，如果人類監(jiān)督本身在某種程度上依賴于人工智能，那么這一事實也應該被披露。此外，用于人工智能輔助監(jiān)督的方法和數(shù)據(jù)也應該透明化。同樣，正當性原則所建議的人類監(jiān)督者績效實證測試結果，也應公開共享，特別是涉及公共部門使用人工智能時。人類監(jiān)督實踐的設計和運作也應公之于眾。

最后，透明度需要的不僅僅是提供信息。如果公眾應當信任人類監(jiān)督，那么關于其程序和績效的透明信息就需要讓普通公民易于理解。由此，透明度原則有助于緩解一級和二級人類監(jiān)督者的能力挑戰(zhàn)和激勵問題。

（三）

小結

綜上所述，制度化不信任的六項原則處理了本文確定的所有關注領域。這些原則相互關聯(lián)。它們可以相互強化，如透明度原則和正當性原則；也可能相互沖突，如定期輪換可以幫助防止監(jiān)督者追求有害目標，但也可能阻礙正當性原則所要求的能力。因此，在實現(xiàn)所有原則時，必須進行權衡和進一步的規(guī)范性抉擇。此外，還有一個基準問題，即監(jiān)督角色的制度設計應實現(xiàn)何種目標。究竟是根據(jù)其“阻止預防”良好結果的能力來從負面評估人類監(jiān)督，如通過消除決策中的偏見等扭曲因素；還是根據(jù)其產生良好結果的能力（如通過集體決策增強能力）來積極評估它？積極方法需要知道或決定何為好結果。對于安全這一理由而言，可接受的基準可能更容易達成共識，而就公平性等價值判斷達成一致則較為困難。

表3 六項原則的預期效應

表3概述了每項原則對每個關注領域的預期效應。雖然所有適用的原則都積極解決了c和d（一級和二級監(jiān)督者的錯誤激勵），但它們對a和b領域（一級和二級監(jiān)督者缺乏能力）的影響似乎不太確定。在最壞的情況下，引入定期輪換制可能會對能力產生負面影響。此外，這六項原則對一級和二級監(jiān)督者的影響沒有差別。考慮到本文的一般性，這也在意料之中。在特定人工智能系統(tǒng)的本地層面，這兩類監(jiān)督者的影響可能會有所不同。定期輪換原則和機構權力有限原則僅適用于二級監(jiān)督。

結論

利用不信任來設計制度在民主理論中有著悠久的傳統(tǒng)，將其應用于對人工智能的人類監(jiān)督，可以使人工智能治理更值得信賴。并且，根據(jù)什托姆普卡的民主悖論，這將激發(fā)人們對人工智能的適當信任。本文提出的原則為在局部人工智能系統(tǒng)中實施可信人類監(jiān)督提供了框架。aia第14條等橫向規(guī)定通常只能提供一般性要求，例如監(jiān)督必須有效。正當性原則已經(jīng)表明，明顯無效的監(jiān)督是不值得信任的。aia下的標準化應強制披露人類監(jiān)督者績效的信息。其他五項原則通常會通過提高勝任能力或限制錯誤激勵的影響來提高監(jiān)督的有效性。

此外，本文對aia的分析表明，人類監(jiān)督是人工智能開發(fā)者和用戶共同的責任。執(zhí)行監(jiān)督的義務主要落在用戶身上，但對于持續(xù)學習的人工智能系統(tǒng)，還應根據(jù)具體情況決定是否包含開發(fā)者。本文提出的監(jiān)督角色分類，有助于針對不同類型的監(jiān)督提出改進有效性的建議。具體規(guī)范可以根據(jù)監(jiān)督是否構成或糾正人工智能的輸出來進行調整。到目前為止，新興的監(jiān)督法律還沒有徹底區(qū)分這些監(jiān)督的類型。

最后，人工智能系統(tǒng)似乎日益將人類自由裁量權置于審查之下，迫使人們?yōu)樽约旱谋憩F(xiàn)辯護，以與自動化決策的度量結果相抗衡。本文提出的制度化不信任原則旨在推動一種基于績效的人機比較體系。但人類監(jiān)督的本質在于維持人類對技術的控制權。因此，將人類監(jiān)督者能力和動機的不信任制度化，其目的僅在于防止最壞后果并提升監(jiān)督者的績效，而非為消除人類控制提供論據(jù)。