2021-04-12 14:52:34 來源：中國周刊

作者：張 欣（對外經(jīng)濟(jì)貿(mào)易大學(xué)法學(xué)院副教授），來源：《法商研究》2021年第2期

作為底層架構(gòu)的算法，在擴(kuò)展式嵌入社會經(jīng)濟(jì)領(lǐng)域時已逐步超越代碼特質(zhì)，整合并再生為新型“社會權(quán)力”。面對這一挑戰(zhàn)，算法影響評估制度應(yīng)運(yùn)而生。其有助于創(chuàng)制合理的算法透明度并構(gòu)筑算法信任，助力場景化和精準(zhǔn)化算法治理，與數(shù)據(jù)保護(hù)影響評估制度形成有效勾連。美國和加拿大以公共事業(yè)為核心領(lǐng)域，以框架式治理和協(xié)同治理為實(shí)現(xiàn)路徑，以“技術(shù)架構(gòu)、影響維度和問責(zé)制”為核心支撐，以敏捷治理理念打造智能評估工具，形成了全周期覆蓋、閉環(huán)聯(lián)動的評估框架。在構(gòu)建本土化方案時，應(yīng)當(dāng)科學(xué)制定算法影響評估制度的構(gòu)建規(guī)劃及基本路徑，精細(xì)化制度設(shè)計(jì)并強(qiáng)化制度執(zhí)行實(shí)效，合理構(gòu)建內(nèi)外兼具、激勵相容的協(xié)同評估機(jī)制。

一、問題的提出

伴隨著數(shù)據(jù)和人工智能技術(shù)的迅猛發(fā)展，以商業(yè)資本或者政治權(quán)力為驅(qū)動力，算法已經(jīng)逐步超越代碼這一特質(zhì)，內(nèi)嵌在搜索引擎、新聞推薦、風(fēng)險(xiǎn)評估、人臉識別、自動駕駛等多元化公私場景中，成為構(gòu)建社會秩序的代理決策者。作為底層架構(gòu)的算法，雖然形式客觀、運(yùn)行高效，但其技術(shù)特質(zhì)無法為決策的穩(wěn)健性、正當(dāng)性和合理性作出充分證成。實(shí)際上，一系列算法偏誤已經(jīng)在社會、經(jīng)濟(jì)領(lǐng)域帶來不良影響。例如，臉書的算法在就業(yè)和住房廣告精準(zhǔn)投放時產(chǎn)生了性別傾斜和種族歧視。數(shù)百萬非裔美國人因患者分配醫(yī)療算法的偏誤設(shè)計(jì)在醫(yī)療護(hù)理上受到了系統(tǒng)性歧視。更令人震驚的是，2019年兩架波音飛機(jī)因自動駕駛軟件程序故障造成空難，致使346名乘客不幸罹難。由此可見，當(dāng)算法與公私權(quán)力主體相結(jié)合，整合并再生成為新型“社會權(quán)力”時，各國立法者亟須以平等、公平和安全為內(nèi)核構(gòu)建科學(xué)合理的治理框架，彌合算法系統(tǒng)與社會核心價(jià)值之間的潛在張力。但由于一個簡單的算法應(yīng)用場景至少涉及算法開發(fā)者、部署者、使用者等多個主體和多項(xiàng)法益，不同的算法運(yùn)行場景也意味著不盡一致的算法治理要求，因此，還需建立一種具有動態(tài)性、精準(zhǔn)性、場景性的算法治理機(jī)制，打破單一治理框架與多元應(yīng)用場景之間、技術(shù)復(fù)雜性和動態(tài)性與治理規(guī)范的穩(wěn)定性和普遍性之間的緊張內(nèi)核。

面對日益攀升的算法治理壓力，算法影響評估制度作為重要的治理方案被提上中外立法議程，成為當(dāng)下算法治理實(shí)踐中最為矚目的焦點(diǎn)。2018年美國紐約市通過頒布《算法問責(zé)法》首創(chuàng)自動化決策系統(tǒng)的影響評估制度。2019年加拿大政府頒布《自動化決策指令》系統(tǒng)化創(chuàng)建算法影響評估指標(biāo)。2020年歐盟《人工智能白皮書》也不約而同地提出應(yīng)針對人工智能應(yīng)用建立清晰、易懂且兼顧各方利益的影響評估標(biāo)準(zhǔn)。在我國，從人工智能治理的頂層設(shè)計(jì)到地方人工智能行動方案，算法影響評估制度已作為一項(xiàng)核心制度被明確提出。例如，新近頒布的《關(guān)于建設(shè)人工智能上海高地 構(gòu)建一流創(chuàng)新生態(tài)的行動方案（2019-2021）》就明確提出建立人工智能風(fēng)險(xiǎn)評估和法治監(jiān)管體系。由此可見，算法影響評估制度不僅已經(jīng)成為各國立法者競相關(guān)注的焦點(diǎn)，而且還成為人工智能未來監(jiān)管框架的重要起點(diǎn)。但面對日益迫切的制度建構(gòu)需求，我國學(xué)界對于算法影響評估制度的研究卻很薄弱。本文擬聚焦算法影響評估制度，系統(tǒng)梳理其制度優(yōu)勢，對比挖掘域外方案，提煉制度構(gòu)建的核心機(jī)理，為探索建立中國方案奠定有益的理論基礎(chǔ)。

二、算法影響評估制度的治理優(yōu)勢

算法影響評估制度是指依據(jù)系統(tǒng)制定的衡量標(biāo)準(zhǔn)對自動化決策系統(tǒng)的應(yīng)用流程、數(shù)據(jù)使用和系統(tǒng)設(shè)計(jì)等內(nèi)容進(jìn)行系統(tǒng)評判，以明確該系統(tǒng)的影響水平和風(fēng)險(xiǎn)等級的一種算法治理實(shí)踐。從技術(shù)運(yùn)行機(jī)理和算法治理目標(biāo)看，算法影響評估制度具有下列3項(xiàng)核心優(yōu)勢。

（一）創(chuàng)制合理的算法透明度并構(gòu)筑算法信任

在算法對社會不斷重建的過程中，個性化和效率性的增加還伴隨著多元風(fēng)險(xiǎn)，致使決策透明度和可控性下降，甚至形成“黑箱社會”。降低算法決策透明度的根源主要有3個方面：其一，傳統(tǒng)的知識產(chǎn)權(quán)和商業(yè)秘密制度成了算法開發(fā)者和部署者對抗算法問責(zé)的有力武器；其二，算法開發(fā)者和設(shè)計(jì)者因受到商業(yè)利益的驅(qū)動而具有將算法模型不斷復(fù)雜化、黑箱化的內(nèi)在激勵；其三，現(xiàn)有算法治理框架未能準(zhǔn)確捕捉算法運(yùn)行的內(nèi)在機(jī)理，將算法決策的合法化審查轉(zhuǎn)變?yōu)楦∮谛问降暮弦?guī)化管理。算法決策因此變得難以審查。

算法影響評估制度采用全周期視角，以中立、專業(yè)、可信的評估主體為保證，對算法設(shè)計(jì)、部署、運(yùn)行的全部流程予以動態(tài)評估，要求算法系統(tǒng)在用于商業(yè)以及公共事業(yè)場景前就接受獨(dú)立的社會技術(shù)分析。其猶如一把利劍，精準(zhǔn)刺破了“黑箱社會”的神秘面紗，創(chuàng)制合理的算法透明度并構(gòu)筑算法信任。首先，算法影響評估制度從程序和實(shí)質(zhì)兩個方面創(chuàng)建了合理的算法透明度，擺脫了算法設(shè)計(jì)者妄想藏匿于知識產(chǎn)權(quán)和商業(yè)秘密制度屏障后，從而試圖逃避算法責(zé)任的治理難題。一方面，算法影響評估制度建立了程序性的評估機(jī)制，賦予利益相關(guān)主體以程序性保障和參與渠道，從而創(chuàng)建了算法決策運(yùn)行過程中的信任溝通機(jī)制，增加了算法決策的適當(dāng)性。另一方面，算法影響評估制度從實(shí)質(zhì)層面預(yù)先識別和系統(tǒng)跟蹤算法內(nèi)置或者潛在偏誤，增加算法運(yùn)行系統(tǒng)的可追溯性、穩(wěn)健性和準(zhǔn)確性。其次，算法影響評估標(biāo)準(zhǔn)的建立可以促使研發(fā)主體以負(fù)責(zé)任的態(tài)度對系統(tǒng)進(jìn)行開發(fā)，在系統(tǒng)設(shè)計(jì)之初就預(yù)估其可能產(chǎn)生的風(fēng)險(xiǎn)，在運(yùn)行過程中也實(shí)時檢測系統(tǒng)是否按照預(yù)期穩(wěn)定運(yùn)行，由此弱化算法開發(fā)者和設(shè)計(jì)者不斷將設(shè)計(jì)復(fù)雜化、“黑箱化”的不良激勵。最后，算法影響評估制度還將法律和行業(yè)規(guī)范與各項(xiàng)治理標(biāo)準(zhǔn)有機(jī)結(jié)合，形成細(xì)化可行的評估框架，解決算法問責(zé)制流于形式的治理難題，促使各科技公司強(qiáng)化現(xiàn)有控制流程，實(shí)現(xiàn)更高效率的風(fēng)險(xiǎn)管理，將算法影響評估制度內(nèi)嵌于技術(shù)開發(fā)、流程管理和實(shí)際應(yīng)用的全過程。通過多管齊下，算法影響評估制度既增加了算法決策在多元應(yīng)用場景中的適當(dāng)性和可接受性，又有助于營造可信賴的人工智能應(yīng)用生態(tài)，推動“黑箱社會”轉(zhuǎn)變?yōu)椤帮@式社會”，從根本上構(gòu)建算法信任。

（二）助力場景化和精準(zhǔn)化的算法治理

人工智能時代的治理邏輯已經(jīng)發(fā)生全方位的深度變革，單一框架的治理路徑漸被拋棄，一種基于場景化、精細(xì)化的治理實(shí)踐已經(jīng)出現(xiàn)。例如，2020年歐盟《人工智能白皮書》就明確提出應(yīng)當(dāng)在應(yīng)用場景、部署目的、安全保護(hù)、消費(fèi)者利益和基本權(quán)利5個維度建立基于風(fēng)險(xiǎn)的五級監(jiān)管體系，清晰區(qū)分各類人工智能應(yīng)用的評估標(biāo)準(zhǔn)，實(shí)施差異化監(jiān)管。場景化、精準(zhǔn)化的算法治理，意味著各算法應(yīng)用所涉及的治理目標(biāo)、治理工具和治理內(nèi)容有所不同，與具體關(guān)涉到的主體、行為、規(guī)范、價(jià)值具有復(fù)雜的匹配關(guān)系；其是將技術(shù)應(yīng)用場景中的各方利益和社會影響不斷加以明晰的過程，是事實(shí)與規(guī)范的精準(zhǔn)細(xì)化和科學(xué)組合。

正如有的學(xué)者所言：“治理活動就是一種場景化行動。一旦某種特定的場景被建構(gòu)起來，支撐場景化行動的治理技術(shù)就有了自主性，成為治理場景的有機(jī)組成部分?！?在算法治理領(lǐng)域，算法影響評估制度是場景化、精準(zhǔn)化算法治理框架的核心實(shí)現(xiàn)路徑，可以幫助開發(fā)者、設(shè)計(jì)者、部署者以及公眾等利益相關(guān)方清晰理解算法設(shè)計(jì)與應(yīng)用程序所應(yīng)配備的治理和監(jiān)管要求。算法影響評估制度還有助于在算法權(quán)利配置和責(zé)任承擔(dān)方面建立依據(jù)具體場景而觸發(fā)的精細(xì)化標(biāo)準(zhǔn)和規(guī)則，準(zhǔn)確提煉算法應(yīng)用場景中具有普遍性的治理需求，使復(fù)雜多元的算法應(yīng)用既滿足共性化的設(shè)計(jì)、部署和運(yùn)行標(biāo)準(zhǔn)，又可以達(dá)致精準(zhǔn)化的個性化適配。對于社會嵌入性強(qiáng)、預(yù)期風(fēng)險(xiǎn)較大的算法應(yīng)用而言，算法影響評估制度還可以顯著增加系統(tǒng)的可控性、透明度和穩(wěn)健性。

（三）有效聯(lián)結(jié)數(shù)據(jù)保護(hù)影響評估制度

在自動化決策系統(tǒng)運(yùn)行過程中，算法與數(shù)據(jù)緊密相連，共同在場景應(yīng)用中發(fā)揮作用。在設(shè)計(jì)和運(yùn)行環(huán)節(jié)，若沒有海量、可靠的數(shù)據(jù)喂養(yǎng)和支撐，則再好的算法設(shè)計(jì)也如空中樓閣；但僅有海量數(shù)據(jù)，如果缺乏具有高度解析能力的算法進(jìn)行高效分析和挖掘，那么海量數(shù)據(jù)也可能被浪費(fèi)，難以得到有效應(yīng)用。因此，在網(wǎng)絡(luò)治理領(lǐng)域，數(shù)據(jù)保護(hù)影響評估制度與算法影響評估制度相輔相成，互為補(bǔ)充，構(gòu)成算法問責(zé)制的一體兩翼。二者制度設(shè)計(jì)的內(nèi)在機(jī)理存在諸多相同之處，如以項(xiàng)目而非組織為執(zhí)行基礎(chǔ)，具有事先預(yù)期性而非回溯性特質(zhì)，具有動態(tài)性和持續(xù)性，評估系統(tǒng)和數(shù)據(jù)使用的影響和風(fēng)險(xiǎn)等，但二者的制度設(shè)計(jì)也存在諸多不同之處。這使得僅依靠數(shù)據(jù)保護(hù)影響評估制度難以解決自動化決策系統(tǒng)在運(yùn)行過程中存在的歧視、偏誤、不透明等治理難題。因此，就自動化決策系統(tǒng)而言，算法影響評估制度不僅可以有效聯(lián)結(jié)數(shù)據(jù)保護(hù)影響評估制度，而且還能從以下兩個方面彌補(bǔ)其不足。首先，有效彌補(bǔ)了數(shù)據(jù)保護(hù)影響評估制度中協(xié)同治理架構(gòu)設(shè)計(jì)的不足。以《通用數(shù)據(jù)保護(hù)條例》為例，數(shù)據(jù)保護(hù)影響評估制度主要立足于數(shù)據(jù)控制者運(yùn)行的內(nèi)部層面。雖然《通用數(shù)據(jù)保護(hù)條例》第35（9）條規(guī)定：“在適當(dāng)情況下控制者在不影響商業(yè)利益保護(hù)、公共利益保護(hù)或者處理操作安全的情況下，應(yīng)當(dāng)就將要進(jìn)行的處理向數(shù)據(jù)主體或者代表尋求意見”，第36（1）條規(guī)定：“若根據(jù)本條例第35條的規(guī)定進(jìn)行的數(shù)據(jù)保護(hù)影響評估表明，若控制者不采取措施降低風(fēng)險(xiǎn)，處理將帶來高風(fēng)險(xiǎn)，數(shù)據(jù)控制者應(yīng)當(dāng)在處理數(shù)據(jù)之前與監(jiān)管機(jī)構(gòu)進(jìn)行事先協(xié)商。但并未強(qiáng)制性地要求外部法律、社會或者數(shù)據(jù)安全領(lǐng)域的專家實(shí)施獨(dú)立監(jiān)督，也并未要求評估過程接受公共機(jī)構(gòu)監(jiān)督。這種制度設(shè)計(jì)雖然體現(xiàn)了對數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的關(guān)注，但對協(xié)同治理實(shí)踐的關(guān)注有所不足，對社會和經(jīng)濟(jì)影響的評估亦有所欠缺。與數(shù)據(jù)保護(hù)影響評估制度相比，算法影響評估制度不僅要求設(shè)計(jì)者、部署者和運(yùn)行者對算法設(shè)計(jì)和相關(guān)數(shù)據(jù)展開系統(tǒng)評估，而且還要求在評估過程中納入外部問責(zé)和審計(jì)力量，全面踐行協(xié)同治理理念，相比較而言具有更為完善的治理架構(gòu)。其次，有效解決改進(jìn)數(shù)據(jù)保護(hù)影響評估制度中公眾披露不足的問題。在數(shù)據(jù)保護(hù)影響評估制度中，雖然立法和相關(guān)指南推薦數(shù)據(jù)控制者對評估結(jié)果予以公布，但并不強(qiáng)求其公布評估文件和流程信息，可以僅公布核心概要。在數(shù)據(jù)和算法治理實(shí)踐中，由于一定程度的公眾參與和公開披露已被廣泛視為構(gòu)成有效治理的核心要素，因此，算法影響評估制度基于差異化場景建立合理透明度，尤其是對公共事業(yè)場景中高風(fēng)險(xiǎn)的自動化決策系統(tǒng)建立嚴(yán)格的公開披露制度，可以有效補(bǔ)齊數(shù)據(jù)保護(hù)影響評估制度中公眾披露不足的短板。

三、算法影響評估制度的構(gòu)建機(jī)理

在技術(shù)領(lǐng)域，算法影響評估是指對自動化決策系統(tǒng)的穩(wěn)健性、公平性和可解釋性等特性進(jìn)行的評估。其目標(biāo)是設(shè)定系統(tǒng)的運(yùn)行邊界和使用周期，創(chuàng)建系統(tǒng)設(shè)計(jì)者對運(yùn)行結(jié)果負(fù)責(zé)的切入點(diǎn)。但在算法治理領(lǐng)域，由于算法架構(gòu)、應(yīng)用領(lǐng)域、治理框架和治理邏輯等不同，因此存在多個版本的制度設(shè)計(jì)和提案。本文擬選取美國和加拿大的算法影響評估制度作為代表性的立法樣本，從應(yīng)用領(lǐng)域、協(xié)調(diào)機(jī)制、評估標(biāo)準(zhǔn)和評估工具4個方面系統(tǒng)梳理其核心構(gòu)建機(jī)理。

（一）以公共事業(yè)場景為核心應(yīng)用領(lǐng)域

現(xiàn)代治理的復(fù)雜性和信息科技的廣泛應(yīng)用極大推動了現(xiàn)代“行政國”向“自動化行政國”的全面轉(zhuǎn)化。從立法、執(zhí)法到司法，從資源分配、戰(zhàn)略部署到責(zé)任認(rèn)定，一系列公共決策正由算法輔助乃至替代執(zhí)行。與此伴隨而來的是算法歧視、算法霸權(quán)等算法適用危機(jī)。這些危機(jī)共同指向3個治理難題：首先，公共事業(yè)領(lǐng)域的算法應(yīng)用攸關(guān)公共利益。一旦發(fā)生決策失誤，就可能帶來系統(tǒng)性社會風(fēng)險(xiǎn)。其次，算法決策偏誤引發(fā)的權(quán)益損失目前尚無高效、可行的配套救濟(jì)措施。例如，公民在被算法系統(tǒng)錯誤標(biāo)記后，很難通過高效的方式自證清白并迅速恢復(fù)信譽(yù)。相反，其可能反復(fù)遭受歧視或者錯誤待遇。最后，由于算法模型架構(gòu)復(fù)雜，因此應(yīng)用于公共事業(yè)場景時難以保障相關(guān)人知情、參與、異議和救濟(jì)性權(quán)利，外部主體難以在傳統(tǒng)制度框架下進(jìn)行有效的算法問責(zé)。針對這些治理痛點(diǎn)，美國和加拿大兩國率先行動，首先聚焦于公共事業(yè)場景中的算法影響評估制度，希冀以此提升行政領(lǐng)域的算法治理實(shí)踐。

2018年10月，美國紐約市率先頒布《算法問責(zé)法》，揭開了美國在算法治理領(lǐng)域的立法篇章。該法明確規(guī)定行政機(jī)構(gòu)以及慈善團(tuán)體應(yīng)用自動化決策系統(tǒng)時應(yīng)當(dāng)接受自動化決策系統(tǒng)工作組在公正性、可問責(zé)性和透明度等方面的評估。與紐約市的立法類似，2019年華盛頓州提出的S.B.5527和H.B.1655法案以及加利福尼亞州的S.B.444法案也明確規(guī)定政府和公共實(shí)體機(jī)構(gòu)在公共事業(yè)場景應(yīng)用自動化決策系統(tǒng)應(yīng)當(dāng)進(jìn)行算法影響評估。2019年，加拿大政府頒布《自動化決策指令》，以透明、問責(zé)、合法、程序公正等核心行政法原則為指引，系統(tǒng)構(gòu)建算法影響評估制度。該指令聚焦公共事業(yè)場景，主要適用于聯(lián)邦行政機(jī)構(gòu)以及為政府服務(wù)的外部主體利用自動化決策系統(tǒng)作出行政決定的情形。雖然美國和加拿大兩國在微觀層面的制度設(shè)計(jì)有所不同，但算法影響評估制度均率先在公共事業(yè)場景適用。其核心目的都在于通過系統(tǒng)評估和識別自動化決策系統(tǒng)在公共事業(yè)場景對個人和團(tuán)體的潛在影響和風(fēng)險(xiǎn)，為公眾和外部主體審查和稽核算法奠定基礎(chǔ)，并為探索精準(zhǔn)化、場景化的算法治理框架提供決策依據(jù)。

（二）以框架式治理和協(xié)同治理為實(shí)現(xiàn)路徑

人工智能技術(shù)的創(chuàng)新具有迅速迭代性。算法作為人工智能技術(shù)鏈的源頭更是如此。算法技術(shù)日益攀升的發(fā)展速率和不斷復(fù)雜多元的應(yīng)用場景使得立法者只能處于被動追趕的艱難境地。觀察美國和加拿大立法者對于算法影響評估制度的構(gòu)建策略可知，雖然微觀規(guī)則設(shè)計(jì)各有特色，但均采用框架式治理和協(xié)同治理的思路，在充分考慮技術(shù)發(fā)展速率和應(yīng)用復(fù)雜性的基礎(chǔ)上，積極嘗試建立一種動態(tài)開放、自我演化的算法治理機(jī)制。所謂框架式治理，是指在確定性的法律規(guī)則之外，以可度量、可標(biāo)定、可操作、可區(qū)分的分級化指標(biāo)、標(biāo)準(zhǔn)和清單為基礎(chǔ)，構(gòu)建起約束相關(guān)主體認(rèn)知和行為框架的治理方式，可以為分級化、場景化、精確化的算法治理實(shí)踐提供決策基礎(chǔ)。算法治理實(shí)踐中的協(xié)同治理則是指突破傳統(tǒng)政府主導(dǎo)的線性管理模式，借助行業(yè)代表、外部專家和社會公眾等多元力量，對算法應(yīng)用予以解釋、評估、監(jiān)測和完善的治理策略?？梢哉f，算法影響評估制度預(yù)示著人工智能治理實(shí)踐開始跨越傳統(tǒng)孤立式的單線治理模式，向以協(xié)同化、立體化、框架化、精準(zhǔn)化為特質(zhì)的多元治理模式的深度轉(zhuǎn)變。

在實(shí)施路徑上，依據(jù)《算法問責(zé)法》，紐約市成立了自動化決策工作組，由市長辦公室主任主持，同時由市長數(shù)據(jù)分析辦公室首席分析官和人權(quán)委員會戰(zhàn)略計(jì)劃專員聯(lián)席負(fù)責(zé)。工作組的成員由各相關(guān)政府機(jī)構(gòu)和辦公室、企業(yè)和行業(yè)、非營利組織、算法和數(shù)據(jù)領(lǐng)域的專家等共計(jì)17名成員組成。為增加規(guī)則的可操作性，工作組自成立以來就制定了認(rèn)定某一工具或者系統(tǒng)是否屬于行政機(jī)構(gòu)自動化決策系統(tǒng)的自檢清單，以清晰界定應(yīng)當(dāng)適用的系統(tǒng)類型。清單和標(biāo)準(zhǔn)相互結(jié)合的方式不僅有助于規(guī)則的持續(xù)更新，而且在技術(shù)上可度量、可標(biāo)定，在具體適用層面可觀測、可區(qū)分。在具體表現(xiàn)形式上，該清單以詳細(xì)問卷的方式對機(jī)器學(xué)習(xí)、數(shù)據(jù)處理、人工智能技術(shù)和公眾影響等術(shù)語作以引導(dǎo)式規(guī)定。參評主體可以通過依次回答問卷所列問題從而得出是否應(yīng)當(dāng)適用該法的結(jié)論。美國聯(lián)邦《算法問責(zé)法案》則采取自我評估和政府評估雙軌并行的路徑。依據(jù)該法案的規(guī)定，聯(lián)邦貿(mào)易委員會作為主管行政機(jī)構(gòu)頒布和制定評估標(biāo)準(zhǔn)。對適用該法的實(shí)體而言，應(yīng)當(dāng)按照法案規(guī)定的評估標(biāo)準(zhǔn)展開影響評估。對屬于法案中規(guī)定的“高風(fēng)險(xiǎn)自動化決策系統(tǒng)”，由聯(lián)邦貿(mào)易委員會在認(rèn)為必要時與獨(dú)立的稽核人員、技術(shù)專家咨詢合作展開評估。加拿大《自動化決策指令》同樣采用清單式和問卷式評估框架，通過設(shè)定60個與自動化決策系統(tǒng)業(yè)務(wù)流程、數(shù)據(jù)和設(shè)計(jì)相關(guān)的問題，以計(jì)分卡的形式得出初始評估結(jié)論并設(shè)定細(xì)化的協(xié)同評估方案。依據(jù)評估后對社會和公民的影響程度，自動化決策系統(tǒng)會受到來自國家研究委員會、統(tǒng)計(jì)局或者通訊安全機(jī)構(gòu)的專家、高等教育機(jī)構(gòu)的研究人員、具有相關(guān)專業(yè)知識的第三方合同供應(yīng)商、國庫委員會秘書處數(shù)據(jù)和自動化咨詢委員會以及同行評審的組合性評估。為確保評估規(guī)定符合最新算法實(shí)踐，該指令采用動態(tài)治理思路，每隔6個月就會對評估標(biāo)準(zhǔn)和治理框架進(jìn)行必要更新。由此可見，在算法影響評估機(jī)制的構(gòu)建環(huán)節(jié)，明晰的概念界定和量化可行的評估標(biāo)準(zhǔn)是保證治理實(shí)效的重要起點(diǎn)，外部專家和公眾力量的多元化實(shí)質(zhì)參與是確保其動態(tài)更新、自我演化的關(guān)鍵路徑。框架式和協(xié)同式治理機(jī)制的構(gòu)建，深度契合人工智能技術(shù)的運(yùn)行機(jī)理，有助于科學(xué)有效地開展算法影響評估并精準(zhǔn)辨識應(yīng)予適用的監(jiān)管框架。

（三）以技術(shù)架構(gòu)、影響維度和問責(zé)制構(gòu)建差異化評估框架

以美國和加拿大為代表的算法影響評估方案雖各具特色、各有側(cè)重，但在構(gòu)建邏輯上不約而同地反映了推動技術(shù)創(chuàng)新以及促進(jìn)技術(shù)應(yīng)用公平、公正、問責(zé)和透明的治理共識。通過詳細(xì)對比以美國聯(lián)邦《算法問責(zé)法案》為代表的5部美國立法和加拿大《自動化決策指令》，可以發(fā)現(xiàn)立法者以“技術(shù)架構(gòu)、影響維度和問責(zé)制”為核心支撐，構(gòu)成三位一體、互有補(bǔ)充的閉環(huán)評估框架，聚焦差異化、場景化和精準(zhǔn)化的算法影響評估實(shí)踐。

首先，以技術(shù)架構(gòu)為基礎(chǔ)維度，采用事前、事中、事后的全周期視角設(shè)定技術(shù)評估指標(biāo)體系。通過比較發(fā)現(xiàn)，以技術(shù)架構(gòu)為評估維度，立法者多以技術(shù)設(shè)計(jì)效率性和應(yīng)用目的合法性、技術(shù)架構(gòu)復(fù)雜性、系統(tǒng)執(zhí)行任務(wù)類型、數(shù)據(jù)使用特性、技術(shù)所有權(quán)、技術(shù)運(yùn)行監(jiān)測機(jī)制、系統(tǒng)可解釋性、系統(tǒng)精確度、技術(shù)性和物力性保障措施等內(nèi)容構(gòu)建核心評估指標(biāo)。例如，紐約市自動化決策工作組的官方指南指出，應(yīng)當(dāng)依據(jù)系統(tǒng)執(zhí)行的任務(wù)類型、核心技術(shù)組件復(fù)雜性、對個人可識別信息的使用程度、系統(tǒng)解釋能力、部署系統(tǒng)緊迫性、系統(tǒng)預(yù)期效率等核心指標(biāo)對技術(shù)架構(gòu)特性進(jìn)行評估。與這一立法思路類似，美國聯(lián)邦《算法問責(zé)法案》亦從技術(shù)架構(gòu)切入，明確提出“自動化終局決策系統(tǒng)”與“自動化輔助決策系統(tǒng)”的區(qū)分，并結(jié)合技術(shù)新穎性、決策應(yīng)用范圍、背景和用途，以及所涉數(shù)據(jù)和個人信息的敏感程度建立技術(shù)維度評估指標(biāo)。

其次，采用場景治理和精準(zhǔn)治理的思路，以影響主體、影響范圍、影響程度為基礎(chǔ)，建立基于影響維度的評估指標(biāo)體系。在影響維度指標(biāo)的設(shè)定過程中，各國立法者還嵌入了算法治理實(shí)踐所要維護(hù)的社會核心價(jià)值。以加拿大《自動化決策指令》為例，由于立法者十分關(guān)注自動化決策系統(tǒng)在經(jīng)濟(jì)、社會和生態(tài)等方面的影響，因此以系統(tǒng)對個人或者團(tuán)體在基本權(quán)利、健康福祉、經(jīng)濟(jì)利益以及環(huán)境生態(tài)方面的影響建立評估指標(biāo)。為進(jìn)一步精準(zhǔn)匹配影響等級和監(jiān)管義務(wù)，立法者以風(fēng)險(xiǎn)為基礎(chǔ)將評估后的影響等級劃分為可逆和短暫性影響、可逆和短期性影響、難以逆轉(zhuǎn)且持續(xù)不斷性影響以及不可逆轉(zhuǎn)且永久性影響4個等級。受媒體報(bào)道等公共議程的影響，美國立法更多聚焦于自動化決策系統(tǒng)對公平、偏見、歧視、隱私和安全等核心價(jià)值的影響。例如，美國聯(lián)邦《算法問責(zé)法案》中自動化決策系統(tǒng)影響評估條款（C）項(xiàng)就規(guī)定應(yīng)當(dāng)評估系統(tǒng)對消費(fèi)者個人信息和隱私以及安全構(gòu)成的風(fēng)險(xiǎn)，同時應(yīng)評估自動化決策系統(tǒng)可能引致消費(fèi)者遭遇不公、偏見和歧視性決策的風(fēng)險(xiǎn)。紐約市則以自動化系統(tǒng)潛在影響的性質(zhì)和程度、潛在影響的持續(xù)時間、任何類型的已知或者潛在風(fēng)險(xiǎn)，包括可能帶來的差別性影響或者偏見、對網(wǎng)絡(luò)安全、隱私或者個人對關(guān)鍵信息的受限訪問等為基準(zhǔn)建立影響維度的評估指標(biāo)體系。

最后，圍繞透明度、合法性、公平和公正等核心價(jià)值建立基于算法問責(zé)制維度的評估指標(biāo)體系。具體而言，算法問責(zé)制維度的評估指標(biāo)可被進(jìn)一步細(xì)分為防治不良影響的技術(shù)措施、權(quán)利救濟(jì)渠道、算法透明度實(shí)現(xiàn)機(jī)制3個層面。以2019年美國聯(lián)邦《算法問責(zé)法案》第2條為例，第(b)(iii)和(iv)項(xiàng)規(guī)定應(yīng)當(dāng)評估消費(fèi)者獲得自動化決策系統(tǒng)相關(guān)信息以及查閱運(yùn)行結(jié)果并對其進(jìn)行更正或者反對的難易程度；該條(d)款規(guī)定：“應(yīng)當(dāng)評估所涉主體為減少自動化決策系統(tǒng)對消費(fèi)者隱私或者安全風(fēng)險(xiǎn)以及可能導(dǎo)致的偏誤和歧視風(fēng)險(xiǎn)而采取的技術(shù)性和物力性保障措施”。由此可見，立法者是遵循技術(shù)防治、權(quán)利救濟(jì)的思路來具體設(shè)定問責(zé)維度的評估指標(biāo)體系的。加拿大《自動化決策指令》設(shè)定的評估指標(biāo)，重點(diǎn)強(qiáng)調(diào)數(shù)據(jù)質(zhì)量問題檢測流程、系統(tǒng)設(shè)計(jì)、開發(fā)、維護(hù)和改進(jìn)的歸責(zé)機(jī)制和措施以及規(guī)范檢測數(shù)據(jù)偏差等技術(shù)防治措施。加拿大《自動化決策指令》從評估決定的通知和公布、決策后提供解釋、訪問組件、政府對所有已發(fā)布專有組件審計(jì)、調(diào)查、檢查保留權(quán)、源代碼發(fā)布等算法透明度措施加以規(guī)定。

綜上所述，美國和加拿大的立法者以技術(shù)架構(gòu)、影響維度和算法問責(zé)制為核心，構(gòu)建了三位一體、互有補(bǔ)充、同向發(fā)力的算法影響評估框架。雖然具體指標(biāo)各有側(cè)重，但均以建立差異化、場景化、精準(zhǔn)化的算法治理框架為建構(gòu)宗旨。因此，紐約市自動化決策工作組提出應(yīng)盡快制定優(yōu)先性指南，提出關(guān)鍵概念和原則，對最重要的工具和系統(tǒng)按照優(yōu)先級展開評估。加拿大的立法更為系統(tǒng)和精確，依據(jù)影響評估后獲得的4個風(fēng)險(xiǎn)等級，從同行評審、通知、人際回圈決策、解釋要求、測試要求、檢測、訓(xùn)練、應(yīng)急計(jì)劃和系統(tǒng)運(yùn)行批準(zhǔn)共9個方面，形成了具有精確性、協(xié)同性和系統(tǒng)性特征的治理框架，為場景化、精準(zhǔn)化算法治理愿景提供了有益的范本。

（四）以敏捷治理思路打造智能評估工具

面對監(jiān)管資源稀缺、監(jiān)管對象復(fù)雜的挑戰(zhàn)，監(jiān)管者亟須開發(fā)和嘗試新的思路，合理設(shè)定監(jiān)管閾值，在科技創(chuàng)新與風(fēng)險(xiǎn)控制之間尋求良好的平衡。因此，以創(chuàng)建具有柔韌性、流動性、靈活性和適應(yīng)性監(jiān)管框架為宗旨，以實(shí)現(xiàn)監(jiān)管目標(biāo)多元平衡、監(jiān)管過程動態(tài)優(yōu)化以及監(jiān)管工具靈活轉(zhuǎn)換的敏捷治理理念應(yīng)運(yùn)而生。在這一理念的引領(lǐng)之下，各國算法影響評估制度重點(diǎn)對監(jiān)管工具進(jìn)行了智能化革新，以數(shù)字化、實(shí)時性、可擴(kuò)展性和智能化為目標(biāo)，運(yùn)用技術(shù)手段對評估工具進(jìn)行深度的改進(jìn)。

以加拿大《自動化決策指令》為例，立法者運(yùn)用動態(tài)編程語言創(chuàng)建開源性算法影響評估模型，以系統(tǒng)類別和目的、決策效用類型、決策解釋性、系統(tǒng)潛在影響檢測機(jī)制、公眾回應(yīng)和投訴機(jī)制等類別生成評估所需要的系列問題，依據(jù)該指令附錄C的評估要求按照每類問題的重要性精確設(shè)定權(quán)重。例如，評估模型將自動化決策系統(tǒng)對社會、經(jīng)濟(jì)和政府影響的權(quán)重設(shè)定得更高，大于其對數(shù)據(jù)管理實(shí)踐和程序公平性影響的權(quán)重。在每個類別項(xiàng)下，每一具體問題又相應(yīng)配比風(fēng)險(xiǎn)系數(shù)，依據(jù)不同的答案選項(xiàng)單獨(dú)設(shè)定評分編碼，據(jù)此生成5個類別的加總得分。參與者僅需花費(fèi)35分鐘即可利用該評估模型完成一項(xiàng)評估，得出參評系統(tǒng)影響風(fēng)險(xiǎn)所在等級的精確指引，既便于監(jiān)管者和設(shè)計(jì)者追蹤風(fēng)險(xiǎn)產(chǎn)生的具體環(huán)節(jié)，又可依據(jù)影響等級精準(zhǔn)化地確定應(yīng)履行的程序性義務(wù)。當(dāng)自動化決策系統(tǒng)的功能或者應(yīng)用場景發(fā)生改變時，評估模型會依據(jù)新的因素及時更新。

通過對核心應(yīng)用領(lǐng)域、評估實(shí)現(xiàn)路徑、指標(biāo)設(shè)計(jì)邏輯和評估運(yùn)行工具的深入分析，可以發(fā)現(xiàn)不同國家的制度設(shè)計(jì)方案雖各具特色，但仍然反映了人工智能治理框架和規(guī)范構(gòu)建的核心共識和發(fā)展規(guī)律。對這些有益實(shí)踐的科學(xué)借鑒，既有助于我國算法治理體系的建立和完善，又為探索更為人性化、場景化、精準(zhǔn)化和敏捷化的人工智能治理框架奠定了重要的基礎(chǔ)。

四、中國算法影響評估制度的構(gòu)建方案

全球人工智能發(fā)展已經(jīng)邁入新階段。為促進(jìn)新一代人工智能健康發(fā)展，2019年6月，我國國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》（以下簡稱《治理原則》），提出了我國人工智能的治理框架和行動指南?！吨卫碓瓌t》不僅強(qiáng)調(diào)了人工智能的可問責(zé)性，而且還提出了公平公正、尊重隱私、安全可控、開放協(xié)作、敏捷治理等8項(xiàng)重要原則。這些原則既體現(xiàn)了在新一輪科技革命中我國作為人工智能發(fā)展大國的責(zé)任與擔(dān)當(dāng)，充分展現(xiàn)了我國科技創(chuàng)新政策體系的建設(shè)能力，又為實(shí)現(xiàn)創(chuàng)新型國家和世界科技強(qiáng)國愿景提供了堅(jiān)實(shí)的制度基礎(chǔ)。目前，人工智能全球治理已經(jīng)在規(guī)則制定層面展開博弈，以美國、加拿大和英國為代表，多國立法者已經(jīng)在算法影響評估領(lǐng)域率先布局，旨在占據(jù)國際標(biāo)準(zhǔn)和治理規(guī)則制定議程中的優(yōu)勢地位。2019年8月，美國商務(wù)部國家標(biāo)準(zhǔn)和技術(shù)研究所發(fā)布了美國聯(lián)邦參與制定技術(shù)標(biāo)準(zhǔn)的詳細(xì)計(jì)劃，確定了9個人工智能技術(shù)標(biāo)準(zhǔn)領(lǐng)域，其中對人工智能安全、風(fēng)險(xiǎn)管理以及可解釋性和安全性方面施以特別關(guān)注；該計(jì)劃還特別提到3個“非技術(shù)性”的人工智能標(biāo)準(zhǔn)，包括社會和道德相關(guān)、治理相關(guān)以及隱私相關(guān)的標(biāo)準(zhǔn)。2020年歐盟《人工智能白皮書》明確提出歐洲尚缺乏共同的人工智能監(jiān)管框架，應(yīng)當(dāng)盡快建立基于風(fēng)險(xiǎn)和場景的應(yīng)用風(fēng)險(xiǎn)等級評估，構(gòu)建卓越、可信的人工智能體系框架，重獲技術(shù)主權(quán)優(yōu)勢地位。由此可見，以算法影響評估制度為代表的人工智能領(lǐng)域立法具有國內(nèi)和國際層面的現(xiàn)實(shí)緊迫性，我國應(yīng)予以重點(diǎn)關(guān)注。作為人工智能的底層技術(shù)，算法影響評估制度已經(jīng)成為人工智能治理議程的源頭節(jié)點(diǎn)。鑒此，在厘清算法影響評估制度的核心優(yōu)勢以及對域外算法影響評估制度進(jìn)行審視和剖析的基礎(chǔ)上，本文結(jié)合我國人工智能產(chǎn)業(yè)發(fā)展和規(guī)制現(xiàn)狀、算法技術(shù)運(yùn)行邏輯、制度設(shè)計(jì)內(nèi)在機(jī)理和協(xié)同評估機(jī)制，提出構(gòu)建中國算法影響評估制度方案的3項(xiàng)建議。

（一）科學(xué)制定算法影響評估制度的構(gòu)建規(guī)劃和基本路徑

算法影響評估制度的現(xiàn)有立法樣本均體現(xiàn)了階段性、場景化、精準(zhǔn)化、類型化的創(chuàng)制思路。算法影響評估制度作為人工智能立法的先行領(lǐng)域，雖然具有較強(qiáng)的現(xiàn)實(shí)緊迫性，但立法者和監(jiān)管者應(yīng)審慎冷靜，從算法應(yīng)用現(xiàn)狀、核心治理目標(biāo)出發(fā)綜合確定優(yōu)先適用的核心領(lǐng)域和關(guān)鍵系統(tǒng)類型，科學(xué)合理地確定構(gòu)建規(guī)劃和基本路徑。

首先，應(yīng)當(dāng)根據(jù)我國自動化決策系統(tǒng)應(yīng)用現(xiàn)狀，以公共事業(yè)場景為先導(dǎo)，結(jié)合風(fēng)險(xiǎn)等級確定優(yōu)先適用的核心領(lǐng)域。就行業(yè)發(fā)展規(guī)律而言，我國算法技術(shù)應(yīng)用的價(jià)值鏈布局側(cè)重于技術(shù)層和應(yīng)用層，比較偏好技術(shù)相對成熟、應(yīng)用場景清晰的領(lǐng)域。具體到公共事業(yè)領(lǐng)域，對社會治理創(chuàng)新和國家治理現(xiàn)代化目標(biāo)的切實(shí)推進(jìn)促使政府端成為自動化決策系統(tǒng)切入智慧政務(wù)和公共安全應(yīng)用場景的主要平臺。例如，深圳市寶安區(qū)利用覆蓋全區(qū)的公共信用信息平臺集合所有法人、自然人的信用檔案形成信用畫像，同步實(shí)現(xiàn)自動推送信用信息、自動識別黑紅名單、自動提示獎懲依據(jù)、自動實(shí)施限制處理、自動反饋處理結(jié)果等信用聯(lián)合獎懲智能模式。除此以外，算法技術(shù)在智能安防、金融風(fēng)控、城建監(jiān)管、公共衛(wèi)生防治、警務(wù)預(yù)測和司法審判等先導(dǎo)領(lǐng)域也已經(jīng)得到廣泛適用。由于在這些領(lǐng)域應(yīng)用自動化決策系統(tǒng)，既可能會對經(jīng)濟(jì)、社會、生態(tài)產(chǎn)生重大影響，也可能會對個人和特定團(tuán)體的權(quán)利產(chǎn)生實(shí)質(zhì)影響，因此，處于算法應(yīng)用鏈條的高風(fēng)險(xiǎn)一端，具有優(yōu)先評估的現(xiàn)實(shí)緊迫性。在進(jìn)行具體的制度設(shè)計(jì)時，建議以“自上而下”的思路，系統(tǒng)評估算法應(yīng)用在我國公私領(lǐng)域的風(fēng)險(xiǎn)特征，以公共事業(yè)場景為基礎(chǔ)先導(dǎo)，結(jié)合風(fēng)險(xiǎn)等級確定優(yōu)先適用的關(guān)鍵領(lǐng)域。

其次，根據(jù)核心目標(biāo)、技術(shù)架構(gòu)和影響維度并結(jié)合已識別的關(guān)鍵領(lǐng)域來確定優(yōu)先和重點(diǎn)評估的關(guān)鍵系統(tǒng)類型。依據(jù)《治理原則》，結(jié)合人工智能治理的全球共識，我國應(yīng)當(dāng)圍繞公平公正、尊重隱私、安全可控、可信負(fù)責(zé)建立核心目標(biāo)，探索我國的算法影響評估標(biāo)準(zhǔn)。在以公共事業(yè)為先導(dǎo)的布局之下，結(jié)合技術(shù)架構(gòu)和影響維度來識別高風(fēng)險(xiǎn)應(yīng)用場景和系統(tǒng)類型并予以優(yōu)先評估。具體而言，應(yīng)當(dāng)以架構(gòu)復(fù)雜性、部署目的、任務(wù)類型、影響主體、影響范圍、影響程度、所涉數(shù)據(jù)和個人信息的敏感程度為基礎(chǔ)，探索建立識別高風(fēng)險(xiǎn)自動化決策系統(tǒng)的評估指標(biāo)體系。仍以社會信用治理實(shí)踐為例，不同治理環(huán)節(jié)所涉及的模型系統(tǒng)具有風(fēng)險(xiǎn)差異性：在信用畫像環(huán)節(jié)，可能涉及預(yù)測算法、機(jī)器學(xué)習(xí)、推薦算法、相似度計(jì)算、分類和聚類計(jì)算以及文本挖掘算法等多種算法技術(shù)和模型，實(shí)現(xiàn)決策執(zhí)行、決策輔助甚至代理決策等功能；而在信用信息推送、黑紅名單識別、獎懲依據(jù)自動提示、自動反饋處理結(jié)果等執(zhí)行環(huán)節(jié)，則普遍應(yīng)用語義分析、協(xié)同過濾等模型，多體現(xiàn)為純粹的決策執(zhí)行功能。后者與前者相比，對經(jīng)濟(jì)、社會和個人權(quán)利的影響程度有所不同。因此，信用畫像環(huán)節(jié)的自動化決策應(yīng)用應(yīng)當(dāng)被進(jìn)一步清晰識別為關(guān)鍵領(lǐng)域從而進(jìn)行優(yōu)先和重點(diǎn)評估，適用更嚴(yán)格的風(fēng)險(xiǎn)監(jiān)管要求。除此以外，系統(tǒng)部署的緊迫性、系統(tǒng)技術(shù)復(fù)雜程度、數(shù)據(jù)使用特性等重要指標(biāo)均應(yīng)容納在內(nèi)，作為共同識別關(guān)鍵領(lǐng)域和優(yōu)先重點(diǎn)評估系統(tǒng)類型的衡量標(biāo)準(zhǔn)?？傮w而言，除“自上而下”的思路之外，還應(yīng)“自下而上”地以核心價(jià)值目標(biāo)、技術(shù)架構(gòu)和影響維度為基準(zhǔn)，結(jié)合已識別的關(guān)鍵領(lǐng)域動態(tài)確定優(yōu)先和重點(diǎn)評估的關(guān)鍵系統(tǒng)類型，科學(xué)匹配評估指標(biāo)和風(fēng)險(xiǎn)管控等級。

（二）精細(xì)化制度設(shè)計(jì)并強(qiáng)化制度執(zhí)行實(shí)效

人工智能時代的技術(shù)建模和運(yùn)行模式以精細(xì)化、顆粒度為未來迭代方向。受益于數(shù)據(jù)深度挖掘技術(shù)的日益成熟，人工智能應(yīng)用更加注重投入產(chǎn)出比，更加注重精準(zhǔn)預(yù)測和精確分析，具有架構(gòu)復(fù)雜、場景多元、流程繁復(fù)等特質(zhì)。這就要求算法治理領(lǐng)域的規(guī)則設(shè)計(jì)更加精細(xì)化，治理秩序的建構(gòu)更具實(shí)效性。因此，有學(xué)者提出“個性化法律”理念，以充分考慮規(guī)制對象的異質(zhì)性、規(guī)則對場景的反饋性以及規(guī)則制定的精細(xì)性。具體到我國算法影響評估領(lǐng)域的規(guī)則構(gòu)建，重點(diǎn)應(yīng)考慮以下兩個方面。

首先，應(yīng)以精準(zhǔn)化治理為目標(biāo)推動算法影響評估制度的精細(xì)化設(shè)計(jì)。算法影響評估制度旨在通過建立科學(xué)合理的評估指標(biāo)對多元場景的算法應(yīng)用予以系統(tǒng)評估，為實(shí)行差異化、精準(zhǔn)化監(jiān)管奠定規(guī)則基礎(chǔ)。要實(shí)現(xiàn)這一目標(biāo)，尤為需要踐行科學(xué)化、精細(xì)化的制度建構(gòu)思路，避免因缺乏必要精度或者量化標(biāo)準(zhǔn)而使評估流于形式。目前各個版本的算法影響評估制度不同程度地面臨著精細(xì)化制度設(shè)計(jì)的挑戰(zhàn)。例如，算法影響評估制度需要對“風(fēng)險(xiǎn)”“重大利益關(guān)系”“責(zé)任”等關(guān)鍵概念進(jìn)行微觀制度設(shè)計(jì)。但目前域外立法對于這些關(guān)鍵概念仍然缺乏量化標(biāo)準(zhǔn)和必要精度，這導(dǎo)致評估量表中的諸多關(guān)鍵問題缺乏可操作性，進(jìn)而影響算法問責(zé)制的有效實(shí)施。因此，我國立法者應(yīng)秉持結(jié)構(gòu)細(xì)分、精度量化的設(shè)計(jì)思路，參考ISO31000風(fēng)險(xiǎn)管理標(biāo)準(zhǔn)等構(gòu)建策略，對關(guān)鍵概念進(jìn)行必要的量化和精準(zhǔn)設(shè)計(jì)。

其次，應(yīng)探索建立穩(wěn)定的執(zhí)行保障機(jī)制以確保制度執(zhí)行實(shí)效。如前所述，算法影響評估制度服務(wù)于人工智能治理創(chuàng)新的關(guān)鍵需求，是算法問責(zé)制有效建立的重要基礎(chǔ)。但美國紐約市的算法治理實(shí)踐表明，因缺乏有力的執(zhí)行保障機(jī)制，政府僅通過建立統(tǒng)一的評估框架來對算法應(yīng)用實(shí)踐予以引導(dǎo)，此種規(guī)制策略的效果不容樂觀。例如，在美國紐約市的算法影響評估實(shí)踐中，由于紐約市自動化決策工作組不具有明確的執(zhí)法權(quán)，法條中也未明晰拒絕執(zhí)行評估制度的主體應(yīng)當(dāng)承擔(dān)何種法律責(zé)任，因此造成制度難以長久產(chǎn)生實(shí)效的困境。以此為鑒，美國聯(lián)邦的立法通過明確授予美國聯(lián)邦貿(mào)易委員會根據(jù)《美國聯(lián)邦貿(mào)易委員會法》第5節(jié)關(guān)于欺騙性和不公平行為的規(guī)定以及授予其通過系統(tǒng)所在州總檢察長提起民事訴訟的權(quán)力，較好地回應(yīng)了實(shí)效不足的挑戰(zhàn)。加拿大《自動化決策指令》第7條也明確規(guī)定，如果不遵守該指令，那么可由財(cái)政委員會依據(jù)《金融管理法》采取適當(dāng)和可接受的任何措施。與此同時，依據(jù)《合規(guī)管理框架》，相應(yīng)的機(jī)構(gòu)和個人應(yīng)當(dāng)承擔(dān)相應(yīng)的法律后果。借鑒這些做法，我國立法者應(yīng)當(dāng)在規(guī)則設(shè)計(jì)時重視執(zhí)行保障機(jī)制的設(shè)立，細(xì)化未能有效履行評估義務(wù)的主體責(zé)任，科學(xué)借助算法公開制度賦予公眾的知情權(quán)和監(jiān)督權(quán)，適時設(shè)定專門機(jī)構(gòu)或者行政職位，為建立穩(wěn)定的執(zhí)行保障機(jī)制奠定組織基礎(chǔ)。

（三）合理構(gòu)建內(nèi)外兼具且激勵相容的協(xié)同評估機(jī)制

如前所述，美國紐約市是建立算法影響評估制度的先行者。推動其立法的一項(xiàng)核心動因在于非營利組織“為了人民”（ProPublica）于2016年5月發(fā)布的“機(jī)器偏差”調(diào)查報(bào)告。該報(bào)告重在評估和審查，對美國司法領(lǐng)域被告再犯風(fēng)險(xiǎn)預(yù)測和評估算法的潛在偏誤和種族歧視問題予以系統(tǒng)揭露。在“為了人民”組織（ProPublica）之外，依托紐約大學(xué)運(yùn)行的人工智能現(xiàn)代研究所作為跨學(xué)科機(jī)構(gòu)也對紐約市算法影響評估立法議程和實(shí)施機(jī)制進(jìn)行了有力的推動。因此，紐約市的算法影響評估制度呈現(xiàn)出政府主導(dǎo)、行業(yè)參與、團(tuán)體推動的協(xié)同評估特質(zhì)。這種內(nèi)外兼具的多元化協(xié)同機(jī)制既為公私場景中的算法影響評估實(shí)踐提供了制度靈活性和延展性，又從內(nèi)在機(jī)理上有效貼合算法設(shè)計(jì)者和運(yùn)行者的激勵機(jī)制，有助于知識產(chǎn)權(quán)、商業(yè)秘密和算法評估制度的兼容與調(diào)和。

在我國，《中華人民共和國數(shù)據(jù)安全法（草案）》第9條明確規(guī)定：“國家建立健全數(shù)據(jù)安全協(xié)同治理體系，推動有關(guān)部門、行業(yè)組織、企業(yè)和個人等共同參與數(shù)據(jù)安全保護(hù)工作，形成全社會共同維護(hù)數(shù)據(jù)安全和促進(jìn)發(fā)展的良好環(huán)境”?！吨腥A人民共和國個人信息保護(hù)法（草案）》［以下簡稱《個人信息保護(hù)法（草案）》］第11條亦明確規(guī)定：“國家……推動形成政府、企業(yè)、相關(guān)行業(yè)組織、社會公眾共同參與個人信息保護(hù)的良好環(huán)境?！庇纱丝梢姡瑹o論是在數(shù)據(jù)安全領(lǐng)域，還是在個人信息保護(hù)領(lǐng)域，探索內(nèi)外兼具、激勵相容的協(xié)同治理機(jī)制已成為我國在數(shù)據(jù)、算法等科技領(lǐng)域打造新型治理機(jī)制的重要抓手。但在實(shí)踐層面，這一理念尚未得到充分重視。例如，伴隨著2015年國家創(chuàng)建社會信用體系建設(shè)示范城市工作的腳步，杭州、蘇州、榮成等10多地政府都已推出體現(xiàn)地方信用治理特色的社會信用評分項(xiàng)目。以芝麻信用、騰訊征信、京東征信等為代表的第三方信用評估機(jī)構(gòu)提供的信用分以及以聯(lián)通和移動構(gòu)成的電信運(yùn)營商信用分漸次展開。但是，無論是城市個人信用分，還是第三方機(jī)構(gòu)的商業(yè)信用分，在制定、異議、救濟(jì)和評估環(huán)節(jié)均未向公眾提供參與渠道，第三方非營利組織的外部監(jiān)督和有效評估更為鮮見。例如，《福州市個人信用積分管理暫行辦法》第13條規(guī)定：“市信用辦應(yīng)定期對個人信用積分評價(jià)規(guī)則進(jìn)行修正、補(bǔ)充與完善，并向社會公布”。但這一規(guī)定僅對公布環(huán)節(jié)進(jìn)行了規(guī)定，而在指標(biāo)設(shè)定、權(quán)重計(jì)算、模型評估等設(shè)計(jì)環(huán)節(jié)卻付之闕如，凸顯出協(xié)同治理機(jī)制的缺失。

因此，以《個人信息保護(hù)法（草案）》的制定為契機(jī)，我國在立法中應(yīng)當(dāng)進(jìn)一步細(xì)化對算法影響評估制度多元化協(xié)同機(jī)制的具體設(shè)計(jì)和實(shí)施機(jī)制。首先，應(yīng)當(dāng)以評估優(yōu)先級為指引，建立政府主導(dǎo)的算法影響評估機(jī)制。具體而言，可以由國家互聯(lián)網(wǎng)信息管理部門作為牽頭機(jī)構(gòu)組建集中化、一體化的評估機(jī)制，按照前文提出的評估優(yōu)先級對高風(fēng)險(xiǎn)自動化系統(tǒng)開展定期評估。其次，由國家互聯(lián)網(wǎng)信息管理部門按照職責(zé)權(quán)限推進(jìn)算法影響評估服務(wù)體系建設(shè)，支持有關(guān)機(jī)構(gòu)開展算法影響評估和認(rèn)證服務(wù)。具體的開展模式可以借鑒德勤等開展算法審計(jì)業(yè)務(wù)專門機(jī)構(gòu)的業(yè)務(wù)規(guī)則，支持政府和商業(yè)主體在分級分類基礎(chǔ)上對算法應(yīng)用開展不定期的內(nèi)部和第三方影響評估。最后，參考和借鑒美國紐約市自動化決策工作組創(chuàng)建的多方協(xié)作機(jī)制，定期與高校和科研機(jī)構(gòu)、社會公眾以及非政府組織開展協(xié)作，探索構(gòu)建開放型的多元化評估協(xié)同機(jī)制。

五、結(jié) 語

隨著數(shù)字經(jīng)濟(jì)和智能經(jīng)濟(jì)的迅猛發(fā)展，我國經(jīng)濟(jì)和社會正經(jīng)歷著前所未有的深度變革。算法技術(shù)在商業(yè)和公共事業(yè)領(lǐng)域的嵌入式應(yīng)用雖然蘊(yùn)含著巨大的發(fā)展?jié)摿?，但是也對我國自工業(yè)社會以來形成的立法模式和治理模式發(fā)起不斷沖擊，引發(fā)了諸多治理痛點(diǎn)。與其他數(shù)字技術(shù)有所不同，作為底層架構(gòu)的算法，以商業(yè)資本或者政治權(quán)力為驅(qū)動力，在擴(kuò)展式嵌入社會經(jīng)濟(jì)等多元決策場景時逐漸展現(xiàn)出系統(tǒng)性和積累性決策效果。有學(xué)者曾因此提出應(yīng)當(dāng)通過一定的程序進(jìn)入到自動化決策系統(tǒng)內(nèi)部，了解系統(tǒng)的技術(shù)細(xì)節(jié)以及其對于社會秩序的相應(yīng)潛力，并對其融入組織、程序和決策的過程進(jìn)行系統(tǒng)問責(zé)。算法影響評估制度以確保決策質(zhì)量和安全為基本目標(biāo)，采用全周期動態(tài)思維，系統(tǒng)評估算法應(yīng)用可能帶來的社會影響和多元風(fēng)險(xiǎn)，同時致力于探尋降低風(fēng)險(xiǎn)的應(yīng)對措施，為算法問責(zé)制在微觀規(guī)則層面提供有力抓手。通過設(shè)定核心評估體系，算法影響評估制度將基礎(chǔ)法律原則融入技術(shù)設(shè)計(jì)和行業(yè)規(guī)范之中，在法律規(guī)制與技術(shù)創(chuàng)新之間動態(tài)構(gòu)建良性平衡，以此構(gòu)筑算法信任，助力場景化和精準(zhǔn)化的算法治理，與數(shù)據(jù)保護(hù)影響評估制度形成有效勾連。本文以美國和加拿大算法影響評估制度為典型樣本，深度剖析了制度構(gòu)建的共識性機(jī)理，并從行業(yè)發(fā)展規(guī)律、構(gòu)建路徑、制度運(yùn)行邏輯和新型協(xié)同機(jī)制等方面提出了構(gòu)建本土化方案的核心策略。須指出的是，由于制度的有效性不僅取決于內(nèi)生因素，而且還受到社會價(jià)值、具體情境以及更為廣泛的制度環(huán)境的綜合影響，因此未來還應(yīng)當(dāng)對算法影響評估制度的配套機(jī)制、與數(shù)據(jù)保護(hù)影響評估制度的銜接機(jī)制等核心議題進(jìn)行深入研究，以期為算法影響評估制度的有效運(yùn)行構(gòu)建良好的運(yùn)行生態(tài)。

《數(shù)字法治》專題由華東政法大學(xué)數(shù)字法治研究院供稿。專題統(tǒng)籌：秦前松

編輯：海洋