編者按：銀行記者卡列娜·馬科托夫（Kalyeena Makortoff）拋出重彈——基于人工智能的“黑盒”歧視似乎超出了使用者的控制范圍，這再次引發了一場圍繞公共和私營行業人工智能使用的廣泛辯論。當人們在某些特定情況下應用人工智能時，它所帶來的風險真實且重大。最大的危險之一就是無意的偏見，它會對個人造成傷害。針對于此，歐盟的政治家們正計劃推出首個全面的全球人工智能監管模板。將于 2024 年底生效的《人工智能法案》將產生廣泛的影響。與歐盟的《通用數據保護條例》一樣，《人工智能法案》將約束為歐盟客戶提供服務的所有機構，確保這些機構使用被政府批準的人工智能，避免客戶受到傷害。另外，當經過批準的人工智能系統發生故障或對個人造成傷害時，政府將提供補救措施。本文來自翻譯，希望對您有幫助。

       銀行記者卡列娜·馬科托夫這樣寫道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧視似乎超出了使用它的組織的控制范圍。”

       一切源自 2019 年 11 月的一條推特：知名科技企業家大衛·海涅邁爾·漢森（David Heinemeier Hansson）強烈抨擊蘋果新推出的信用卡，稱其為妻子提供的信用額度比自己低 20 倍，是赤裸裸的“性別歧視”。

       這些指控以野火之勢蔓延開來，漢森強調，做出上述性別歧視行為的罪魁禍首，是當前被廣泛用于做出貸款決策的人工智能。“蘋果代表的意圖并不重要，重要的是他們完全信任的算法。被信任的算法做出的卻是歧視行為。這太糟糕了。”

       盡管蘋果及其承銷商高盛（Goldman Sachs）去年已經被美國監管機構判定違反了公平放貸規則，漢森關于“人工智能歧視”的上述指控再次引發了一場更為廣泛的圍繞公共和私營行業人工智能使用的辯論。

       為了提高效率，各機構正越來越多地將日常任務自動化以削減成本，歐盟的政治家們正計劃推出首個全面的全球人工智能監管模板。

       這項《人工智能法案》立法的影響不會止步于歐盟，與歐盟的《通用數據保護條例》一樣，它將適用于為歐盟客戶服務的任何機構，包括英國的銀行在內。艾達·洛夫萊斯研究所（Ada Lovelace Institute）的歐洲公共政策負責人亞歷克山德魯·斯修馬如（Alexandru Circiumaru）說：“這項法案一旦被采用，怎樣夸大其影響都不為過。”

       歐盟人工智能“高風險”用途的最終清單，促進出臺了嚴格的規則，這些規則規范了將人工智能用于篩選工作、大學或福利申請的方式，以及貸款機構評估潛在借款人信譽的方式。

       歐盟官員希望，通過額外的監督和限制可使用的人工智能模型類型，來遏制基于機器的歧視。這些歧視可能會影響改變生活的決定，比如自己是否能負擔住房或學生貸款。

       獨立金融技術顧問莎拉·科齊安斯基（Sarah Kociansk）說：“可以使用人工智能分析我們的整個財務狀況，包括支出、儲蓄和其他債務，從而得出一個更全面的規劃圖景。如果設計得當，這樣的系統可以提供更廣泛的可負擔信貸渠道。”

       但最大的危險之一就是無意的偏見，系統所使用的算法最終會拒絕向女性、移民或有色人種等部分群體提供貸款或賬戶。

       人工智能分析存在的部分問題在于，大多數人工智能模型只能從提供給系統的歷史數據中反饋出學習信息，這就意味著它們將會了解之前給哪些客戶貸過款，以及哪些客戶被標記為失信人員。科齊安斯基說：“有一種風險存在，即系統會對‘誠信’借款人的‘長相’產生偏見。值得注意的是，性別和種族往往在人工智能的決策過程中發揮作用，而這些決策過程是基于人工智能所訓練出來的數據——所考慮的因素與個人償還貸款的能力毫不相關。”

       除此之外，一些模型在被設計時沒有考慮所謂的受保護特性，也就意味著它們不打算考慮性別、種族、族裔或殘疾的影響。但這些人工智能模型仍然可以通過分析郵政編碼等其他數據特征對客戶進行區分，這些數據的來源可能是之前從未有過申請、擔保、償還或抵押貸款歷史記錄的弱勢群體。


       在大多數情況下，當一個算法做出決定時，任何人都很難理解它是如何得出這個結論的，這導致了人們通常所說的“黑盒”綜合征。這意味著一些未知的存在，比如：銀行可能很難解釋申請人可以采取哪些不同的做法來獲得貸款或信用卡的資格，或者將申請人的性別從男性改為女性是否會產生不同的結果。
       
       斯修馬如表示，將于 2024 年底生效的人工智能法案，會惠及那些成功開發出符合歐盟新規則的“可信 AI”模型的科技公司。

       人工智能初創公司因果鏡頭的總部位于倫敦，其首席執行官兼聯合創始人達爾科·馬托夫斯基（Darko Matovski）相信，causaLens 就是新規則的受惠公司之一。（譯者注：causaLens，因果人工智能軟件公司，開創了“因果人工智能”的先河。因果人工智能是新一代智能機器，最終能夠理解“因果關系”——這是邁向真正人工智能的重要一步。）

       人工智能初創公司 causaLens 于 2021 年 1 月公開成立，已經將自己的技術授權給了資產管理公司 Aviva 和量化交易公司 Tibra 等公司。該公司表示，在歐盟規定生效之前，許多零售銀行正在與自己簽署協議。

       企業家馬托夫斯基表示，causaLens 提供了一種更先進的人工智能形式，通過計算和控制數據中的歧視相關性來避免潛在的偏見。他說：“基于相關性的模型只能學習過去的錯誤，并將其重演到未來。”

       他堅信，自己開發的這種被稱之為因果人工智能的模型，將為可能失去教育和賺錢機會的邊緣化群體帶來更好的未來。

       他說：“我們真的難以知道人工智能已經造成的破壞規模有多大，因為無法真正檢查這個模型。我們不知道有多少人因為混亂的算法而不能上大學，也不知道有多少人因為算法偏差而無法獲得抵押貸款。我們都不知道。”

       馬托夫斯基說，防止潛在歧視的唯一方法就是輸入受保護的數據特征，如殘疾、性別、種族，但要保證無論這些輸入的具體值是什么樣的，系統的決定都不會改變。

       他表示，解決這一問題確保了人工智能模型能夠反映我們當前的社會價值觀，并避免延續過去任何種族主義、殘疾主義或歧視女性的決策。他說：“社會普遍認為，無論人們的性別，郵政編碼及種族是什么，都應該得到平等的對待。因此，算法不僅要努力做到這一點，還必須保證做到這一點。”

       盡管歐盟的新規定很可能向遏制基于機器的偏見邁出了一大步，但包括艾達·洛夫萊斯研究所在內的一些專家也同時在推動消費者維護自己的權益：如果認為自己處于不利地位，有權投訴和尋求賠償。

       斯修馬如說：“尤其是人們在某些特定情況下應用人工智能時，它已經帶來了真實的、重大的風險。”

       他還表示，“人工智能監管應確保通過批準或不批準某項人工智能的使用，來恰當地保護個人免受傷害，并在經過批準的人工智能系統發生故障或對個人造成傷害時提供補救措施。我們不能假設經過批準的人工智能系統總能完美運作，而在它們不能完美運作的情況下疏于防備。”