編者按：本文來自微信公眾號全媒派（ID：quanmeipai），作者yuri，創業邦經授權轉載。
Joy Buolamwini是一位迦納裔科學家。一次，在做一項涉及面部識別軟體的作業時，她發現，演算法無法識別她的臉——除非她戴上白色面具。
這是Netflix最近上線的紀錄片《編碼偏見》中的一幕。此外，這部關於演算法偏見的紀錄片還呈現了廣告、招聘、金融服務、警務和其他許多領域中，演算法對社會現有種族、階級和性別偏見不同程度的延續。
受此啟發，Joy Buolamwini測試了許多面部識別商用軟體發現，白人男性性別被正確識別的機率高達99%。隨著膚色變暗，錯誤率也呈指數增長，近35％黑人女性無法被正確識別。
2020年，在國內，《外賣騎手，困在系統裡》一文引發廣泛討論，焦點指向外賣平臺的算法系統。技術的進步改善了生活的方方面面，但問題也逐漸浮現，人們不再相信演算法決策是完全公平的。在逐漸被AI等智慧技術包圍的時代，演算法偏見（algorithm bias）逐漸成為重要的資訊倫理問題，乃至社會議題。
本期全媒派（ID：quanmeipai）將從典型的演算法偏見表現說起，分析偏見如何透過演算法呈現到現實生活，再從現實出發，介紹科技公司在技術和操縱者層面，對糾正演算法偏見可以做的努力。
隨處可見的演算法偏見
去年，杜克大學科學家發表能夠將模糊照片清晰化的演算法PULSE。不過，美國前總統奧巴馬的模糊照片經處理後，生成的卻是一張清晰的白人面孔。
圖片來源：Twitter/ @Chicken3gg
這被視為演算法偏見的典型案例。演算法偏見，是在資訊的生產、分發及核查的過程中對使用者造成的非中立立場影響，從而導致片面、失實等資訊觀念的傳播。現實生活中，演算法偏見可能發生在每個人身上。
清華大學新聞與傳播學院智媒研究中心在《演算法治理與發展：以人為本，科技向善》報告中，從領域和物件出發，將演算法偏見的表現分為有損群體包容性的偏見、有損群體公平性的偏見及有損個體利益的偏見。[1]
有損包容性
針對演算法偏見的討論，多數與種族、性別等指向不同群體的因素相關。這類偏見展現的，是演算法對不同群體的包容度不足——不同膚色、特定環境下的弱勢群體或女性，容易成為被演算法忽視的物件。
開頭Joy Buolamwini的例子，就是這類偏見的一種表現。有感於此，Joy發起了一項研究，收集來自非洲和歐洲共6個國家的1270張人臉照片，測試了IBM、微軟、曠視3家公司的人臉識別產品，結果顯示都存在不同程度的女性和深色人種“歧視”。
類似的事情時有發生。2015年，Google Photos曾經把兩個深膚色的人標記為“大猩猩”。到了2018年，《連線》雜誌對相簿中4萬多張動物圖片測試後發現，谷歌沒有完全修復這個漏洞，只是不再將任何圖片標記為大猩猩。疫情期間，谷歌旗下服務Google Vision Cloud曾經將手持測溫計的深膚色人員影象標記為“槍”，而相同條件下的淺膚色人員影象，則被標記為“電子裝置”。
去年，有使用者指出，Twitter的影象裁剪演算法存在種族和性別偏見。當用戶在檢視預覽推文呈現的縮圖區域時，如果一張照片上有不同膚色人種，演算法會更突出淺膚色的人像區域。
影象識別之外，頻繁、深度使用語音識別、文字識別技術的科技公司，也常在這上面“失誤”。2015年的一個調查發現，谷歌助手、蘋果Siri和亞馬遜的Alexa對美國口音、印度口音和中國口音的英語識別準確率並不一致。
預測、決策不公
除了種族、性別和年齡等人類屬性方面的偏見，演算法也在消費、就業和犯罪風險檢測等應用場景方面表現出偏見。[2]這種偏見最直接的影響，就是可能導致預測、決策的不公，造成對群體公平性的損害。
最常見的一類是招聘偏見。路透社曾在2018年報道，亞馬遜設計的AI招聘演算法中暗含對女性求職者的偏見。當讀取到帶有“women”的相關詞，演算法會降低簡歷的權重。比如，當簡歷中出現“女子象棋俱樂部隊長”或“女子學院”這樣的詞，演算法會直接對求職者作降級處理。亞馬遜最終關閉了這個招聘演算法。
而當演算法被用於招聘面試，分析應聘者肢體語言、眼神活動等更細緻的維度時，面試過程中的一舉一動，都不得不謹小慎微。這些工具可以幫助企業提高效率、節省開支，但也偶有偏見。被高盛、聯合利華等企業普遍採用的AI面試工具HireVue，可能會分不清皺眉是因為在思考問題，還是情緒不佳（暗示性格易怒）。[3]
犯罪領域中人臉識別演算法的偏見也常導致不公。2016年，新聞機構ProPublica調查了美國各州政府用來評估被告人再犯罪風險的COMPAS演算法，發現黑人假釋候選人更容易被評為高風險。在美國，不止一次出現黑人或少數族裔因為演算法原因被錯誤逮捕的事情。
除了司法、就業，當下生活中，演算法參與決策的領域還包括金融、醫療、消費等，演算法偏見的範圍或許也比想象中廣。
威脅個體利益
包容性的降低和公平性的損耗，必然影響個體利益。
例如，谷歌的PageRank的演算法能評價網路連結的重要性，對網頁進行排序。在Google Shopping裡，谷歌曾暗暗將自己的商品置於網頁排序中的顯眼位置。[4]這影響了使用者的消費選擇。
在日常生活中，可能不少人都有過這樣的體驗：在一些網路平臺消費的時候，同時同地同樣的消費，其他人的費用可能比自己低。透過記錄分析消費者的消費痕跡，來對不同消費者差別定價，這種“演算法殺熟”也可以被視作一種演算法偏見。
糾正演算法偏見，科技公司怎麼做？
當演算法偏見越來越成為無法迴避的技術、倫理和社會問題時，糾正偏見也就成為解決問題的重點。作為規則設計者、制定者和參與者的科技公司，也不得不主動做出回應。
糾正偏見，先要知道偏見為何發生。人工智慧專家、AI公司Another Brain執行長Bruno指出：“人工智慧演算法存在三種主要的偏差來源：訓練資料集，讓演算法學習我們想要的東西，以及AI演算法本身的原理。”也就是說，演算法的偏見來源於資料的紕漏、設計者的偏見，以及人機互動或演算法本身的不足。
目前來看，科技公司糾正演算法偏見，主要也是從演算法的資料技術層面以及演算法操縱者的偏見等方向來行動。
演算法技術層面
近幾年，不少公司都發布了用來檢查演算法偏差的工具。2018年5月，Facebook推出Fairness Flow，當演算法根據一個人的種族、性別或年齡做出了不公的判斷，它會自動發出警告來提醒。之後，谷歌在其開源網頁中推出了工具What-If，幫助開發者檢測演算法公平性。[5]
也在同年，IBM推出AI Fairness 360開源工具包，提供超30個公平性指標、9個偏差緩解演算法，用於檢查在信用評分、預測醫療支出和麵部影象性別分類等不同場景中的演算法偏見，還會推薦改進的方法，比如演算法調整或資料平衡。去年8月，微軟旗下的領英推出公平工具包（LiFT)，可以對資料集的屬性（如種族和性別構成）做分析，並將結果與演算法結果來比較，進而檢測公平性。
如果資料集本身有偏見，那顯然，用資料集訓練出的演算法也很難客觀。因此，不少舉措也關注資料的修訂和擴充套件。2018年，微軟與專家合作修訂、擴充套件了用於訓練其面部識別演算法Face API的資料集。在調整膚色、性別和年齡等在資料集中的佔比並改進了分類器之後，演算法在膚色較深的男性、女性間的識別錯誤率降低了20倍，女性識別誤差率降低了9倍。
同樣旨在提供檢測、幫助改善資料，Facebook在今年4月也有新動向——公開名為Casual Conversations的資料集幫助研究人員評估潛在演算法偏差。這個資料集的特別之處在於，讓人們自己提供年齡和性別來標註，而不是由第三方或計算機系統估計。
Facebook還為資料集招募了訓練有素的註釋員，來確定參與者的皮膚型別。資料集還標記了影片的環境光照條件，幫助系統測量低光照條件下的膚色。
前不久，Twitter也宣佈了一項“負責任的機器學習”新計劃，研究平臺採用演算法的公平性。內容之一，就是由來自公司內部的資料科學家和工程師，研究Twitter對機器學習的使用如何導致演算法偏差，並評估其演算法可能造成的“無意傷害”，再將研究結果公開。
Twitter執行長Jack Dorsey曾表示，希望建立一個演算法市場，類似應用商店形式，讓使用者能夠控制自己使用的演算法。演算法操縱者層面
對於演算法偏見，常見的一種看法是，AI決策依賴於對人類決策的學習，因此，機器偏見其實是對社會傳統偏見的投射。所以，除了技術層面改善資料集、打標等機器學習的環節外，更需要針對演算法背後的人，以及公司的偏見做出限制。在這方面，除了外部的限制和規範，科技公司自己也有行動。
目前，不少大型科技公司都發布了人工智慧的應用原則，其中都有涉及偏見治理的部分。2016年，微軟、谷歌和Facebook等聯合成立非營利人工智慧合作組織Partnership on AI。2017年，微軟設立人工智慧與道德標準委員（AETHER）來落實AI倫理問題，稱未來推出的每個人工智慧產品都要經過道德倫理審查。
也有委員會、聯合組織之外的措施。比如，谷歌推出Model Cards功能，對採用的演算法進行解釋，告知具體的優點和侷限性。
對Face Detection演算法的部分解釋。圖片來源：Model Cards主頁公開資訊
2020年，喬治·弗洛伊德之死在美掀起以“BLM（Black Lives Matter）”為口號的反種族歧視運動的同時，針對科技公司演算法偏見中種族歧視的聲討也愈發激烈。根據《華爾街日報》報道，Facebook與Instagram都為此組建了相應的公平與包容團隊，負責調查美國黑人、西班牙裔和其他少數族裔使用者受公司演算法的影響，並將其與對白人使用者的影響進行對比。
同樣在6月，IBM宣佈不再向警方提供人臉識別技術，原因是“反對將技術用於種族歧視和大規模監視”，亞馬遜和微軟相繼發表類似宣告。長遠來看，這是科技公司在技術和偏見之間需要做出衡量、承擔社會責任的縮影。
還有一種意見是，為了克服可能的偏見，企業需要更多樣化的AI人才。如若程式設計師、工程師的構成本身就不多樣，甚至有性別、種族偏見，這些偏見也很容易被傳遞到其開發的演算法中。
不過，科技公司的演算法糾偏路也不是一帆風順。大多時候，科技公司主動做出行動，是出於改善業務、維護企業形象、承擔社會責任的考量，也是一種在公眾、政府和其他組織監督下的“權衡選擇”。若糾偏會嚴重損害企業利益，企業是否要做、怎麼做，就未可知了。
歸根結底，當我們在說演算法偏見的時候，依然要考慮那個核心問題——演算法背後是人，演算法偏見背後是人的偏見。正如開頭案例中的MIT研究員Joy所說，“人工智慧是基於資料的，而資料是我們歷史的反映。”在批評演算法的過程中，科技公司或許不該被安放在絕對的對立面，至少，它們的舉措也是糾正演算法偏見、抵達公正的一部分。
回到真實社會，許多偏見仍然根深蒂固，但這並不意味著袖手旁觀。在能力之內讓數字世界朝向更公平、更能依靠的方向發展，對於社會、個體，以及有重要影響力的公司來說，都是責任。
本文（含圖片）為合作媒體授權創業邦轉載，不代表創業邦立場，轉載請聯絡原作者。如有任何疑問，請聯絡