與膚色較淺的人相比,面部識別模型在識別黑人、中東人和拉丁美洲人等少數族裔時錯誤率更高,這已經成為了一個廣泛的難題。
此前,亞馬遜的人臉識別技術Rekognition就因錯誤地把美國國會議員識別為罪犯而遭到質疑,其近40%錯誤匹配涉及有色人種的事實令亞馬遜深陷種族歧視風波。
不過,近日一項研究表明,不同的演算法和不同的資料集都不能解決面部識別技術的偏差問題,這或許表明亞馬遜的“黑鍋”背得有點冤枉了。
具體而言,威奇托州立大學(Wichita State University)的研究人員進行了一項研究,他們對在包含數萬張面部影象的資料集上訓練的流行演算法進行了基準測試。
雖然這項研究有其侷限性,因為它所研究的模型還沒有為面部識別進行微調,但它增加了越來越多的證據,表明面部識別容易受到偏見的影響。
研究人員將重點放在三個模型上——VGG、ResNet和InceptionNet——這些模型對來自開放原始碼ImageNet資料集的120萬張影象進行了預先訓練。
他們使用來自UTKFace和FairFace這兩個大型面部識別資料集的影象為每個人量身定製性別分類。
UTKFace包含20,000多張從網路公共資料庫中搜集來的白人、黑人、印度人和亞洲人的照片,而FairFace則包含108,501張來自Flickr的白人、黑人、印度人、東亞人、東南亞人、中東人和拉丁美洲人的照片,其代表性相當均衡。
在第一個實驗中,研究人員試圖在性別分類的背景下評估和比較不同模型的公平性。
他們發現三種方法的準確率都在91%左右,總體上ResNet比VGG和InceptionNet獲得更高的準確率。
但他們也報告說ResNet對男性的分類比其他模型更可靠;相比之下,VGG對女性的準確率更高。
模型的表現也因人的種族而不同。
VGG在識別女性(黑人女性除外)和男性(拉丁裔男性除外)方面獲得了更高的準確率。
中東男性在平均模型中的準確率最高,其次是印度和拉丁裔男性,但東南亞男性的假陰性率較高,這意味著他們更有可能被歸為女性而非男性。黑人女性經常被誤認為是男性。
當研究人員只在UTKFace上訓練模型時,所有這些偏差都加劇了,因為UTKFace並沒有平衡來緩解偏差。
(UTKFace不包含中東人、拉美人和亞洲人後裔的影象。)
僅在UTKFace上接受訓練後,中東男性的準確率最高,其次是印度男性、拉丁裔和白人男性,而拉丁裔女性的準確率高於其他所有女性(其次是東亞和中東女性)。
與此同時,對黑人和東南亞女性的準確性則進一步降低。
研究人員寫道:“總的來說,(這些模型)在建築結構上的差異會隨著特定性別種族的一致性而有所不同……因此,性別分類系統的偏見並不是因為某種特定的演算法。”
“這些結果表明,扭曲的訓練資料集會進一步加劇不同性別人群在準確性值上的差異。”
在未來的工作中,合著者計劃研究姿態、光照和化妝等變數對分類精度的影響。
之前的研究發現,攝影技術和技術有利於淺色皮膚,包括從淡褐色膠捲到低對比度的數碼相機。
編譯/前瞻經濟學人APP資訊組
原文來源:
https://venturebeat.com/2020/09/28/study-indicates-neither-algorithmic-differences-nor-diverse-data-sets-solve-facial-recognition-bias/