2016年，歐盟委員會牽頭與Facebook、Twitter、YouTube和微軟等互聯網巨頭們集體簽署了一項行為準則，承諾“接到舉報後24小時內屏蔽和刪除相關仇恨言論”。
“仇恨言論”在歐美已經是刻不容緩的互聯網內容安全問題。
2019年發生在美國、新西蘭等地的公共傷害事件，事後都被查明兇手為種族歧視的捍衞者，動手之前曾在網絡上分享過自己的行程與仇恨理念。
而這只是互聯網內容安全問題的冰山一角。
互聯網上與日俱增的內容不僅代表着更多的流量，也預示着巨大的內容風險藏身其中。色情、毒品、旗幟、暴恐、血腥、武器等等不良、有害信息不僅危害互聯網平台的內容生態，更可能導致安全問題，使業務發展遭受損失。
不誇張的説，內容安全就是互聯網平台的風控命門。
過去，互聯網公司通過增加內容審核人員規模來解決問題，比如2018年今日頭條就曾將原有6000人的運營審核隊伍擴大到10000人，社交巨頭Facebook在全球範圍內也擁有1.5萬內容審核員。
但這也引出一個實際問題，大廠有能力和資金可以僱傭內容審核專員，或者自己開發機器審核，而小廠呢？如何應對這顆隨時可能引爆的安全“炸彈”？
人工 機器輔助，AI內容風控瞭解一下
隨着互聯網內容愈發繁雜且海量，以及市場與行業升級之後，信息傳播的媒介與形態越來越多樣化，傳統的人工審核方式已經不能從容應對內容安全危機了。
人工審核本身有着天然缺陷，比如成本高、效率低、主觀成分高、評判標準不統一等等。僅成本一項就很難，有企業曾透露，一人一天審核4萬條信息，日均100萬數據，光審核人力成本就要200萬以上。
對企業而言，概括起來説就是成本高、技術難、效果差。甚至，因為長期與極度負面的信息打交道，對審核員工的身心都會造成損傷。
今年3月，3000多名內容審核員就對Facebook發起了訴訟，這些內容審核員要求對這份工作引發的精神損害進行經濟補償。5月，Facebook不得不同意向這些內容審核員支付5200萬美元的和解費。
並且，視頻、音頻等媒介形式的爆發，又給人工審核帶來了新的挑戰。
於是近幾年，基於算法技術和人工智能，互聯網平台開始開發機器輔助人工審核的方式應對內容安全問題。機器審核的一大優勢就在於，可以應對不同媒介維度的內容審核工作。
文本內容：最基礎的處理工作是匹配詞庫進行分類處理。區別於人工，AI可以通過預設違禁詞庫來完成文本內容篩選。
比如，百度內容審核平台就是預置違禁詞庫 用户自定義黑/白詞庫的配置，並根據色情、暴恐違禁、政治敏感、惡意推廣等七大場景建立了黑詞庫和語義審核模型，不僅能夠對敏感詞和違禁詞進行處理，也能根據上下文、語境、語義識別出違規信息。
圖像內容：機器對圖片類型的內容審核，其底層是圖片識別的技術應用。以此為基礎邏輯，圖片內容的各個場景得以被辨識並應用到內容審核中，比如下圖就介紹了百度內容審核平台的圖像檢測產品的主要功能。
視頻內容：視頻內容由音頻內容、視頻畫面兩個對象組成，視頻畫面的機器審核，業界目前常採用截取畫面幀上傳識別，最終複用的是圖片識別通道對場景、人物、物品進行判斷是否違規。
音頻內容：音頻識別的技術基礎建立在以聲學模型建立的發音模版，通過匹配發音模版判斷出語種和對應表義，輸出可被計算機理解的語言結果。
音頻內容的審核要略微複雜一些，一方面是音頻背景音需要降噪才能準確識別語音內容，另一方面是聲音內容的顆粒度要更細，比如摻雜在聲音內容裏的嬌喘聲。百度內容審核平台為此增加了一個聲學模型審核，對諸如嬌喘聲等違規信息可有效識別。
以上幾種不同媒介的機器審核是目前業界最普遍的基礎方案，相較於人工審核，人工 機器的複合審核方式相當於將一些重複性高、需要大量計算的工作交給機器精篩，再由人工複審，以此達到海量內容的高效審核。
這也存在一些問題，比如一張人像圖片可以劃分為“色情”、“性感”、“正常”三個維度，機器可以根據肉體裸露程度來判斷，但在特定情況下又要有所區分，比如在電商平台銷售內衣的模特照片就是合規的，而在母嬰論壇可能就不一樣。
所以，在流程設計上，機器審核可以做到的就是幫助運維者先行剔除大量確切違規的內容，剩下的人工審核流程依舊不能省。
需要怎樣的內容風控解決方案？
那麼，既然機器審核既有優勢又有劣勢，互聯網平台究竟要怎樣才能做到高效且節省成本的內容審核呢？
答案是從兩個方面入手。
其一，部署性能優越的機器審核平台。目前，基本上互聯網大廠都是自己開發，比如Facebook。疫情期間，由於大部分人工審核員居家隔離，Facebook依賴於AI檢測系統，據説該系統可以自行檢測到平台上90％的有害信息。
國內的百度、騰訊、阿里、頭條、快手等也都是自己開發的機器審核。也有一些提供內容審核的大數據風控創業公司，比如同盾科技、數美科技等等。
其中，百度是為數不多開放這一產品的大廠。2018年，百度推出了基於AI開放平台的內容審核產品，支持圖像、文本、音頻、視頻等多形式的審核。
經過兩年多的發展，目前百度內容審核平台已經升級到14 項圖像、 8 項文本、9 項語音審核能力，並可以基於多年的風險處置經驗實時更新系統策略。
百度內容審核平台設定了全面的分類標籤體系，包括色情20標籤、暴恐17標籤等等，這一體系可以讓企業根據業務需求自由組合標籤，也就是自定義模型。
舉個例子，在視頻直播場景下親密行為屬於正常，而在母嬰論壇就不能通過。不同場景對違禁規則的需求不同，平台可以根據自身業務特性自定義模型，無疑這既增加內容審核準確度也不會對用户體驗造成損傷。
而且百度內容審核平台背後還有頂尖的技術支撐，百度是唯一連續三年入選MIT科技評論的年度十大突破技術公司。在人臉檢測Wider Face&person Chllenge 2019、機器閲讀理解 MS MARCO數據集榜單等國際技術比賽中穩居第一。
其二，人工依舊是內容安全審核無法略去的重要環節，而提高人工審核效率也是關鍵之一。
據百度AI技術生態部高級產品經理Nathan透露，百度內容審核平台的客户存在一個非常明確的訴求，即AI 審核能力提高的同時，還需要一套功能更加完備的審核系統來提升審核的管理效率。
近日，百度大腦就在內容審核平台的基礎上又推出了人機協同審核管理平台。
該平台的邏輯是輔助內容審核平台，相當於在整個審核流程中加入了一個新的AI機審。以短視頻為例，AI機審可以調用內容審核平台接口，通過截幀、抽取音頻的方式進行審核，對比內容審核平台，AI機審在這其中增加了圖像指紋、聲紋黑庫功能，進一步強化審核準確度。
同時，人機協同審核管理平台還推出了三層人審機制，具體流程可參考下圖。
百度方面表示，通過優化人機協同機制，能夠幫助客户降低30%人力消耗並大幅提升單人審核效率。而且在服務形態上提供公有云、私有化靈活的部署方案，幫助客户極大節省平台開發和運維成本。
國信聚安是一家聚焦於內容安全生態的專業服務商，其基於百度大腦的算法、模型、數據和研發打造了一套新媒體內容風險管理方案。
國信聚安的業務能力主要在前端數據，包括用户信息、圖片信息、視頻、互動等，藉助人機協同審核管理平台建立自定義模型，對色情、涉政等違規信息進行關鍵詞匹配、語義分析等檢測操作，再通過人工複審實現結果輸出。
通過借力百度大腦，國信聚安實現了四大提升：
1 藉助標準化、易接入的人機審核平台，提升了業務拓展和線上效果；
2 提高專項內容審查的應對能力；
3 高危內容研判耗時縮短，準確率提升；
4 人力成本下降。
“藉助模型快速的研判和準確率，使得研判耗時縮短了95%，準確率提升了70%，也大大降低了一線審核員的壓力。”國信聚安CEO陳太鋒表示。
工欲善其事，必先利其器
從全球內容產業的發展來看，內容安全審核是整個互聯網平台進化的重要一步。一方面，機器審核方式的加入提升了內容審核效率，另一方面也直接強化了內容分發的商業效率。
也就是説，除了內容安全問題，AI也在讓內容產業變的更“輕”——輕人力、輕成本、輕流程，讓AI來解決更多問題。
而近年來內容安全事件的高發，也證明了行業中內容安全風控仍存在缺口。主要表現在建立內容審核編輯責任制落地不到位、在新媒介內容審核上技術投入不足等等，這其中有技術問題也有人力、資金問題。
考慮到這些現實問題，而內容風控又是必須要做的事情，類似百度大腦這樣的高效、低成本審核手段就有了用武之地。
在這樣的前提下，利用AI進行內容風控的重要性只會不斷提高，我們未來需要應對的不僅僅是不當內容和低質量內容，很可能還會有人類都難以分辨的虛假內容。這樣看來，AI內容風控不僅僅是一項增益技術，而是駛向內容產業金銀島保駕護航的必由之路。