AI前沿：工業視覺的技術與產品挑戰
圖片來源：攝圖網
編者按：本文來自微信公眾號機器之能（ID： almosthuman2017），作者創新奇智工業視覺，創業邦經授權轉載。
問：以AI為代表的前沿科技在工業製造特別是工業視覺場景中能貢獻哪些核心價值？
答：工業視覺是工業自動化的核心領域，包括檢測、識別、測量、定位等關鍵任務。擅長解決視覺感知問題的AI技術已成為創造價值的重要切入點。今天，全球製造業面臨巨大的產業升級壓力。除了頭部少數大型生產企業，大部分製造業生產線面臨需求快速迭代和信息化、自動化、柔性化不足的矛盾：一方面，快速變化的全球市場呼喚按需生產、按需定製、按需迭代的高效產線；另一方面，數據採集難、連通難，自動化程度低，自動化工位之間缺少協同，良品率難於定量評估和精確歸因等現實問題，共同構成了製造業效率提升的整體挑戰。
大部分製造業企業需要在較短的建設週期裏，大跨步補齊信息化、自動化、智能化這三塊短板，實現跨越式發展。物聯網、大數據、機器視覺、自動規劃與決策、自動控制等前沿科技是此過程中的關鍵技術。其中，AI相關的技術更是由“製造”到“智造”躍升的基礎。
問：具體到工業視覺場景，為什麼工業視覺需要人工智能？
工業視覺要解決的是如何“看”清製造場景與如何“感知”“理解”關鍵信息的問題。當前，光學成像技術，多傳感器融合技術，感光和光學處理芯片技術大幅進步，使“看得更小、看得更清”成為現實。在此基礎上，AI恰好可以幫助我們“感知更準確、理解更深刻”。
以電子製造行業為例，我國相關生產線上與視覺檢測有關的工位每年人工成本約60億元。前沿科技的切入，會將視覺檢測這一工序從較粗放、難量化的勞動密集型工位升級為可精準定量、可完整溯源、可智能集成數據的全自動工位，帶來生產效率和產品質量的大幅提升。
問：在工業視覺領域規劃、定義、設計一款產品或解決方案，是一種怎樣的體驗？
挑戰很大。要説體驗麼，“苦其心志、勞其筋骨”吧。在工業視覺領域，一個產品的正向開發會經歷需求調研、總體方案設計、關鍵技術驗證、子系統方案設計、樣機試製、現場方案驗證、產品發佈和市場推廣等環節，每個階段都要產品經理帶領團隊在正確的方向上，投入全部精力去打磨和優化。
上述過程中，產品經理的思路需要在宏觀和微觀之中隨時切換：在考慮客户需求、產品定位時需要宏觀思考；在考慮技術實現時需要聚焦在各個關鍵層級的技術細節；在佈局產品線時需要考慮差異化配置對各類客户的匹配；在現場方案驗證時需要關注具體數據和定製化需求。
但在這個領域做產品經理也是成就感滿滿的：工業視覺類產品，特別是自動化視覺設備是最能夠帶給人成就感的產品。當產品成功交付並在客户產線穩定運轉時，客户的肯定就是對產品開發團隊的最好回報。
問：這個領域，有哪些不同於其他領域的產品規律？
首先，需求條目多：在工業製造領域，客户最關注的兩個指標是產能和質量。圍繞這兩個看似矛盾的指標，工業視覺的產品設計可拆解為多項設計指標：
產能相關的主要指標包括上下游交接方式，產品/設備/儀器TT（tack time）時間，產品穩定性（MTBF、MTBR），機種切換時間等。
質量相關的主要指標包括檢測/測量準確率，過漏檢，重複性等。
由於工業現場的特殊環境（恆温、恆濕、超淨、安全）需要考慮的主要指標包括產品的ESD，重量，急停，FFU等。
行業內客户在方案溝通階段，均會給出詳細的規格要求，有時甚至覆蓋幾百到上千條規格定義。
其次，需求來源多：工業製造領域的產品，有鮮明的企業級（ToB）產品的特徵，其決策方、購買方和使用方通常不是同一團隊。例如，決策方可能是工程技術部或設備製造部，購買方是採購部門，使用方是生產部門。不同階段面向的客户部門不同，不同部門對產品的訴求也不同。
再次，定製化程度高：由於不同客户的產線佈局不同，產線線速不同，上下游製程設備不同，甚至電梯高度不同（決定設備最高的高度），因此交付給每個客户的產品有較大的定製化。但相同的工業視覺產品系列，其核心功能應保持穩定。
問：工業視覺技術可抽象為如何“看”、如何“感知/理解”、如何“規劃/決策”、如何“執行”等幾個方面。以“看”為例，相關的成像技術、照明技術等今天達到了何種水平？
從成像芯片維度（更精、更優、更廣、更快）看：
芯片工藝製程水平的提高使得大靶面的CMOS芯片成為主流工業相機芯片，2M→12M→29M→60M→71M→150M的演進使工業檢測能夠觸達微米級精度，高滿井容量、高動態範圍、低噪聲的特性大幅提高了工業相機的成像質量；
高精度的鍍膜工藝實現了像素級的鍍膜，基於上述技術的偏振相機、高光譜相機能夠在工業檢測場景獲取待檢測產品更多維度的信息；
TDI技術能大幅降低曝光時間，提高相機的掃描頻率，配合高速圖像採集卡，將視覺檢測搭載在高線速的自動化產線。
從照明光源維度看：十年前機器視覺行業的光源產品基本被日本企業壟斷。今天，國內機器視覺光源廠家迅速崛起，光源產品的種類和質量不斷提升。目前常見的LED光源（條形光、環形光、同軸光、穹頂光、背光源）及光源控制器已廣泛應用在各種視覺系統，國內供應商也積極配合各類需求和場景的打光驗證和光源方案。同時，國內各光源供應商積極推進自主光源甚至視覺系統的研發，例如多角度線光源、線掃分時曝光系統、視覺一體化控制器等。此外，投影結構光、激光線光源也在多項3D輪廓或缺陷檢測場景得到應用。
成像方案維度：目前的工業視覺產品和設備成像方案多樣，面陣方案（靜止或飛拍檢測）、線陣方案、線激光掃描、編碼結構光、白光共聚焦等多種方案已經得到成熟應用，而複雜的多工位檢測設備常常集成上述多種方案，實現更高成像率的覆蓋和3D輪廓測量。相信在不久的將來，計算成像、高光譜成像、光場相機等新技術會進一步集成在工業視覺方案中。
問：“光”和“光學”是如何影響着具體項目的技術實現的？想在產品中用好光學技術，在設計上要着重思考哪些問題？
作為光學工程師，“Garbage in, garbage out（垃圾圖像進，垃圾結果出）”是基本理念，光學系統對工業視覺項目的影響也可見一斑。
總體方案層面：複雜的工業視覺設備基本都會集成多種成像方案，因此也會有多工位的設計，只有光學方案確定，才能夠確定設備的工位分佈、設備佈局。
光學系統對產品的結構和自動化設計有約束：受需求驅動，工業視覺產品的分辨率高，同時還要考慮設備的可調試、可維護等DFX需求，視覺系統通常需要預留調節機制。合格的光學工程師會在設計光學方案的同時輸出視覺方案對機台抖動、定位重複性、視覺機構調節自由度、各自由度調節範圍、載台平面度等指標約束，只有這些指標明確，才能夠讓下游設計不返工、調試變輕鬆。
光學系統對算法性能有指標約束：在工業檢測場景中，工業視覺檢測裝備的核心指標為缺陷檢出率和檢測準確率等。例如，客户要求90%的缺陷檢出率，一般可拆解為x%的缺陷成像率乘以y%的在成像中的缺陷檢出率。兩項指標的乘積約為90%，則單項指標還需要高不少。光學工程師在進行成像驗證時需要和算法工程師緊密溝通，確認缺陷成像是否滿足算法檢出的需求，以保證缺陷檢出率為最終目標。
總體上，我們認為，工業視覺的產品研發和設計一定要光學先行。視覺工程師除了設計光學方案之外，還需要投大量精力在先進的成像方式預研、先進產品預研等課題上。例如，在LCD時代預研OLED產品和製程，在OLED時代預研QLED和Micro LED，這樣在上游產品和製程不斷更迭的過程中，知識積累才不會落伍。簡單説，視覺工程師應和自動化工程師一樣——甚至需要更加——瞭解製程和工藝。
問：在“感知”層面，工業視覺軟硬件組件到底需要對工位場景感知到什麼程度才能滿足業務需求？
感知有多重含義：在檢測場景，視覺產品實現缺陷的準確檢測，又快又好地替代人工；在對位場景，視覺產品識別待抓取/組裝/壓接等操作的物體並精確反饋物體位置；在測量場景，視覺產品對製程重點關注的幾何量進行測量，反饋準確的測量結果。上述場景都需要視覺算法的合理選取、設計和配置。
對檢測場景，感知的基礎需要建立在客户的人工檢測基準上。對於膜材、卷料、玻璃等各類待檢測產品和工藝，只要存在人工檢測工位，就會有具體、詳細的人工檢測基準。通過各類算法/模型將圖像上的“疑似異常”檢出是第一步（特徵檢測、對象檢測）。之後，如何讀懂客户的人工判定邏輯並設計相應的算法邏輯更為重要。例如，常見的人工判定基準會規定缺陷的長、寬、面積、點羣距離、深度等，我們的算法邏輯也需要以此為依據進行設計。
對於測量場景，常見方式包括2D和3D測量。此類場景首先需要確認客户要求的檢測精度，據此拆解出視覺系統的分辨率和測量算法精度等關鍵指標。曾經有客户將二次元（投影影像測量儀）設備作為測量的基準設備，一切測量設備如通過驗收，均需要和二次元設備的測量結果進行對比——在這種情況下，就算某個設備的測量結果已達到其測量原理的極限，但如果和基準設備無法吻合，也無法順利交貨。
對位場景在組裝、抓取、貼裝、打孔等工藝較為常見。這同樣需要首先確認客户要求的對位精度。電子製造行業要求的定位精度已達到微米級。對位視覺組件的標定、特徵識別、座標計算等各環節均要求亞像素級別的精度，有的場景還需要多次對位才能保證精度。
問：一個好的工業視覺產品或解決方案該如何選擇、組合使用不同的感知技術？
綜合能力是關鍵。製造業客户更傾向於將整條產線或整條產線中的視覺產品指定給一家方案供應商/設備製造商去集成。這種背景下，如果想要拿到更優質的訂單，就必須在專攻一種視覺產品的基礎上，同時擁有其餘視覺產品或方案的掌控/設計/開發能力。對於好的工業視覺產品或解決方案，一定要具備完整的各類視覺場景的解決能力，以2D/3D測量、特徵檢測等傳統算法為基礎，並依靠基於深度學習的檢測、分類、分割在某些複雜的場景打出差異化。
問：和傳統計算機圖形學、傳統計算機視覺技術相比，以深度學習為代表的新一代AI技術有何特長？深度學習技術與傳統技術之間，在解決工業視覺問題上是一種什麼樣的關係？
舉個例子，在某些外觀缺陷檢測的項目中，前期只使用傳統算法，在保證缺陷檢出率的前提下，過檢率較高，客户的人工復判工作量較大，並沒有為客户減少太多人力。在對過檢圖像進行分析後發現，過檢主要由髒污、灰塵等引起，而這些過檢源依靠傳統算法很難與真實缺陷進行區分。通過引入深度學習算法，驗證了基於深度學習分類的過檢抑制效果，通過幾輪模型優化（現場過檢圖像返回→模型訓練並更新模型→現場驗證並繼續反饋過檢圖像）後，過檢率大幅降低，客户十分滿意。
另一個例子，手機整機的外觀檢測一直是電子製造領域難度很大的方向。2017年前鮮有廠商敢於嘗試。2017年後，隨着視覺器件硬件方案（頻閃、飛拍、6軸機器人）的多樣化，市場上逐漸有廠商開始嘗試。由於手機功能模塊多（攝像頭、聽筒、揚聲器、按鍵、充電孔）、形態多樣（玻璃、金屬、鏡面、磨砂面、倒角、弧面）、缺陷類型多樣（所有外觀缺陷的集大成場景），導致成像情況複雜，難以用傳統的基於特徵檢測的算法完成所有缺陷覆蓋。基於深度學習的算法在最近幾年的試用中獲得很不錯的反饋。相信在不久的將來，一定會有一款成熟產品能越過整機外觀檢測極高的技術門檻。
這説明，成熟可用性能可靠的機器視覺產品，一定需要傳統算法和深度學習算法的相輔相成。例如，面板行業的平均節拍時間可短至2.5s，在高線速要求下，單枚產品（按100Mb數據量）的算法檢測時間需控制在1.5s以內，這時，傳統算法通常較深度學習算法有速度優勢。另一方面，對傳統算法較難實現的分類以及複雜場景，深度學習算法更容易大顯身手。
問：在“規劃/決策”和“執行”層面，好的工業視覺組件應如何與工業製造的整體自動化系統交互？有哪些較難解決的產品和解決方案設計問題？
“規劃/決策”層面與“執行”層面的交互，可直觀理解為視覺系統與整機自動化系統的交互和握手，或者上位機軟件與下位機板卡/PLC的交互和握手。從功能劃分維度講，視覺系統理論上只負責視覺相關的動作，PLC對機台所有的運動軸、電磁閥、傳感器進行控制。
因此，在控制層面，相機/採集卡的初始化、光源的亮滅、光源亮度的調節、圖像的存儲和檢測完全由視覺系統控制，產品的搬運/交接、各個軸的運動、氣路的通斷、氣壓/温度/安全光柵/掃碼/急停復位啓動按鈕的控制完全由PLC控制。
在交互層面，圖像採集和檢測結果反饋需要上下位機的通訊交互。當PLC拿到掃碼設備回傳的產品ID後，會將該ID發送給上位機執行圖像的命名和存儲；當產品運動到預設的採圖位置時，PLC會通知上位機可以採圖並且等待上位機的採集完畢信號，之後再執行後續流程；在上位機完成圖像檢測後，會將該枚產品的OK/NG結果反饋給PLC，便於實現產品的分級和下料。
當設備中的視覺工位數量較多時，上下位機之間的交互包含各視覺工位上位機間的通訊以及各視覺工位與PLC的通訊交互，由於各視覺工位動作流程並行，且各工位的產品並不一致（同一時刻設備中可能存在多枚產品），因此交互方案會變得非常複雜。
問：創新奇智承接了很多工業視覺的典型項目。在這些項目中，你認為技術上最大的挑戰是什麼？
創新奇智在工業視覺項目中既提供核心軟件和算法，也同時集成自研或外購的機台與設備。這個過程中，最大的挑戰是機器視覺為主的軟件算法團隊，與光機電為主的自動化團隊之間如何默契配合。例如，高精度的AOI自動光學檢測需要完備的光學方案，需要穩定防震的機台，需要高重複定位精度的運動機構，需要上下游精確聯動匹配產線節拍。軟硬件必須協同一致，才能達到最優效果。
另一個技術挑戰是快速應對待檢測/測量產品的上新。工業行業產品種類多樣，產品迭代速度快。以電子製造行業為例，機種的切換需要調節產品載台、調節搬運機構真空吸嘴位置、調節相機工作距離/鏡頭對焦/光源位置、調節採圖位置、調節探針下壓位置、切換軟件模板、調節檢測參數、優化算法模型、調節放料位置等幾十項操作。每次切換，機器視覺模型以及整體方案中的定製部分都必須快速適應新場景。
問：創新奇智的ManuVision工業視覺平台將“感知/理解”“規劃/決策”“執行”等工序串聯到一個完整的技術平台上，大幅降低了工業視覺解決方案的開發和實施難度。從產品角度説，ManuVision平台可以為工業視覺場景貢獻哪些價值？
ManuVision平台的設計理念在於讓工業視覺的產品開發更快，讓工業視覺的項目交付更輕。ManuVision平台包含Designer、Runtime和Trainer三大關鍵功能模塊。
Runtime模塊為設備業務執行模塊，通過該模塊的界面可實時觀察設備產能、各工位圖像、檢測結果、異常信息、操作日誌等；當設備切換對應產品時，可通過Runtime模塊切換相應的業務流程和深度學習模型。
Designer模塊為檢測方案及業務流程配置模塊。Designer模塊將工業視覺流程中的核心操作封裝為功能塊，通過對功能塊的直觀添加和連接，交付團隊和客户的產線設備工程師可快速搭建完整的業務流程。
Trainer模塊預置預訓練模型。產線設備工程師、QC和操作員無需任何算法基礎，只需利用標註工具完成缺陷標註，便可由Trainer模塊自動完成預置模型的優化及測試，模型可在runtime界面一鍵部署。
總體上，ManuVision工業視覺平台將我們對工業視覺技術與產品的整體思考整合在一個統一的軟件框架內，是工業視覺類場景實現“製造”到“智造”升級的高效工具。
本文（含圖片）為合作媒體授權創業邦轉載，不代表創業邦立場，轉載請聯繫原作者。如有任何疑問，請聯繫