株式會社富士通研究所（以下簡稱：富士通研究所）與富士通研究開發中心有限公司（以下簡稱：FRDC）共同開發了“行為分析技術Actlyzer--洗手動作AI識別技術”，可從攝像頭拍攝的影片中識別出複雜的洗手動作。
洗手洗得乾淨嗎？富士通AI幫你準確判斷
近年來，洗手作為保護人類健康免受細菌、病毒侵害的一項防禦措施，其重要性正重新得到認識。2020年6月在日本實施生效的“食品衛生法部分修改法案”中規定,食品經營者有義務根據國際標準HACCP採取有效措施進行衛生安全管理。因此迫切需要建立一個體制，來確認工作人員是否採用了正確的洗手方法。
此次，富士通對“行為分析技術Actlyzer”（可從影片中識別人類各種行為的AI技術）的手指動作識別功能進行了擴充套件，新開發出“行為分析技術Actlyzer--洗手動作AI識別技術”。該技術基於雙手的整體形狀和洗手時的一系列運動模式，可自動識別使用者在洗手時複雜的手指動作。
該技術可對日本厚生勞動省建議的正確洗手六部曲的實施情況，以及各步驟中手的揉搓次數進行正確地自動識別。另外，透過使用該技術，在食品行業等需要進行衛生安全管理的現場，可有效促進洗手的正確實施、防止遺漏，削減人工目測監督所需工時數，為確保食品安全和預防傳染病做出貢獻。
【開發背景 】
近年來，洗手作為保護人類健康免受細菌、流感、新型病毒等侵害的一項防禦措施，其重要性正得到全世界的重新認知。日本厚生勞動省建議並倡導的正確洗手六部曲，可有效預防食物中毒及各類傳染性疾病。
正確洗手六部曲
當前，為了確認食品行業的從業人員在洗手時，是否實施了洗手六部曲，且每個步驟都按規定次數進行了揉搓，通常採用的方法是：從業人員自行填寫檢查表進行申報，或由監管人員目測進行監督確認。然而，人工核查確認，會導致在人為失誤、監管人員資源保障等方面，產生較高的管理成本。另外，近年來，在食品行業等眾多產品製作現場，目測監管正逐步向基於機器學習、深度學習的自動化監測轉變，對於洗手動作自動化確認的需求也日漸高漲。
【 課題 】
近年來，基於深度學習的手勢識別技術，作為識別手部及手指動作的常用技術正得到不斷髮展。該傳統技術可從手部影象中檢測出手指關節、指尖等手部的多個特徵點，並根據這些特徵點的位置關係確定手勢。然而，傳統技術的一個問題點是，人們在洗手時，由於雙手發生重疊，手上覆蓋了皂液泡沫，所以導致無法準確檢測出手指特徵點，從而無法對動作進行正確識別。
傳統的手部跟蹤技術（左：手勢的識別結果，右：用於洗手動作的結果）
【 此項研發技術 】
此次，富士通研究所及FRDC對其獨有的AI技術“行為分析技術Actlyzer”的手指動作識別功能進行了擴充套件，新開發出可準確識別洗手動作的“行為分析技術Actlyzer--洗手動作AI識別技術”。
開發的技術具有以下特徵： 透過結合雙手的整體形狀和重複的運動模式，對雙手複雜的手指動作進行識別 為了捕捉洗手時複雜的手指動作，該技術透過將其定義為雙手形狀和反覆揉搓動作的組合，基於雙手形狀識別和運動識別兩大深度學習引擎實現檢測。 雙手形狀識別引擎，規定了雙手基本形狀（雙手重疊時手指動作的代表形狀），透過使用事先訓練好的學習模型，來判定影片中每一幀的手部形狀。透過聚焦整體形狀，解決了因手部重疊或泡沫等造成的無法正確檢測指尖和關節特徵點的問題。
另外，透過使用可跟蹤資料變化的富士通獨有AI技術“High Durability Learning（高耐久性學習）”，在操作現場，即使攝像頭位置、照明光線發生變化，也可對雙手基本形狀保持高精度識別。運動識別引擎，透過使用訓練好的模型（該模型可從連續幀檢測出週期性變化的運動模式），基於重複模式及其週期，將重複次數作為揉搓次數進行計算。
此外，透過將上述兩個識別引擎的結果進行相互反饋，可進一步提高識別精度。運動識別引擎，根據雙手形狀識別引擎識別得出的步驟，為需要判定的運動大小設定閾值，以防止檢測到與泡沫運動或揉搓無關的手部震顫等錯誤週期。雙手形狀識別引擎，透過利用運動識別引擎檢測出的重複模式週期，對雙手形狀的判定結果進行過濾，從而達到提高檢測精度的效果。
結合雙手的整體形狀與運動模式，對複雜的雙手手指動作進行識別
【 效果 】
富士通獨立拍攝、收集了約有2000種變化形式（包含人與攝像頭的位置、皂液種類等）的洗手影片資料集，來進行訓練和評估。結果顯示，正確洗手6步曲中的動作識別平均判定精度達到了95%以上，揉搓手部次數的判定精度則超過了90%。在現場執行該系統時，從業人員需按照洗手步驟及每步規定的揉搓次數清洗雙手，直至系統判定為洗手結束方可終止。此時系統會結合洗手實施的時間等資訊，自動記錄資料，從而避免遺漏。
洗手動作識別與判斷
基於該技術，在需要進行衛生管理的現場可自動確認洗手的實施情況，並可將目測監督確認及手動記錄所需工時減至為零。另外，由於錯誤的洗手動作無法被系統正常識別，因此該技術還可起到教育作用，促使每個人都能掌握正確的洗手方法，實現洗手方式的標準化。 此外，該技術不僅適用於食品行業，還可廣泛應用於醫療、教育、住宿、活動設施等各個場所，可對衛生管理、預防流感或新型病毒等傳染性疾病做出重大貢獻。
(7476972)