大華、宇視、商湯、曠視......扒一扒冬奧會上的「AI」力量
毫無疑問,2月份國內最火熱的賽事莫過於北京冬奧會:人見人愛的冰墩墩,如美如畫的開幕式,以及假期“霸榜”的谷愛凌選手......都給觀眾留下了深刻印象。
這一精彩紛呈的賽事,背後離不開高新技術的支持。不論是場內外的安全防疫、觀眾引導和治安,還是場上捕捉精彩瞬間、賽事轉播,以及現場8K觀賽、線上VR觀賽,背後都需要各類技術的融合支撐。
隨着冬奧會走向尾聲,各種AI技術也先後露面。今天,掘金志就來扒一扒冬奧會上,那些讓人眼前一亮的「黑科技」。
曠視:區間智能防疫系統+室內視覺定位導航首先,假設你為一名觀眾,正在體育場外等候入場,除了要檢票之外,更重要的是測量體温、查驗健康碼,實現疫情的精準防控。
曠視為此提出「智能測温」解決方案,一方面可實現多人同時測温通行,另一方面能夠實現非接觸式AI輔助篩查疑似發熱人員。主辦方僅需要少量工作人員即可完成觀眾體温排查,在大幅度提升檢測效率的同時,減少了交叉感染的風險。
進入體育場之後,你對場館肯定是陌生的,不論是找座位,還是洗手間,都需要「室內導航」。
市面上常見的室內導航,主要依靠藍牙、Wi-Fi等技術進行識別,成本高並且精度較低,容易受場景限制。在相對封閉的場館,由於觀眾密集,手機信號很差,傳統的室內導航效果並不明顯。
為此,曠視研發出室內視覺定位導航系統,該系統採用室內視覺定位技術,無需對室內建築環境二次改造,僅使用激光視覺地圖採集設備對現有環境採集,就可以實現定位功能。
與傳統室內導航相比,該系統主要有兩個亮點:
精度提升至亞米級,相比較而言,傳統GPS定位精度在5米左右,WiFi、藍牙定位則是1-3米;
無需額外增加傳感器,室內環境也不用加裝輔助定位設備,具備成本優勢。
曠視冬奧項目工程師張長勝表示,觀眾通過手機隨手拍方式便可輕鬆定位;並且支持離線識別定位,在人流密度較大5G/4G無法完全覆蓋的場所仍然可順暢導航。
商湯:AI觀賽+AR導航假設你已經找到了自己的座位,並開始欣賞選手們的精彩表演。但受限於人的視力、角度等問題,觀眾很難捕捉到比賽的精彩畫面;並且,對於一些專業性較強的運動,觀眾需要專業解説才能感受到運動的美感。
例如,在被譽為冬奧會“國際象棋”的冰壺運動中,由於冰壺壺體較小,視距較遠,並容易受到運動員身體遮擋干擾,座位席上的觀眾不得不借助於望遠鏡,或者現場大屏幕來觀察細節。
為了解決這個難題,商湯基於視覺AI感知、深度學習、三維建模和空間定位等技術,打造了「冰壺運動軌跡捕捉」技術。
該技術克服了超大空間環境下基於遠視距對較小物體運動軌跡精準捕捉的難題,通過對真實場景的數字化映射,實現對運動冰壺的檢測跟蹤和軌跡捕捉。同時,結合實時渲染、虛實同步技術,系統可以將冰壺軌跡進行精準還原,並將畫面轉化為視頻流,輸出至網絡平台和現場大屏幕。
憑藉該技術,不論是線下,還是線上,觀眾都可以近距離觀察冰壺運動的細節、運動規律和賽況;解説員也能分析運動員的狀態和投壺技巧、戰術等,實現「AI觀賽」。
與曠視類似,商湯在導航方面推出了「AR導航」,但側重於室外,服務對象主要為奧運村的運動員和工作人員。
在張家口冬奧村中,由於奧運村及周邊面積較大(超30萬平米),要在短時間內構建高精度三維地圖,對技術要求很高;而且,村內建築風格統一,加上冰雪覆蓋,這種環境下,很難基於圖像來實現精準地識別自身位置。
對此,商湯通過GPS與視覺融合的數據關聯方法和參數分塊優化方法,以及綜合利用視覺、藍牙、GPS等信號等技術,並針對冰雪場景,訓練了不同天氣條件下魯棒的圖像特徵,從而在複雜場景下,實現了6自由度空間定位。
據瞭解,該導航系統可以實現大尺度場景下釐米級的三維地圖構建和部署,並解決了動態複雜場景下實現精準定位跟蹤等難題。用户打開手機專屬APP,打開攝像頭識別周邊環境,即可定位自身位置,輸入目的地後,跟隨AR虛擬箭頭,即可進行導航。
大華股份:智能視頻跟蹤系統對於冬奧而言,另一個重要的環節是,利用視頻技術來甄別選手的動作是否違規,以輔助裁判對選手的得分情況進行更為準確的判罰,這既是對選手、賽事的尊重,也體現出舉辦方公平公正公開的奧運精神。
以往的判罰主要基於裁判的主觀意識,而人本身會受限於視角、經驗等因素,容易忽略一些動作細節。
比如,在一些速度快、賽道窄的項目中,受場地環境影響,成誤判、錯判等情況並不少見,從而影響選手的成績和比賽的公平性。
大華股份為此研發出專門適用於冬奧會雪車、雪橇項目的「智能視頻跟蹤系統」,該系統能實現在高速移動場景下,捕捉到運動員在通過不同斜坡道的畫面,並進行無縫銜接、有序展示,全程記錄比賽的每一處細節,為裁判的判罰提供視頻依據,保證比賽的公平公正。
該系統同樣可用於改進運動員訓練,為賽前訓練提供數據支撐。運動員通過賽事視頻進行回顧,可以發現難以察覺的動作細節或者説存在的動作缺陷,從而制定具有針對性的訓練計劃,來提高訓練效果。
宇視:户外LED大屏+智能安防系統前面提到,在部分冬奧項目中,觀眾需要通過大屏幕來觀察比賽細節。對於一些比賽場館而言,户外大屏作為信息傳遞的重要平台,屏幕本身需要滿足諸多嚴苛的條件。
比如,大屏幕要在極寒、防水條件下穩定運行,並且,8K轉播技術對於IC芯片、電源的要求非常高。
宇視從實際場景出發,提供户外MW75XX系列P5產品,該產品主要採用了高刷新IC、高效防潮電源、IP65等級的信號等配置。
在防水方面,通過模組防水、箱體防水、關鍵器件防水的處理,保證在大雪或潮濕環境依舊可以正常工作。在耐寒方面,除了選用低温電源以外,還在屏體內安裝制熱設備,以保證設備穩定運行。
宇視在冬奧會上的另一個亮點,是參與了首都體育館、冰雪小鎮文創商街的智能安防系統的改造。
在首都體育館的智能安防項目中,宇視提供了近1000路的高清視頻監控、智能一體化存儲、等產整網解決方案。整個場館的實時數據可直接推送至奧組委平台,為奧運安全保障提供技術支持。
冰雪小鎮文創商街的智能安防系統,宇視提供了近1500路的高清視頻監控、智能一體化存儲、超融合分析平台及LED大屏顯控等整網解決方案,可在重要通道佈置相應設備,結合後台數據,助力冬奧會的安保工作。
除此之外,宇視在智慧高速方面也有參與。
以延崇高速為例,作為進入冬奧會張家口崇禮賽區的公路主通道,宇視覺通過部署千餘路攝像機,199套智能運維箱等設備,提高了交管平台的運營、管理效率等等。
中科智雲:智能哨兵機器人許多比賽項目在户外舉行,因此户外項目的安保工作也非常重要。
在場外,賽事場地通常會加裝物理圍欄或使用人力來維持安防工作,但在地形複雜、氣候條件嚴苛以及晝夜温差大的環境下,如何為賽場提供安全防護工作、減輕人力負擔,也是需要解決的問題。
例如,張家口密苑雲頂樂園(冬奧會和冬殘奧會比賽場地之一),佔地面積約100平方公里,地處太行山和燕山交會的大馬羣山中,夜晚温度可達零下四十度。
這種惡劣條件下,依託人力、圍欄等傳統方式不但效率低、效果差,而且增加高昂的人力成本。基於此,中科智雲及其合作伙伴共同研發了「智能哨兵機器人」。
該機器人運用了中科智雲的識別算法和反入侵技術,能夠分辨低特徵差異,解決防攻擊防偽裝,穩定性問題。在日常監測中,機器人能全天候進行邊界監控、目標識別、多目標跟蹤、異物檢測、道口警示等功能,並自動精準判斷入侵者的類別,將監測到的情況或入侵者的行蹤軌跡上傳至後台指揮中心,從而確保賽場安全。
掘金志瞭解到,目前,已有13台智能哨兵機器人上崗,監測距離超過15公里,形成電子屏障,相當於傳統200個警衞的安防力量。
科大訊飛:語音交互終端作為國際性賽事,冬奧會的參賽人員、部分觀眾來自世界各地,語言各有差異,容易造成交流障礙;並且一些特殊人羣,例如殘奧會的部分選手、冬奧會的部分具備溝通障礙的觀眾,在參賽、觀賽過程中也會遇到困難。
科大訊飛為此研發出了多語種智能語音及語言服務平台,以及各種翻譯設備,提供定製優化的語音識別、語音合成、機器翻譯、自動問答等服務。
據悉,該平台同時支持60個語種語音合成、69個語種語音識別、168個語種機器翻譯和3個語種交互理解。冬奧場景下漢語與英、俄、法、西、日、韓等重點語種翻譯準確率不低於95%;平均每句翻譯響應時間不超過0.5秒。
科大訊飛高級副總裁杜蘭表示,科大訊飛從3個方面助力本屆冬奧會。
人與人的溝通,助力來自不同國家和地區的選手、教練、遊客及志願者等人羣之間的語言交流;
人與組織的溝通,實現會議機器自動翻譯及轉寫;
人與賽事的溝通,主要是幫助各國觀眾、遊客快速掌握賽事信息,並輔助視障人士聽得見奧運文字、聽障人士看得見奧運聲音。
科大訊飛還推出了諸如雙屏翻譯機、虛擬人智能交互一體機等設備,提升了多語種信息獲取、發佈、傳播的及時性和便捷性,滿足冬奧及冬殘奧會無障礙、跨語言溝通的需要。
當虹科技:8K編碼器受制於疫情,能到現場觀賽的觀眾終究是少數,許多人只能通過線上的方式,來參與冬奧、欣賞冬奧選手的高光時刻,這就需要用到8K直播技術。
作為目前最接近“人眼真實”的超高清技術,8K的分辨率是高清的16倍,在量化、幀率、色域等方面比4K更強,結合3D渲染等技術,能給觀眾帶來“身臨其境”的體驗。
但要實現8K超高清直播,除了要採用專門的8K相機以及專業的調色、包裝,進行採集製作之外,還涉及「編碼傳輸」這一核心步驟。
編碼傳輸,即是將視頻數據量巨大的8K超高清視頻,通過編碼器來壓縮8K直播信號碼流,在減少傳輸帶寬的壓力的同時,使其適應8K超高清電視、8K超高清户外大屏等終端,最終能夠流暢、穩定地呈現出來。
由於8K超高清直播要求低碼率、高畫質、高併發、低延時,這對編碼傳輸帶來了許多挑戰。
一方面,視頻數據量過於龐大,對計算性能(如算力、算法等)和編碼效率的要求很高;
另一方面,在需要更高壓縮率的同時,用户也對於畫質提出了更高的要求。
因此,當虹科技通過與英特爾合作,推出了8K AVS3 超高清一站式解決方案。
這裏提到的AVS3,是我國具有自主知識產權的視頻編碼標準(第三代),採用了更靈活的塊劃分結構、更精細的預測模式、更具適應性的變換核,比AVS2節省約30%的碼率,從而提升編碼效率。
同時,該方案基於圖像分析及主觀視覺的編碼模型,通過數十萬素材庫的深度學習超分技術,以及不同場景、高低分辨率差別學習和AI訓練,來提升編碼畫質。
在這次冬奧會中,當虹科技8K編碼器還適配國內首個HDR標準(HDR Vivid),實現更大曝光動態範圍,能更好提取和顯示高光及暗部細節,豐富色彩和層次,增強縱深感,讓畫面更趨近自然。
天地偉業:環保卡口+超星光違停球在舉辦大型賽事期間,交通問題也顯得較為突出,尤其是車流量劇增之後,交通執法也不能單靠人力巡查來解決。
為了保障交通的平穩運行,北京交管部門特意劃分了42條近239.5公里的奧運專用車道。在這些車道上,部署着專用的“電子警察”,通過執勤交警現場執法,和卡口攝像機抓拍記錄非現場執法兩種方式,進行執法工作。
天地偉業為此推出了「天星環保卡口」和「超星光違停球」。
普通電子警察在夜間抓拍時,會產生瞬間爆閃,容易給駕駛員造成視覺障礙,存在一定的交通隱患。
天星環保卡口主要採取了雙Sensor多光譜融合技術,入射光經過攝像機內部的分光裝置,可見光用來捕捉色彩;同時紅外光用來感受紋理和亮度,將獲取的畫面進行像素級逐幀融合,整體色彩還原性高、無偏色,圖像整體亮度質量高。
在夜間,該產品可通過紅外補光把光污染降到最低,獲得和白光爆閃相同的全綵效果,既可檢測抓拍違法車輛,也不會對駕駛員造成影響。
對於違停現象,天地偉業的超星光違停球可在佈置場域內形成360度巡視,形成全方位、全時段覆蓋,並且通過語音警戒來驅離違停車輛。
天地偉業品牌總監張徵表示,該違停球可適用於複雜場景,檢測違停車輛的成功率在95%以上。
蘇州科達:AI超微光電警+AR實景指揮蘇州科達在交通方面推出了「超微光電警」、電子卡口、違停球等產品,佈置在張家口市區的諸多路段、路口。
其中,共有近400套AI超微光電警落地主幹道,無需補光燈,就可在夜間抓拍清晰準確的違章圖片,減少光污染的同時,為解決違停、違章等提供視覺支撐。
在整個交通運行狀態中,科達依託高點監控搭載了AR實景指揮系統。
傳統的交通指揮系統需要多個攝像機提供實時數據,但存在畫面獨立、不連貫的問題,割裂的畫面很難反映整體的交通區域狀況,指揮中心也無法兼顧全局。
科達的AR實景指揮系統依託3D定位、AI等技術,可通過AR高點全景攝像機獲取監控點全景視頻,進而與區域內低點攝像機形成視頻聯動,兼顧整體與局部。
同時,該系統支持視頻調閲、數據展示、信息標註等功能,給指揮中心提供立體化、可視化的交通信息,從多個角度助力冬奧會的交通運行。
結語“智能化、人性化”是冬奧會的科技底色,各種聞所未聞、見所未見的技術,在提升競技效果、改變觀賽方式的同時,為世界呈現出了全新的「中國名片」。
為那些默默在背後提供技術支撐的企業點贊、致敬!雷峯網雷峯網