VR技術帶來了一個非常美妙的應用場景,整個行業都在努力讓用户更好的在虛擬世界裏行走。本篇文章分享了VR虛擬培訓系統的設計方案與模型處理步驟,帶領我們更具體地瞭解VR虛擬培訓系統設計。
本文側重於一種通用性方法,更深入的分析需結合具體的場景,請諒解。
本系列還將產出四篇文章:
包括這篇文章在內,是目前企業最主流的幾大B端產品,形成ToB、ToG產品經理可複用的基礎性的工作思路。
VR是Virtual Reality的縮寫,中文的意思就是虛擬現實(真實幻覺、靈境、幻真),也稱靈境技術或人工環境。概念是在20世紀80年代初提出來的,其具體是指藉助計算機及最新傳感器技術創造的一種嶄新的人機交互手段。虛擬現實是利用電腦模擬產生一個三維空間的虛擬世界,提供使用者關於視覺、聽覺、觸覺等感官的模擬,讓使用者如同身臨其境一般,可以及時、沒有限制地觀察三度空間內的事物。
——百度百科
隨着VR設備的成熟,越來越對B端用户選擇利用VR實現一套可複用的培訓、訓練系統。VR中的場景不僅可以實現在現實生活中難以模擬的場景,還可以大幅節約培訓場地費用。VR與培訓結合被稱為虛擬培訓。
本文提供了一種設計思路可用於各類工廠,企業的虛擬培訓,如流程培訓,裝備培訓,消防培訓,應急培訓等。
培訓場景關注點:
VR虛擬培訓的優勢:
針對某場景的虛擬培訓系統
虛擬培訓系統解決方案,是基於國際先進3D開發引擎,借鑑三維領域先進的虛擬互動框架,並吸收虛擬現實頭顯技術,打造的具有沉浸式體驗的虛擬現實解決方案。
該方案可實現可以導入各類三維設計軟件模型製作的模型,並通過先進的模型精簡算法將這些模型進行精簡壓縮,在訓練系統中可以直接顯示、使用這些模型,並能對這些模型進行位置、旋轉、顏色等各種參數的設置,使用者可以基於這些模型自定義的編輯各種流程模擬事件,實現多人蔘與的模擬訓練。
該方案具備將製作成品導出成不限於Windows系統的各種平台的能力,並通過VR頭盔、手柄等體感裝置實現沉浸式體驗。
虛擬培訓系統應具備情景設置、模擬、對各種事故場景提供預案、可重複性的培訓演練等功能,提供培訓支持。
系統的主要功能包括模型輕量化功能、資源的導入功能、互動案例的編輯功能、資料庫、功能庫、系統定製等方面,系統環境如下:
(1)模型導入
虛擬訓練系統可以導入不同類型\\等級的場景,以及目標內部及外部設備、建築和結構等各種不同三維類軟件(如工廠三維建模設計軟件、Smartplant3D、PDS、UG等)產生的三維數字模型,包括但不限於FBX、IGS、3DS、STEP等格式,基本能夠支持市面上絕大多數主流的三維模型製作軟件。
(2)模型輕量化
由於多數三維模型頂點多、面數大,不適合直接放到主流的3D引擎中使用。本系統所採用模型輕量化技術可以實現快速、智能化、批量化的精簡模型,能高效的減少原始模型的體積和幾何面數,模型精簡的批量化率能夠達到80%及以上。
該技術擁有強大而高效的減面算法,能夠解析設備類、管道類、建築類、結構類等各種模型並進行簡化。
模型精簡後可以導出成常見的三維模型中間格式文件,包括但不限於 FBX、 IGS、 3DS、 STEP、 OBJ 等。
精簡後的模型具有優質的質量,可以導入Maya、3Dmax等三維軟件,能夠轉換成其它任意格式,滿足各種系統的模型利用需求。
系統是一個可視化的開發和操作平台,可以實現在場景中任意的移動模型的三維座標、調整旋轉角度、查看模型參數,並能夠自定義的創建和編輯各種流程模擬事件,實現多人蔘與的人員培訓功能,同時還具備空間測量、設備標註、自由漫遊、物理干涉、路線規劃等一系列功能。
(1)統一的虛擬仿真軟件平台
本系統中的可視化開發平台是一個統一的虛擬仿真軟件平台,所有專業所使用的各種設備、建築和結構等三維類軟件所設計出的三維模型最終均在此平台中統一體現,全部成為場景中可視、可操作、可編輯的一部分,且在平台中各模型均保存有設計中的真實數據,如尺寸、位置、物理參數、化學參數等,這些數據均可在平台中查看或使用。
平台具備功能如下:
(2)仿真模塊
預置場景作為訓練系統基礎模擬場景。系統具備擴展場景和課件的能力,可以根據需要增減培訓項目並設置相應的模擬場景和教學、考核課件。
本平台可以實現非標設備的外部導入,在本平台已投入使用後,三維模型設計人員用各種設計工具製作的原本不在本平台中的設備等模型,可以通過本平台資料庫的功能,實時的導入進平台,實現平台中模型的動態擴充,並能夠與平台中原有模式一樣被操作使用。
除設備庫外,本平台資料庫的功能還包括音頻庫、視頻庫、人物動作庫、地形庫、材質庫等各種場景中可用的資料庫,這些均可從外部實時導入進平台中,以實現平台的熱更新。
(3)可視化演示模擬系統
本平台中所有的模型均導入自設計階段各專業各種三維設計軟件製作的模型,是設計模型和數據的真實體現,各模型中的設計數據均能在平台中被調取,並以報表、標籤、提示等各種方式進行可視化展示,並可以根據需要導入成excel等多種格式。
除了模型的真實設計數據,用户還可以根據需要為不同種類的模型添加額外的自定義數據,如生產廠家、採購時間、維護記錄等,這些均可可視化展示以用於培訓和實際操作的演練。
平台還具備實時獲取所對應的真實設備的當前運行狀態等運營數據的擴展能力,可動態顯示重要設備設施的參數變化、重要設備實時工作狀態。
(4)小型化同步可視化系統
本平台採用國際上成熟的技術框架,可方便的將場景發佈到各種平台,如PC機、平板電腦、手機等移動設備,可運行在windows、安卓、蘋果等各系統上,可以使用便攜式設備作為載體用於在事故現場指揮。
(5)流程模擬系統
系統基於結構真實三維數據庫,可以實現由用户自定義各種事件來形成模擬流程,用户可以將一系列設備的運動、旋轉、變色、伸縮、動畫、光影變化、材質變化、特效發生等各種活動製作成一個個事件,然後將一組事件連貫起來製作成一個流程模擬的訓練流程,管理員可以任意的編輯此流程,包括調整流程的順序、添加新事件、刪除事件、更改時間的參數和實現方式等,實現完全的自定義設計模擬流程,可以模擬各種場景下的培訓。
(6)虛擬協調訓練系統
在一個流程模擬中,需要不同類別、不同權限的人員參與,協同工作以完成一項事情,本平台的多人在線系統功能以類似網絡遊戲的形式,支持多人同時參與,在虛擬流程中,不同人員分屬於不同工種,擁有對設備操作的不同權限,按照管理員規定的操作規則,個人各司其職,協同完成一個流程模擬,達到虛擬協調訓練的目的。
(7)物理干涉與人機功效分析
本平台的物理干涉功能可以實現用户自行設定平台內任意設備為運動體,同時自定義參與物理碰撞的區域,並自定義運動體的運行路線,以檢測運動體按既定路線運動時是否會與周圍設備或場景發生物理碰撞,能夠生成碰撞報表,以驗證該設備的設計方式或場景內設施安置的合理性。
本平台可以採用VR頭盔、手柄、動作捕捉裝置、力反饋設備等虛擬現實設備來實現沉浸式虛擬體驗,用户可以身臨其境的在場景中移動、用手指抓取、觸碰、操作場景中的設備,配合力回饋技術和身體其他關節的形態捕捉技術,可以實現人機功效分析的功能,如驗證人物是否可以方便的對場景內某設備進行操作。
(8)方案驗證系統
本平台的自定義模擬流程功能可以作為情景方案合理性的驗證使用,管理員可以先編輯多套流程,通過演示判斷其合理性,再選擇是否將其發佈成所有客户端均可參與的狀態。
同時,本功能還可用於製作一批指導性使用的三維動態説明書,用户可在平台中遵循操作步驟,看到每一步操作的方式方法和所能導致的效果,一步步的執行完整個説明流程。
(9)真實光照模擬
本平台可以在場景中設置各種類型的光源,可編輯這些光源的強度、範圍和顏色,使得場景可以處於模擬出的真實光照環境下,以豐富流程模擬的場景環境。
(10)漫遊功能
本平台可實現自然漫遊和自動漫遊功能。
自然漫遊指用户可以在場景中,以第三人稱視角任意的不受限制的漫遊,使用鍵盤和鼠標操作控制,能夠讓鏡頭上、下、左、右、前、後平移、360度自由瀏覽、拉近/拉遠等漫遊操作。
自動漫遊指用户可以自設定漫遊路線,第三人稱鏡頭會按照設定的路線進行移動,實現漫遊。此外,可以設置漫遊速度、漫遊高度、鏡頭朝向。
本平台還具備實現互動漫遊的擴展能力,互動漫遊是在自動漫遊的基礎上,可以前進、停止、後退,也可換一條新的路線繼續漫遊,漫遊中可查看漫遊路線上的物品信息。
(11)標註功能
本平台可由管理員對平台中任意可操作的物品進行標註,可以以文本的方式任意標註備註信息,同時也可以標註電子地圖地理信息,使得用户在漫遊或模擬培訓中對設備的用途、狀態等信息一目瞭然,對周邊環境地理信息一目瞭然。
(12)截圖和錄像功能
本平台的使用者可以在使用過程中直接進行截圖,或對接下來一段時間的操作進行錄像,錄像以MP4格式保存。
(13)測量功能
本平台的使用者可以任意測量場景中兩個位置之間的距離,也可以測量某兩個指定設施間的距離。
(14)路線規劃功能
本平台可以由用户在場景中自定義路點,在路點覆蓋的區域內,可以自動規劃出最近的行進路線,並可設置阻礙點,以模擬區域內某些位置因某些原因無法通行時的合理行進路線。
(15)豐富的特效支持
本平台具有豐富的模擬特效功能,可實現起火、爆炸、煙霧、氣化、流體等各種逼真的特效。
(16) 物理引擎支持
本平台採用先進的物理引擎,可以逼真的模擬各種質量和形狀的物品碰撞後的物理效果。
(1)VR虛擬頭盔和手柄
本系統採用的VR虛擬頭盔硬件,能實現沉浸式虛擬現實體驗,2K級別的顯示屏,並具有廣視角、高刷新率、低眩暈感等特點。其配置的手柄靈敏度高、功能齊全、可開發性強,能夠以發射射線的方式實現在虛擬場景中行走、顯示設備數據、觸發設備事件等功能。
手柄同時具備震動功能,程序中可方便的設定在何種交互狀態下觸發手柄的震動,震動的時間長短均可設置,以達到模擬力反饋的效果。
(2)手勢追蹤技術
本系統採用的手勢追蹤技術,擁有通過 26 自由度手勢追蹤以及 6 自由度位移追蹤等關鍵技術,實現在虛擬現實及增強現實場景中的三維人機交互。
三維手勢追蹤:利用雙目攝像頭及三個紅外發射器用於手勢動作識別,根據 26 個自由度辨別手部姿態,收集動作信息,3D 手勢建模。通過計算機圖形算法實現精準及超低延遲手勢追蹤。用户可以直接用手進行自然的人機交互。
位移追蹤:利用頭顯設備內置6 自由度位移追蹤,識別用户頭部的轉動及身體位置,檢測相對位置的變化,內置高性能慣性測量單元和 AHRS 算法保證了高性能的方向檢測,還原人眼的真實視覺效果,為用户在 VR 環境中提供更好的沉浸感體驗。
考評系統由以下各部分組成:
(1)訓練考評控制系統的操作號手操作平台
操作號手可在平台中實現查看成績、訓練信息、課程信息、查閲資料、與考官溝通反饋,獲取新發布的三維模型或客户端新版本等和學習和培訓中相關的功能。
(2)訓練考評控制系統的考官操作平台
考官可以在平台中實現發佈學生成績、訓練、課程、資料等信息,進行模擬流程的方案制定,管理班級和操作號手,並和其他考官、操作號手及管理員溝通反饋等教學中所需的功能。
(3)訓練考評控制系統的管理員管理平台
管理員負責管理整個虛擬系統裏所有的數據,包括三維模型的數據,考官、操作號手的相關個人數據和教學數據,發佈新的培訓課程,發佈新的三維模型或客户端新版本等功能。
(1)VR技術防眩暈功能仍不完善。眩暈主要是由於畫面延遲造成的,後續5G大帶寬、高延遲體驗有助於解決這一煩惱。
(2)VR本質實現的還是畫面的重現,儘管某些設備添加了震感,但仍無法完全替代需要現場手感的培訓,後續可通過豐富的穿戴設備及現場環境的進一步模擬實現(如風感,流體感,温度變化等)
(3)現有手勢識別設備精度仍不足,與軟件中模型的交互時有bug發生。
(4)近視用户仍需手動調節焦距
(5)整個系統的建模過程工作量仍很大,尤其是對於一些需要原始重建的模型,不能用到現有的素材。模型的標準化仍不完善。
沉浸式體驗教學、遠程互動教學、虛擬操作培訓等場景。
5G的大帶寬、高可靠、低時延等特點能讓大量本地運算放於雲端,解決硬件配置的限制,大幅提高畫質。現有的VR場景是通過提前建模設置,5G的大帶寬允許利用VR遠程攝像頭/高清8K攝像頭,採集培訓現場360°全景高清圖像,通過5G網絡回傳到採集媒體處理平台,經實時處理後,教官與受訓人員可映射到同一虛擬“場地”,實現遠程互動教學。解決不能身臨其境,親手操作的問題。
本文由 @大陽 原創發佈於人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基於CC0協議