在數(shù)字時代基于文本的模擬手冊已經(jīng)被智能眼鏡和利用人工智能(AI)的增強現(xiàn)實(AR)所取代。 AK GO是一個由Unity構(gòu)建的工業(yè)解決方案，可以實現(xiàn)沉浸式飛機維護培訓(xùn)，由Augmented Knowledge Corporation創(chuàng)造。

AK GO背后的故事始于2008年。Augmented Knowledge Corp .的創(chuàng)始人兼首席執(zhí)行官Kevin GS Jo為我們講述了公司的發(fā)展和Unity在其公司發(fā)展中所扮演的重要角色。作為虛擬現(xiàn)實（VR）和人工智能的長期擁護者，Kevin GS Jo一直在研究該技術(shù)在航空維修領(lǐng)域的應(yīng)用。

這個項目是如何開始的

在2008年擔(dān)任大學(xué)教授期間，Jo就獲得了空中客車公司的資助，與南加州大學(xué)和大韓航空公司就使用AR和AI技術(shù)進行現(xiàn)場航空維護進行了實證研究。

他的研究證實，使用AR和AI技術(shù)進行飛機維護訓(xùn)練將維護效率提高了30%以上。Jo還發(fā)現(xiàn)，就質(zhì)量而言，即使經(jīng)驗不足的工人也可以執(zhí)行幾乎零錯誤的維護。他在人工智能促進協(xié)會（AAAI）關(guān)于人工智能的會議上展示了他關(guān)于相關(guān)基礎(chǔ)技術(shù)及其應(yīng)用的論文和這些成果。

當(dāng)時，AR和混合現(xiàn)實（MR）眼鏡很少見，但隨著技術(shù)的進步，各種智能眼鏡，如HoloLens 2和Magic Leap，今天已經(jīng)在市場上隨處可見，這為jo項目的實際應(yīng)用奠定了基礎(chǔ)。Jo在美國、中國和韓國為他的研究成果申請了專利，并開始了在行業(yè)內(nèi)將這些成果商業(yè)化。

AK GO：航空維修培訓(xùn)的XR內(nèi)容

飛機維護是一個必不可少的過程，糟糕的維護會導(dǎo)致致命的事故。根據(jù)國際民用航空組織（ICAO）2016年的一項研究，約14%的飛機事故是由故障維修引起的。盡管飛機或復(fù)雜機械的維護受到嚴(yán)格控制，以確保維護是根據(jù)文件化的程序進行的，但是在維護工作之前找到并理解PDF文件或紙質(zhì)手冊中的大量內(nèi)容，然后確認(rèn)二維圖紙如何對應(yīng)于現(xiàn)實生活中的飛機是復(fù)雜且耗時的過程。

飛機維修手冊配備的AI解決方案AK GO，通過工作人員佩戴的智能眼鏡，同步顯示三維的飛機零件和手冊。通過使用擴展現(xiàn)實（XR）內(nèi)容、人工智能和語音交互的模擬，對工人進行高效的維護流程培訓(xùn)。

通過使用AK GO，維修人員可以像在真實的飛機上訓(xùn)練一樣學(xué)習(xí)和重復(fù)訓(xùn)練現(xiàn)實的維護流程，而培訓(xùn)機構(gòu)可以提供高質(zhì)量的培訓(xùn)，而不必購買昂貴的設(shè)備。

與現(xiàn)場工作流程完全相同的沉浸式內(nèi)容

飛機很貴，一架飛機通常至少要花費1000億韓元。航空維修培訓(xùn)機構(gòu)獲取資源有限。培訓(xùn)機構(gòu)經(jīng)常需要使用舊飛機，例如退役的或不再飛行的輕型飛機，作為培訓(xùn)設(shè)備。然而，由于擔(dān)心設(shè)備的進一步損壞，即使是舊飛機現(xiàn)在也只能作為展示模型。

為了應(yīng)對這些挑戰(zhàn)，Jo致力于開發(fā)能夠準(zhǔn)確模擬真實現(xiàn)場維護流程的沉浸式培訓(xùn)內(nèi)容，這是XR技術(shù)的一個典型用例。

對于有效的航空維護培訓(xùn)內(nèi)容，如同在工業(yè)場所的所有工作一樣，用戶必須容易獲得信息，并且必須騰出雙手來執(zhí)行工作。現(xiàn)已上市的可穿戴智能眼鏡HoloLens 2實現(xiàn)了這一功能，因此Jo的團隊專注于為該設(shè)備開發(fā)航空維修內(nèi)容。該團隊還應(yīng)用了語音識別技術(shù)，以便員工可以輕松獲取信息。

當(dāng)我們的開發(fā)團隊第一次開始開發(fā)時，我們很難選擇一個引擎，因為我們之前沒有任何引擎經(jīng)驗。Unity引擎有很大的吸引力，因為與其他引擎相比，它新手用戶非常友好。此外，由于它支持高級開發(fā)，我們確定Unity引擎在長期開發(fā)過程中會幫助我們減輕修改的負(fù)擔(dān)。此外，它促進了HoloLens 2的MR內(nèi)容的開發(fā)，并提供了一個環(huán)境，使得獲取和使用我們開發(fā)所需的插件或資產(chǎn)等東西成為可能。這就是我們選擇Unity的原因。

–Kevin GS Jo，Augmented Knowledge Corp首席執(zhí)行官兼創(chuàng)始人

從智能眼鏡到平板電腦共享視頻

為智能眼鏡開發(fā)VR內(nèi)容可能會有問題，因為只有佩戴該設(shè)備的人才能看到通過眼鏡顯示的內(nèi)容。因此，AK GO團隊提高了用戶友好性。每個學(xué)員不必同時配備昂貴的智能眼鏡或虛擬現(xiàn)實設(shè)備和一臺PC，一名學(xué)員可以使用該設(shè)備，同時眼鏡的視頻輸入可以共享到其他屏幕，如平板電腦上。

使用AK GO，學(xué)員可以通過智能眼鏡看到實際飛機的圖像，并獲得在上下文中顯示的工作程序的指導(dǎo)。此外，通過深度學(xué)習(xí)語音識別技術(shù)，受訓(xùn)者可以輕松訪問程序每個步驟的菜單和內(nèi)容。來自HoloLens 2設(shè)備的視頻也可以傳輸?shù)狡桨咫娔X上，這樣就可以與他人分享視頻，這樣他們也可以實時查看學(xué)員使用的內(nèi)容和訓(xùn)練狀況。

在飛機起落架拆卸和組裝的過程中，人工智能通過與受訓(xùn)者交流，在受訓(xùn)者的視野內(nèi)顯示手冊中的程序步驟。通過結(jié)合AI和XR技術(shù)，受訓(xùn)者可以與維護知識庫進行通信，以查看維護期間的必要信息，這些信息將疊加在AR中的三維模型上。

Unity功能

據(jù)首席架構(gòu)師和AR開發(fā)人員Chidon Ahn稱，Unity的編輯器腳本對于這個項目來說是無可替代的。但不僅僅是一個項目。如果你正在進行多個類似的項目，一旦使用編輯器腳本定義了任務(wù)，那么該任務(wù)就可以很容易地重復(fù)。

當(dāng)開發(fā)處理隨著每次重復(fù)而變化的大量數(shù)據(jù)的內(nèi)容時，開發(fā)人員必須手動處理一切。然而，有了Unity，這個過程就可以通過使用適當(dāng)產(chǎn)生的元文件和預(yù)定義的pre-fabs來實現(xiàn)自動化。

“Unity擁有各種資產(chǎn)，可以被像我們這樣的小型開發(fā)團隊有效地使用。Unity還通過使用云技術(shù)優(yōu)化了共同開發(fā)功能，所以我們從這個項目開始就一直使用Unity。”

–Chidon Ahn，Augmented Knowledge公司首席架構(gòu)師和AR開發(fā)人員

未來展望

AK GO在AI和XR融合內(nèi)容的設(shè)計、測試和實現(xiàn)方面的重點目前一直圍繞著航空維修領(lǐng)域。AK GO計劃在未來將這些功能擴展到數(shù)字孿生領(lǐng)域，在這一領(lǐng)域中將涉及對車輛電子設(shè)備、家用電器和工廠等工業(yè)資產(chǎn)等更多方面進行實時維護培訓(xùn)。

Augmented Knowledge Corporation計劃以軟件即服務(wù)（SaaS）模式向全世界提供各種飛機類型的基于云的實時維修培訓(xùn)內(nèi)容。Unity也將被計劃應(yīng)用于這些項目之中。