李福東資深實戰(zhàn)人工智能和數(shù)字化轉(zhuǎn)型專家

?  清華大學(xué)工學(xué)學(xué)士，北京郵電大學(xué)工學(xué)碩士

?  中國聯(lián)通集團首批數(shù)字化創(chuàng)新創(chuàng)業(yè)企業(yè)創(chuàng)始人/CEO

?  原中國聯(lián)通集團數(shù)字化戰(zhàn)略與工程咨詢項目總負責(zé)人

?  原甲骨文公司（全球最大的企業(yè)級軟件公司）數(shù)字化產(chǎn)品專家

?  原天融信公司（網(wǎng)絡(luò)安全領(lǐng)導(dǎo)者）網(wǎng)絡(luò)安全產(chǎn)品架構(gòu)師

摘要

數(shù)據(jù)是物理世界在數(shù)字空間的映射和記錄，模型是數(shù)字空間對物理世界的抽象和沉淀。

基礎(chǔ)模型在大量數(shù)據(jù)上進行訓(xùn)練，以學(xué)習(xí)通用模式，再通過微調(diào)即可應(yīng)用于各種業(yè)務(wù)場景。

本文研究了基礎(chǔ)模型在賽博物理系統(tǒng) (CPS) 數(shù)字孿生環(huán)境中的使用，探討了其在提高數(shù)字孿生創(chuàng)建效率和功能有效性方面的潛力，并討論了基礎(chǔ)模型在更廣泛環(huán)境中使用的挑戰(zhàn)。

本文以自動駕駛系統(tǒng)（ADS）作為代表性 CPS 進行說明，并指出基礎(chǔ)模型與數(shù)字孿生有效結(jié)合的發(fā)展方向。

關(guān)鍵詞

數(shù)字孿生；賽博物理系統(tǒng)；基礎(chǔ)模型；大語言模型

一、基礎(chǔ)模型與數(shù)字孿生創(chuàng)建

基礎(chǔ)模型是近年來機器學(xué)習(xí)領(lǐng)域的一項重要進展，這些模型在大量數(shù)據(jù)上進行訓(xùn)練，能夠?qū)W習(xí)和應(yīng)用通用模式。

由于其強大的適應(yīng)性和靈活性，基礎(chǔ)模型在許多領(lǐng)域展現(xiàn)了廣泛的應(yīng)用前景，特別是在賽博物理系統(tǒng) (CPS) 的數(shù)字孿生創(chuàng)建方面。數(shù)字孿生是一種虛擬副本，可以實時反映物理系統(tǒng)的狀態(tài)和行為。

賽博物理系統(tǒng)的物理孿生與數(shù)字孿生的關(guān)系，如圖1所示：

基礎(chǔ)模型是指在大規(guī)模數(shù)據(jù)上訓(xùn)練的機器學(xué)習(xí)模型，這些模型能夠捕捉和理解數(shù)據(jù)中的復(fù)雜模式和關(guān)系。常見的基礎(chǔ)模型包括大語言模型 (LLM)、視覺模型和多模態(tài)模型。這些模型在自然語言處理、計算機視覺和多模態(tài)融合等領(lǐng)域具有廣泛應(yīng)用。

自動駕駛系統(tǒng)（ADS）是典型的賽博物理系統(tǒng)，其核心功能包括環(huán)境感知、決策制定和車輛控制。

數(shù)字孿生技術(shù)通過模擬真實駕駛環(huán)境和條件來提高系統(tǒng)的開發(fā)和測試效率?；A(chǔ)模型在生成和優(yōu)化ADS數(shù)字孿生方面具有顯著潛力，例如模擬復(fù)雜的交通場景、預(yù)測潛在的風(fēng)險和優(yōu)化駕駛策略。

二、CPS 數(shù)字孿生基礎(chǔ)模型的應(yīng)用環(huán)境

CPS的數(shù)字孿生由數(shù)字孿生模型和數(shù)字孿生能力兩部分組成。數(shù)字孿生模型是物理系統(tǒng)的虛擬表示，而數(shù)字孿生能力則指代數(shù)字孿生能夠執(zhí)行的各種功能。

本文提出了兩種主要應(yīng)用場景：使用基礎(chǔ)模型生成數(shù)字孿生和將基礎(chǔ)模型直接作為數(shù)字孿生。在前者中，基礎(chǔ)模型通過自動化方式生成和優(yōu)化數(shù)字孿生的模型和功能；在后者中，基礎(chǔ)模型本身通過微調(diào)直接作為數(shù)字孿生，實時反映物理系統(tǒng)的狀態(tài)并執(zhí)行相應(yīng)功能。

基礎(chǔ)模型與數(shù)字孿生的關(guān)系，如圖2所示：

場景1：生成數(shù)字孿生的基礎(chǔ)模型

當(dāng)前，生成數(shù)字孿生模型的技術(shù)主要包括基于模型的系統(tǒng)工程方法和機器學(xué)習(xí)技術(shù)。盡管這些方法在一定程度上提高了數(shù)字孿生的創(chuàng)建效率，但仍需大量的人工干預(yù)?；A(chǔ)模型的引入有望顯著減少手工工作，自動生成更加逼真的數(shù)字孿生模型。

基礎(chǔ)模型可以通過多種方式生成數(shù)字孿生模型和能力。例如，可以使用LLM生成模擬模型，或通過多模態(tài)模型生成環(huán)境條件（例如道路和天氣）的數(shù)字孿生。具體的實現(xiàn)方案包括模型元素推薦系統(tǒng)、數(shù)字助理和全自動模型生成器。

使用基礎(chǔ)模型生成數(shù)字孿生面臨諸多挑戰(zhàn)，如模型訓(xùn)練數(shù)據(jù)的可用性和質(zhì)量、模型的保真度和有效性等。然而，這也為研究人員提供了非常多的探索機會，特別是在領(lǐng)域知識與模型微調(diào)結(jié)合方面。

以自動駕駛系統(tǒng)為例，基礎(chǔ)模型可以生成逼真的駕駛環(huán)境模擬，支持自動駕駛算法的測試和優(yōu)化。此外，基礎(chǔ)模型還可以評估生成場景的真實性，確保自動駕駛系統(tǒng)的安全性和可靠性。

場景 2：微調(diào)基礎(chǔ)模型作為數(shù)字孿生

微調(diào)基礎(chǔ)模型使其能夠直接作為數(shù)字孿生，是當(dāng)前研究的一個重要方向。通過微調(diào)，基礎(chǔ)模型可以捕捉特定CPS的行為模式和特性，提供實時的監(jiān)控和分析能力。

微調(diào)后的基礎(chǔ)模型可以用作整個數(shù)字孿生或其部分功能。例如，可以使用LLM生成自然語言描述的操作指令，或通過多模態(tài)模型實現(xiàn)復(fù)雜場景的模擬和分析。

盡管微調(diào)基礎(chǔ)模型作為數(shù)字孿生具有巨大潛力，但其應(yīng)用仍面臨許多挑戰(zhàn)，如模型的透明性和解釋性、實時性要求和數(shù)據(jù)隱私保護等。

在自動駕駛系統(tǒng)中，微調(diào)基礎(chǔ)模型可以生成高度逼真的駕駛場景，并通過實時數(shù)據(jù)不斷優(yōu)化和改進，為自動駕駛提供全面的支持和保障。

三、待解決的問題

盡管基礎(chǔ)模型提供了開發(fā)各種形式的數(shù)字孿生的機會，但它們的應(yīng)用，尤其是在安全關(guān)鍵和任務(wù)關(guān)鍵領(lǐng)域的應(yīng)用，引起了人們對其固有不確定性的重大擔(dān)憂。

例如，黃宇恒（音譯）等人通過實證研究了 LLM 認知不確定性的不同量化方法（Ref.=2），旨在了解不確定性估計是否能夠以及如何很好地幫助描述 LLM 執(zhí)行不同任務(wù)的能力。

Tanneru 等人提出了量化 LLM 自然語言解釋中不確定性的新方法（Ref.=3），目標(biāo)是理解甚至量化大模型的不確定性。

可以預(yù)見，可靠并且值得信賴的基礎(chǔ)模型在現(xiàn)實中的應(yīng)用還有很長的路要走。對于高度關(guān)注安全性、保障性等的 CPS 領(lǐng)域，應(yīng)謹慎確?；A(chǔ)模型的部署安全可靠，例如進行徹底的風(fēng)險評估并遵守嚴(yán)格的驗證流程。

對于任何解決方案，我們都需要徹底考慮其成本效益。首先，開發(fā)基礎(chǔ)模型可能涉及高昂的計算資源、數(shù)據(jù)收集和預(yù)處理、模型訓(xùn)練、微調(diào)等方面的成本。這些成本在不同的 CPS 領(lǐng)域可能有所不同。

其次，部署某些基礎(chǔ)模型需要專門的硬件資源（例如 GPU、FPGA），尤其是考慮到微調(diào)的基礎(chǔ)模型（場景2）需要與 CPS 通信，這需要高吞吐量和低延遲的通信和計算。此外，微調(diào)的基礎(chǔ)模型必須定期維護，這會增加維護成本。

然而，應(yīng)用基礎(chǔ)模型畢竟會帶來很多方面的優(yōu)勢，例如可以減少構(gòu)建傳統(tǒng)數(shù)字孿生模型所需的人工工作量。因此，有必要通過實證研究比較使用基礎(chǔ)模型與傳統(tǒng)解決方案的成本效益，從而證明使用基礎(chǔ)模型是合理的。

除了定制大型基礎(chǔ)模型用于數(shù)字孿生以外，在某些情況下同樣需要輕量級的專用基礎(chǔ)模型。這在數(shù)字孿生應(yīng)用需要在計算能力較低的專用硬件上執(zhí)行，同樣也適用于那些無法通過云訪問大型基礎(chǔ)模型的關(guān)鍵應(yīng)用場景。

此外，這些專用基礎(chǔ)模型將適用于對推理時間要求較高的數(shù)字孿生，因為輕量級模型的推理時間更短，更適合實時的數(shù)字孿生應(yīng)用。同時，由于這些模型可以部署在專用資源上，因此無需將數(shù)據(jù)發(fā)送到云端等，從而提高安全性和隱私保護。

使用基礎(chǔ)模型生成 CPS 的數(shù)字孿生有很多方面的挑戰(zhàn)。例如，在生成數(shù)字孿生或?qū)⑵溆米鲾?shù)字孿生時如何處理幻覺（即基礎(chǔ)模型生成的非基于事實信息的內(nèi)容）問題。目前已經(jīng)有多種解決幻覺問題的應(yīng)對策略。

另一個挑戰(zhàn)是如何評估數(shù)字孿生的保真度。有兩個方面。首先，在使用基礎(chǔ)模型生成數(shù)字孿生方面，可以像通常那樣訪問數(shù)字孿生的保真度。其次，當(dāng)基礎(chǔ)模型用作數(shù)字孿生時，它為評估其保真度開辟了一個新的研究方向，因為這將需要定義新的指標(biāo)和方法。

最后，基礎(chǔ)模型帶來了許多與道德和法律方面相關(guān)的挑戰(zhàn)，使用數(shù)字孿生生成基礎(chǔ)模型勢必會面臨同樣的問題。例如，使用基礎(chǔ)模型生成數(shù)字孿生可能會生成受版權(quán)保護的模型，或者是使用了私有數(shù)據(jù)進行了訓(xùn)練，以及是否會做出歧視性和有偏見的決策。

四、總結(jié)與展望

基礎(chǔ)模型為CPS數(shù)字孿生的創(chuàng)建和優(yōu)化提供了新的方法和工具。本文提出了使用基礎(chǔ)模型生成和微調(diào)數(shù)字孿生的兩種主要方法，并討論了其優(yōu)勢、挑戰(zhàn)和未來的研究方向。我們相信，隨著基礎(chǔ)模型技術(shù)的不斷發(fā)展，CPS數(shù)字孿生的應(yīng)用將更加廣泛和深入。

本文探討了基礎(chǔ)模型在賽博物理系統(tǒng)(CPS)數(shù)字孿生中的應(yīng)用，重點分析了其在提高數(shù)字孿生創(chuàng)建效率和功能有效性方面的潛力。通過研究，我們發(fā)現(xiàn)基礎(chǔ)模型在生成和優(yōu)化數(shù)字孿生模型和能力方面具有顯著優(yōu)勢，能夠減少手工工作，提高模型的逼真度和準(zhǔn)確性。

以自動駕駛系統(tǒng)（ADS）為例，新方案展示了基礎(chǔ)模型在生成復(fù)雜交通場景、預(yù)測潛在風(fēng)險和優(yōu)化駕駛策略方面的實際應(yīng)用。同時，我們也討論了使用基礎(chǔ)模型時面臨的挑戰(zhàn)，包括模型訓(xùn)練數(shù)據(jù)的可用性和質(zhì)量、模型的透明性和解釋性、以及數(shù)據(jù)隱私保護等。

展望未來，基礎(chǔ)模型在CPS數(shù)字孿生中的應(yīng)用將繼續(xù)擴展和深化。隨著技術(shù)的發(fā)展，基礎(chǔ)模型的能力和適用范圍將不斷提高，使其在更多領(lǐng)域和應(yīng)用場景中發(fā)揮作用。

為了充分利用基礎(chǔ)模型的潛力，研究人員需要繼續(xù)探索如何更有效地訓(xùn)練和微調(diào)模型，確保其在特定應(yīng)用中的準(zhǔn)確性和可靠性。

同時，解決模型的透明性和解釋性問題將是未來研究的一個重要方向，特別是在安全關(guān)鍵和任務(wù)關(guān)鍵的CPS應(yīng)用中。此外，隨著對數(shù)據(jù)隱私和安全的關(guān)注不斷增加，開發(fā)能夠保護數(shù)據(jù)隱私的基礎(chǔ)模型也將成為一個重要的研究領(lǐng)域。

總之，基礎(chǔ)模型在CPS數(shù)字孿生中的應(yīng)用前景廣闊，但也需要應(yīng)對一系列技術(shù)和倫理挑戰(zhàn)。作者相信，隨著這些問題的逐步解決，基礎(chǔ)模型將為工業(yè)智能化和CPS的進一步發(fā)展提供強有力的支持。