當AI大模型讀懂時間：時序與時空數(shù)據(jù)分析的范式革命

原文發(fā)表于《科技導報》2025 年第18 期 《面向時間序列和時空數(shù)據(jù)分析的大模型研究進展 》

近年來，大模型憑借其強大的序列建模能力、優(yōu)異的表征學習潛力和靈活的預訓練?微調范式，在自然語言處理和計算機視覺領域取得了突破性進展，也為時間序列和時空數(shù)據(jù)的挖掘分析帶來新的發(fā)展機遇。本文綜述了大模型在時間序列與時空數(shù)據(jù)分析中的研究進展，提出了未來研究亟需在可解釋性增強、多模態(tài)聯(lián)合建模以及模型架構創(chuàng)新等方面取得突破。

近年來，人工智能領域見證了基礎模型（FMs）的崛起與蓬勃發(fā)展。基礎模型從早期預訓練語言模型發(fā)展到現(xiàn)在的大語言模型（LLMs）和視覺語言模型（VLMs），在多模態(tài)理解、推理和跨域泛化等方面展現(xiàn)出卓越性能。

值得注意的是，時間序列和時空數(shù)據(jù)與自然語言序列在序列結構上具有本質的相似性。這種結構上的相似性自然地引出一個關鍵問題：我們能否以及如何有效利用現(xiàn)有強大的LLMs，賦能通用的時間序列與時空數(shù)據(jù)的分析任務？或者說，能否借鑒LLMs的成功范式，構建專門針對時間序列與時空數(shù)據(jù)特性的基礎模型？探索上述問題，將大模型的技術優(yōu)勢引入時間序列與時空數(shù)據(jù)的挖掘分析中已成為當下的學術前沿熱點。

01

基礎理論與關鍵技術

1.1 時間序列與時空數(shù)據(jù)分析

時間序列（time series）定義為一組按時間排序的隨機變量的集合{Xt |t ∈ T}，時間序列的觀測值可以認為是隨機變量的實現(xiàn)。時空數(shù)據(jù)（spatio?temporal data）是指同時包含時間維度和空間維度的數(shù)據(jù)集，用于記錄和分析時空動態(tài)變化規(guī)律及其內在關聯(lián)。

1.2 LLMs

LLMs通常是具有大規(guī)模參數(shù)和計算能力的自然語言處理模型。這種大模型具有但小模型不具有的能力通常被稱為“涌現(xiàn)能力”（emergent abilities），為序列建模帶來了前所未有的潛力，并重塑了人類使用人工智能的方式。

1.3 預訓練基礎模型

預訓練基礎模型（PFMs）是指在大規(guī)模語料庫上進行預訓練的通用人工智能模型。隨著PFMs的巨大成功，針對時間數(shù)據(jù)設計和預訓練的基礎模型也在不斷涌現(xiàn)，但仍處于早期發(fā)展的階段。

1.4 骨干網絡

1）Transformer架構。其核心創(chuàng)新在于對注意力機制的利用，該機制允許模型動態(tài)地關注輸入數(shù)據(jù)的不同部分。根據(jù)這種網絡架構的變形，目前主流的框架可分為Encoder?decoder（編碼器?解碼器）、Encoder?only（僅編碼器）、Decoder?only（僅解碼器）3種，如圖1所示。

圖1 3種主流模型訓練框架

2）擴散（Diffusion）模型。其通過一個迭代的正向擴散過程系統(tǒng)地、緩慢地破壞數(shù)據(jù)分布中的結構，然后學習一個反向去噪過程來恢復數(shù)據(jù)中的結構，從而得到一個高度靈活且易于處理的生成模型（圖2）。

圖2 擴散模型用于時間序列和時空數(shù)據(jù)分析

3）其他模型。除Transformer和擴散模型這類近年來備受關注的架構外，一些經典的深度學習模型，包括多層感知機（MLP）、卷積神經網絡（CNN）、循環(huán)神經網絡（RNN）和圖神經網絡（GNN）仍然是時間序列與時空數(shù)據(jù)分析領域的重要基石。

02

LLMs賦能時間序列與時空數(shù)據(jù)分析

自然語言處理領域LLMs的快速發(fā)展揭示了其在序列建模和模式識別方面前所未有的能力，這為時間序列與時空數(shù)據(jù)分析提供新的研究范式。我們基于LLMs的時序與時空數(shù)據(jù)分析方法，并依據(jù)模型架構設計將其劃分為3類（圖3）。

圖3 微調LLMs組件設計分類

2.1 直接查詢LLMs

PromptCast引入了一種新的基于提示（Prompt）的學習范式，在特定領域場景中，尤其是當結合領域相關的上下文提示和先進的預訓練LLMs時，直接查詢LLMs可能帶來顯著優(yōu)勢。

2.2 時間數(shù)據(jù)的標記化設計

Nie等提出了時間序列的補丁表示方法，保留了數(shù)據(jù)的原始相對順序，并將局部信息聚合到每個補丁中。OFA、LLM4TS、TEST、TEMPO和Time?LLM等工作主要采用這種補丁表示方法對時間序列數(shù)據(jù)進行標記化。

2.3 提示設計

PromptCast為利用LLMs進行時間序列預測開發(fā)了基于模板的提示，而一些方法通過整合LLMs生成的或收集的背景信息來豐富提示設計。為應對分布偏移的挑戰(zhàn)，TEMPO引入一個共享的提示池，以不同的鍵值對的形式存儲，然后通過相似性分數(shù)匹配機制為微調選擇最具代表性的軟提示，從而讓模型更好地利用已有的經驗知識。

2.4 微調策略

微調作為一種強大的工具，能夠使大型預訓練模型適應于特定的任務和應用場景。作為一項標準做法，OFA微調了位置嵌入和歸一化層，并凍結了自注意力層和前饋神經網絡。TEMPO進一步使用低秩自適應（LoRA）微調自注意力模塊，以適應不同的數(shù)據(jù)分布。LLM4TS提出了一種2階段微調方法，從而保障在不破壞語言模型固有特性的基礎上使得模型能夠更好地適配各類不同域的數(shù)據(jù)及不同的下游任務。

2.5 集成LLMs作為模型組件

相較于依賴直接查詢或微調LLMs來生成輸出，一些研究選擇將凍結的LLMs作為模塊嵌入，以擴展和增強輸入序列的特征表示空間。凍結的LLMs可以作為多階段建模中的一個功能強大的組件，它提供對數(shù)據(jù)的中間處理或前一個組件的輸出，并將它輸入到隨后的神經網絡或回歸分析。

03

構建專用的時間序列與時空數(shù)據(jù)基礎模型

3.1 時間序列基礎模型研究進展

自然語言處理和計算機視覺領域的基礎模型近年來呈現(xiàn)指數(shù)級增長，而時間序列領域的基礎模型研究仍處于早期階段，近期已有一些開創(chuàng)性的工作開始填補這一空白（表1）。

表1 代表性時間序列基礎模型匯總

TimeGPT?1是由Nixtla提出的第一個時間序列大模型，無需額外訓練就可以在金融、電力、氣象等各種領域生成準確的預測。在TimeGPT?1發(fā)布后，時間序列基礎模型的發(fā)展進入加速階段，包括Lag?Llama、TimesFM、Chronos、Moirai和Time?MoE等代表性工作。作為首個開源大型預訓練時間序列基礎模型，MOMENT將通過對時間序列的掩碼預測任務進行預訓練。Chronos直接采用與語言模型相同的交叉熵損失函數(shù)進行訓練。Time?MoE采用逐點標記化（point?wise tokenization）方法進行時間序列嵌入以完整保留時序信息。

作為時序預測領域的新興技術，時間序列基礎模型各具優(yōu)勢，適用于不同的應用場景，但也伴隨著一定的局限性，特別是在處理高頻數(shù)據(jù)、長跨度預測任務時，其效果往往不及傳統(tǒng)統(tǒng)計方法。當面對上下文信息不足的情況時，模型的泛化能力也會明顯下降。此外，由于需要針對不同垂直領域獨立開發(fā)，這些模型的訓練過程通常需要消耗大量計算資源。

3.2 時空數(shù)據(jù)基礎模型研究進展

相較于單一時間序列數(shù)據(jù)，時空數(shù)據(jù)普遍呈現(xiàn)出2個關鍵的基本特性：異質性與自相關性。這些固有特性不僅顯著增加了時空數(shù)據(jù)建模的復雜度，也對基礎模型提出了更高的泛化能力要求。當前時空數(shù)據(jù)基礎模型的發(fā)展仍處于相對分散的狀態(tài)，應用場景也呈現(xiàn)出明顯的碎片化特征（表2）。

表2 代表性時空基礎模型匯總

3.2.1 城市時空動態(tài)建模

針對城市時空數(shù)據(jù)的多模態(tài)特性，UrbanVLP提出一種視覺?語言?時空聯(lián)合預訓練框架，其核心創(chuàng)新在于設計時空對比學習策略，將不同模態(tài)的時空模式對齊到共享的潛在空間。類似的，CityFM專注于城市多任務泛化，實現(xiàn)跨場景遷移。OpenCity進一步引入地理編碼先驗知識，增強了模型對空間異質性的建模能力。UniST實現(xiàn)了對城市多樣化時空動態(tài)性的統(tǒng)一建模和精準預測，展現(xiàn)出強大的通用性和泛化能力。

對于軌跡數(shù)據(jù)的PFMs，旨在從輸入數(shù)據(jù)中學習通用的順序模式。TrajFM采用軌跡屏蔽和自回歸恢復機制來增強其學習能力。UniTraj軌跡基礎大模型實現(xiàn)跨任務、跨區(qū)域的泛化能力，并在不同數(shù)據(jù)質量下保持魯棒性。PTrajM則是引入 Trajectory?Mamba作為可學習模型，實現(xiàn)對連續(xù)運動行為的有效提取。

3.2.2 氣象與地球系統(tǒng)建模

氣象預測是時空數(shù)據(jù)基礎模型的典型應用場景。谷歌的DeepMind研究所開發(fā)的天氣預報模型GraphCast顯著提升了中長期氣象預測的精度。微軟團隊發(fā)布的ClimaX通過微調技術來解決廣泛的氣候和天氣任務。上海人工智能實驗室發(fā)布的FengWu大模型解決多種大氣變量表征和相互影響的問題。華為提出的Pangu?Weather提前一周預測全球天氣。

04

挑戰(zhàn)與機遇

4.1 增強模型的可解釋性

構建系統(tǒng)性理論框架以解析LLMs在時間序列和時空數(shù)據(jù)分析中的學習模式與應用邏輯，成為亟待突破的關鍵問題。此外，需研發(fā)適用于時間序列和時空數(shù)據(jù)的因果關系識別方法。

4.2 發(fā)展多模態(tài)模型

LLMs可通過適配學習構建多模態(tài)聯(lián)合表示—既捕捉時序數(shù)據(jù)的序列依賴性特征，又保留其他模態(tài)的獨特信息特性，實現(xiàn)跨時間分辨率的多模態(tài)信息融合，從而充分挖掘不同時間尺度下的互補信息，進一步提升任務表現(xiàn)。

4.3 適應數(shù)據(jù)分布偏移

最新的研究聚焦于領域對抗訓練等技術，通過對齊不同領域的特征分布，推動模型學習跨域不變性特征；此外，元學習技術通過快速學習新分布的適配規(guī)則，僅需少量新分布數(shù)據(jù)即可實現(xiàn)模型對新分布的快速遷移，進一步強化了基礎模型應對分布偏移的能力。

4.4 創(chuàng)新模型架構

傳統(tǒng)的Transformer架構和基于它們的LLMs具有受限的上下文依賴記憶，特別是在處理長序列時面臨挑戰(zhàn)。需要創(chuàng)新性的方法，如稀疏注意力機制、高效的基于圖的表示以及將Transformer與其他架構結合的混合模型。最近，谷歌提出的Infini?Transformer能夠在有限的內存條件下處理極長的輸入；Meta等開發(fā)新架構Megalodon實現(xiàn)了無限上下文處理能力。

05

結論

最新研究表明，大模型在時間序列和時空數(shù)據(jù)分析中展現(xiàn)出應用潛力。一方面，基于LLMs的提示工程、標記化和參數(shù)微調等技術，為自然語言與時序/時空數(shù)據(jù)的模態(tài)對齊提供了可行路徑。另一方面，面向時序與時空特性的專用基礎模型通過跨域預訓練，逐步形成統(tǒng)一的時空動態(tài)表征能力。

當前研究仍面臨若干挑戰(zhàn)：

（1）時空數(shù)據(jù)的異質性和自相關性導致模型泛化能力受限，跨領域遷移時易受分布偏移影響；

（2）多模態(tài)對齊存在語義鴻溝，數(shù)值型時空數(shù)據(jù)與文本/視覺等模態(tài)的聯(lián)合表征仍需突破；

（3）模型可解釋性不足制約其在關鍵領域的可信應用。

未來，面向時間序列與時空數(shù)據(jù)分析的大模型需聚焦以下方向：

（1）模型架構創(chuàng)新，融合物理機理與數(shù)據(jù)驅動優(yōu)勢，提升對非平穩(wěn)動態(tài)的建模能力；

（2）多模態(tài)協(xié)同學習技術突破，建立時空?語言?視覺的統(tǒng)一表征，實現(xiàn)跨模態(tài)知識遷移；

（3）可信賴性增強機制構建，發(fā)展因果推理、不確定性量化等技術提升模型可解釋性。

本文作者：羅遠波、孫嘉、陶俐芝

作者簡介：羅遠波，南方海洋科學與工程廣東省實驗室（廣州），助理研究員，研究方向為時間序列建模與地理時空數(shù)據(jù)智能分析；陶俐芝（通信作者），江西師范大學鄱陽湖濕地與流域研究教育部重點實驗室，助理研究員，研究方向為水文氣象多尺度問題建模與分析。

文章來 源 ： 羅遠波, 孫嘉, 陶俐芝. 面向時間序列和時空數(shù)據(jù)分析的大模型研究進展[J]. 科技導報, 2025, 43(18): 48?56 .

本文有刪改，

點擊面向時間序列和時空數(shù)據(jù)分析的大模型研究進展.pdf獲取全文。

內容為【科技導報】公眾號原創(chuàng)，歡迎轉載
白名單回復后臺「轉載」

《科技導報》創(chuàng)刊于1980年，中國科協(xié)學術會刊，主要刊登科學前沿和技術熱點領域突破性的研究成果、權威性的科學評論、引領性的高端綜述，發(fā)表促進經濟社會發(fā)展、完善科技管理、優(yōu)化科研環(huán)境、培育科學文化、促進科技創(chuàng)新和科技成果轉化的決策咨詢建議。常設欄目有院士卷首語、科技新聞、科技評論、專稿專題、綜述、論文、政策建議、科技人文等。