一種基于圖注意力模型的高速列車軸溫長時預測方法
1.本發明屬于數據挖掘技術領域，特別涉及一種基于圖注意力模型的高速列車 軸溫長時預測方法。
背景技術：
2.目前絕大多數關于軸溫進行預測的模型都是短時預測模型，雖然能夠取得不 錯的效果，但是受限于預測模型感知范圍，一般僅預測1小時之內的軸溫變化情 況。這對于處理列車緊急故障而言已經有足夠的時間，但是對于超過1天的列車 長時軸溫預測沒有過多的研究。
3.實際上，長時軸溫預測在列車狀態評估和日常維護中具有十分重要的作用。 例如，列車轉向架作為機械部件，隨著列車的運行，轉向架也在不斷地磨損。如 果可以提前預測轉向架運行1天甚至是1周的狀態變化情況，可以幫助列車管理 與維護人員提前對可能出現故障的部件進行檢修和維護。此外，隨著我國高速鐵 路的發展，長時列車逐漸普遍。在高速列車實際開行計劃中，有超過15h運行的 高速列車，而如何對長時軸溫數據進行合理建模是一個亟待解決的難題。
4.隨著移動互聯網的發展和車載設備的更新迭代，軸溫檢測不再局限于人工巡 檢方式，以傳感器檢測系統和大數據平臺為依托的實時檢測技術逐漸成為主流的 軸溫檢測手段。與此同時，列車運行信息也有了爆炸式增長。海量的列車實時檢 測數據為軸溫預測的研究提供了堅實的數據基礎。受益于列車軸溫數據的擴增， 基于數據驅動的機器學習模型可以更加有效地挖掘列車軸溫數據中隱含的時間 特征和空間特征，在處理系統級別的軸溫數據時，顯示出比仿真等傳統方法更強 大的潛力。
技術實現要素：
5.本發明的目的是提出一種基于圖注意力模型的高速列車軸溫長時預測方法， 其特征在于，包括以下步驟：
6.步驟1、從高速列車的轉向架上采集傳感器數據，對傳感器數據進行清洗、 去噪處理，使用皮爾森相關系數對轉向架上的傳感器進行特征篩選，得到與軸溫 變化最相關的傳感器數據；
7.步驟2、構建軸溫信息圖結構；
8.步驟3、獲取步驟1的時間序列數據和步驟2的圖結構，使用gru(門限循 環單元)模型有效提取高速列車軸溫的時序特征，使用gat(圖注意力網絡)模 型有效提取列車轉向架圖結構的空間特征；結合gru模型和gat模型，使用gat 單元代替gru內部原有的線性連接層，從而構建可以融合列車軸溫的時空信息的 grgat單元；
9.步驟4、基于生成對抗網絡構建生成器和判別器，其中生成器和判別器都包 括了編碼操作和解碼操作；
10.步驟5、基于生產對抗網絡和grgat單元構建高速列車軸溫長時預測 ga-grgat模
型；并基于pytorch深度學習框架融合列車軸溫的時空信息的grgat 單元的ga-grgat模型訓練；
11.步驟6：使用高速列車真實在途運行數據帶入ga-grgat模型，得到軸溫的長 時預測值。
12.所述步驟2中圖結構定義如下所示：
[0013][0014]
其中graph代表一個網絡，v是網絡中的一組頂點，e是網絡graph中的一組 邊，并且e
ij
表示從節點vi到vj的方向；此外，w是網絡graph中的一組權重，w
ij
表 示從節點vi到vj的權重。
[0015]
所述步驟3具體按以下步驟實施：
[0016]
步驟31，將t時刻的軸溫數據輸入x
t
和t-1時刻的隱藏層輸出h
t-1
橫向拼接得 到更新門z
t
＝[h
t-1
||x
t
]，將gru模型原有的線性重置門r
t
和更新門z
t
使用兩個不同 的k層gat網絡替代；具體公式如下所示：
[0017]rt
＝σ(gat
rk
(z
t
))
[0018]zt
＝σ(gat
zk
(z
t
))
[0019]
其中σ(
·
)為sigmoid激活函數；
[0020]
步驟,32：將t-1時刻的隱藏層輸出h
t-1
與t時刻的重置門r
t
相乘，然后和t時刻 的軸溫數據x
t
輸入，橫向拼接得到z
′
t
＝[r
t
*h
t-1
||x
t
]，將gru模型原有的線性單元 gat
xk
使用一個k層gat網絡替代，從而計算t時刻的隱藏層h
t
輸出；公式如下所 示：
[0021]ht
＝(1-z
t
)
⊙ht-1
+z
t
⊙
(tanh(σ(gat
xk
(z
′
t
))))。
[0022]
所述步驟3中gat模型，定義t時刻輸入gat模型的列車軸溫數據為列車轉向架圖結構的鄰接矩陣a∈rn×n，n為列車轉向架圖結構的頂點數量，p為 輸入列車軸溫屬性的維度，為可學習參數，q為輸出的列車軸溫的特征維 度，節點i的重構向量如下所示
[0023][0024]
其中，leakyrelu(w
t
[wxi||wxj])為激活函數，exp(leakyrelu(w
t
[wxi||wxj])) 為指數操作，時刻i和時刻j的軸溫為xi和xj，節點i和節點j的一階領域為和 學習參數為w，訓練參數為w。
[0025]
所述步驟4具體按以下步驟實施：
[0026]
步驟41，生成器構建
[0027]
(1)編碼器輸入階段，在該階段首先將t時刻輸入的列車轉向架時序特征c
t
， 通過fmlp
映射為c
′
t
∈rn×1，然后將列車軸溫數據x
t
和時序特征c
′
t
進行拼接，拼接的 結果作為grgat單元的輸入；
[0028]
(2)解碼器生成階段，首先將c
t
按照step 1的方法通過f
mlp
映射為c
′
t
∈rn×1， 然后將t-1時刻由step 1輸出的數據和c
′
t
進行拼接，拼接的結果作為grgat 單元的輸入，經過循環收斂之后得到隱藏矩陣h
t
和輸出矩陣y
t
。其中，需要在解 碼器階段使用注意力機制，使用注意力單元att將y
t
映射為
[0029]
步驟42，判別器構建
[0030]
(1)t時刻輸入的時序特征c
t
，通過f
mlp1
映射為c
′
t
∈rn×1。映射向量c
′
t
與溫 度信息x
t
進行拼接，輸入grgat單元進行循環，迭代之后得到隱藏矩陣 h＝(h1,h2,...,h
l+r
)和輸出矩陣y＝(y1,y2,...,y
l+r
)；
[0031]
(2)將y
t
映射為t時刻帶有自注意力機制的映射向量；
[0032]
(3)f
mlp2
將映射為真實數據的概率p。
[0033]
所述步驟6具體按以下步驟實施：
[0034]
步驟61，生成器生成序列
[0035]
在t時刻編碼器(encoder)的軸溫數據x
t
為輸入和時序特征c
t
，經過l步循 環迭代之后，得到z和he，在解碼器(decoder)的輸入數據為上一時刻的和 c
t
，計算得到再經過r步循環迭代之后得到
[0036]
步驟62，判別器判別真偽
[0037]
樣本數據包含兩個部分，分別是序列數據和標簽數據。前者的長度為l+r， 包括x
t
和c
t
；后者為0或者1；
[0038]
步驟63，對抗訓練
[0039]
對生成器g和判別器d進行初始化得到g0和d0，具體步驟如下所示：
[0040]
(1)g0不變，優化d0得到d1，優化方法為梯度下降算法；
[0041]
(2)d1不變，優化g0得到g1，優化方法與第一步相似；
[0042]
(3)在模型收斂之前重復上述兩個步驟對g和d進行優化，最終得到最佳 的g
*
和d
*
，其中，g
*
即為預測階段使用的生成器。
[0043]
所述步驟5基于pytorch深度學習框架融合列車軸溫的時空信息的grgat單 元的ga-grgat模型訓練；ga-grgat模型的訓練算法偽代碼如下所示：
[0044][0045][0046]
本發明的有益效果是本發明選取軸溫作為軸承狀態監測特征，將圖結構引入 到高速列車軸溫預測的場景中，形成軸溫網絡。基于軸溫網絡，使用嵌入式架構 融合圖注意力網絡gat模型和門限循環單元gru模型構建了grgat框架，其中gat 模型較圖卷積神經網絡gcn模型而言，使用注意力機制針對不同的鄰居學習不同 的權重，有效解決了圖中的動
態卷積操作；然后使用生成對抗網絡gan模型構建時間時序特征，對歷史列車軸溫信息進行融合，從而提高ga-grgat模型的長時預測準確度；本發明的軸溫長時預測可以為列車日常維護和狀態提供決策依據。
附圖說明
[0047]
圖1動力轉向架單軸溫度傳感器分布情況。
[0048]
圖2網絡結構構造流程
[0049]
圖3grgat單元的結構。。
[0050]
圖4ga-grgat結構圖。
[0051]
圖5數據集v1上不同時刻的24小時溫度預測。
[0052]
圖6數據集v2上不同時刻的24小時溫度預測。
[0053]
圖7高速列車軸溫長時預測流程圖。
具體實施方式
[0054]
本發明提出一種基于圖注意力模型的高速列車軸溫長時預測方法，高速列車軸溫監測系統采用在轉向架上電機、齒輪箱、軸箱等關鍵部件中軸承位置附近安裝溫度傳感器的方式來實現對軸承溫度的實時采集監測功能。每個轉向架配置有兩根軸，這兩根車軸及其包括電機、軸箱、齒輪箱的關聯結構是對稱分布的，每根軸對應有9個測點，如圖1中標號
①?⑨
所示：
[0055]
①
：齒輪箱附近車軸測點
②
：車輪側大齒輪箱測點
③
：車輪側小齒輪箱測點
[0056]
④
：電機側大齒輪箱測點
⑤
：電機側小齒輪箱測點
⑥
：電機驅動端測點
[0057]
⑦
：電機定子測點
⑧
：電機非驅動端測點
⑨
：電機附近車軸測點
[0058]
即每個轉向架共裝有18個溫度傳感器。下面結合附圖對本發明予以進一步說明。本發明方法包括以下步驟(如圖7所示)：
[0059]
步驟1、從高速列車的轉向架上采集傳感器數據，對傳感器數據進行清洗、去噪處理，使用皮爾森相關系數對轉向架上的傳感器進行特征篩選，得到與軸溫變化最相關的傳感器數據；
[0060]
步驟2、構建軸溫信息圖結構；
[0061]
步驟3、獲取步驟1的時間序列數據和步驟2的圖結構，使用gru(門限循環單元)模型有效提取高速列車軸溫的時序特征，使用gat(圖注意力網絡)模型有效提取列車轉向架圖結構的空間特征；結合gru模型和gat模型，使用gat單元代替gru內部原有的線性連接層，從而構建可以融合列車軸溫的時空信息的grgat單元；
[0062]
步驟4、基于生成對抗網絡構建生成器和判別器，其中生成器和判別器都包括了編碼操作和解碼操作；
[0063]
步驟5、基于生產對抗網絡和grgat單元構建高速列車軸溫長時預測ga-grgat模型；并基于pytorch深度學習框架融合列車軸溫的時空信息的grgat單元的ga-grgat模型訓練；
[0064]
步驟6：使用高速列車真實在途運行數據帶入ga-grgat模型，得到軸溫的長 時預測值。
[0065]
具體說明如下：
[0066]
(1)構建軸溫信息圖結構
[0067]
圖1展示了高速列車動力型車廂底部轉向架的基本結構以及對應的溫度傳 感器安裝布置情況。
[0068]
本發明規定車輛數據檢測點表示為高速列車圖結構的頂點(如圖1中標號
①??⑨
所示)，檢測點之間的關系為圖的邊，檢測點之間的相關系數為圖結構邊的權 重。另外，檢測點之間的因果關系是圖結構的邊的方向。高速列車圖結構定義如 下所示：
[0069][0070]
其中graph代表一個網絡，v是網絡中的一組頂點，e是graph中的一組邊， 并且e
ij
表示從節點vi到vj的方向。此外，w是graph中的一組權重，w
ij
表示從節 點vi到vj的權重。
[0071]
由于列車轉向架各個測點的空間相關性，可以根據轉向架各個測點的實際結 構構造二維網絡，作為后續的輸入。我們將每個測點看作網絡的頂點，將轉向架 上各測點的實際連接關系抽象成網絡的邊，按照灰-格蘭杰構造(gray
–?
granger causality，即ggc)方法構造傳感器數據網絡。構造流程如圖2所示。
[0072]
(2)gat模型架構
[0073]
定義t時刻輸入gat模型的列車軸溫數據為列車轉向架圖結構的鄰 接矩陣a∈rn×n，n為列車轉向架圖結構的頂點數量，p為輸入列車軸溫屬性的維 度，為可學習參數，q為輸出的列車軸溫的特征維度，節點i的重構向量 如下所示：
[0074][0075]
本發明選擇gru模型(門限循環單元)，有效提取高速列車軸溫的時序特征， 使用gat模型有效提取列車轉向架圖結構的空間特征。結合gru模型和gat模型， 使用gat單元代替gru內部原有的線性連接層，從而構建可以融合列車軸溫的時 空信息的grgat框架。規定grgat框架中的重置門r
t
表示為gat
rk
，更新門z
t
表示 為gat
zk
，與橫向x拼接后的線性單元gat
xk
，同時隱藏層單元數量為c。grgat 單元結構如圖3所示。
[0076]
grgat單元的計算過程如下所示：
[0077]
步驟3-1：將t時刻的軸溫數據x
t
輸入和t-1時刻的隱藏層h
t-1
為輸出，橫向拼 接得到z
t
＝[h
t-1
||x
t
]，將gru模型原有的線性重置門r
t
和更新門z
t
使用兩個不同的k層gat網絡替代，具體公式如下所示：
[0078]rt
＝σ(gat
rk
(z
t
))
[0079]zt
＝σ(gat
zk
(z
t
))
[0080]
其中σ(i)為sigmoid激活函數。
[0081]
步驟3-2：將t-1時刻的隱藏層輸出h
t-1
與t時刻的重置門r
t
相乘，然后和t時 刻的
輸入x
t
橫向拼接得到z
′
t
＝[r
t
*h
t-1
||x
t
]，將gru模型原有的線性單元gat
xk
使用 一個k層gat網絡替代，從而計算t時刻的輸出h
t
，公式如下所示：
[0082]ht
＝(1-z
t
)
⊙ht-1
+z
t
⊙
(tanh(σ(gat
x
k(z
′
t
))))
[0083]
(3)生成對抗網絡構建
[0084]
gan主要由生成器和判別器組成。本發明生成器和判別器的構建，為后續 ga-grgat模型奠定了基礎。生成器和判別器都包括了編碼器(encoder)和解碼 器(decoder)，具體過程如下所示：
[0085]
步驟一：生成器構建
[0086]
步驟1-1：編碼器輸入階段
[0087]
在該階段首先將t時刻輸入的c
t
(列車轉向架時序特征)通過f
mlp
映射為 c
′
t
∈rn×1，然后將列車軸溫數據x
t
和c
′
t
進行拼接，拼接的結果作為grgat單元的 輸入，具體公式如下所示：
[0088]
(z,he)＝grgat
(l)
(x
t
||f
mlp
(c
t
)；a)
[0089]
其中grgat
(l)
表示將grgat單元循環迭代了l次，z為隱藏矩陣，he為隱藏 序列。
[0090]
步驟1-2：解碼器生成階段
[0091]
首先將c
t
按照step 1的方法通過f
mlp
映射為c
′
t
∈rn×1，然后將t-1時刻由step 1輸出的數據和c
′
t
進行拼接，拼接的結果作為grgat單元的輸入，經過循環收 斂之后得到隱藏矩陣h
t
和輸出矩陣y
t
。其中，需要在解碼器階段使用注意力機制， 使用注意力單元att將y
t
映射為具體的計算公式如下所示：
[0092][0093][0094]
步驟二：判別器構建
[0095]
在該模型中，高速列車轉向架時序特征c＝(c1,c2,...,c
l+r
)和狀態序列 x＝(x1,x2,...,x
l
)是g的輸入數據；高速列車軸溫預測序列是g的輸 出數據。生成序列定義為xg，真實序列定義為xr，對應的時序特征為c，沒有 對應關系的時序特征為則xg與xr的定義如下所示：
[0096]
xr＝(x1,x2,
…
,x
l
,x
l+1
,
…
,x
l+r
)
[0097][0098]
樣本分為兩類真實樣本x
real
和假樣本x
fake
。xr和c作為x
real
的輸入特征，若 標簽是1，則x
real
為真。x
real
的定義如下所示：
[0099]
x
real
＝{x＝xr&c；y＝1}
[0100]
假樣本可以進一步劃分為兩類，第一類的輸入特征是xg和c，第二類的輸 入特征是xr和兩類假樣本的輸出結果(標簽)均為0。假樣本x
fake
的定義如 下所示：
[0101][0102]
溫度時空數據xr與xg，時序特征c與作為判別器m的輸入序列數據， 能夠使用
grgat框架捕捉序列時空特征。為了進一步加強時空序列的特征融合能 力，在判別器中加入了self-attention模塊。
[0103]
綜上，判別器m的計算過程如下所示：
[0104]
step 1：t時刻輸入的時序特征c
t
，通過f
mlp1
映射為c
′
t
∈rn×1。映射向量c
′
t
與 溫度信息x
t
進行拼接，輸入grgat單元進行循環。迭代之后得到隱藏矩陣 h＝(h1,h2,...,h
l+r
)和輸出矩陣y＝(y1,y2,...,y
l+r
)，計算公式如下所示：
[0105]
(h,y)＝grgat
(l+r)
(x
t
||f
mlp1
(c
t
)；a)
[0106]
step 2：self-attention將y
t
映射為具體如下所示：
[0107][0108]
其中表示在t時刻帶有自注意力機制的映射向量，h表示計算注意力系數。
[0109]
step 3：f
mlp2
將映射為真實數據的概率p，如下所示：
[0110][0111]
(4)ga-grgat長時預測模型
[0112]
ga-grgat模型分為生成器g和判別器m兩個部分，具體計算步驟如下所示：
[0113]
步驟一：生成器生成序列
[0114]
在t時刻譯碼器(encoder)的輸入數據為x
t
和c
t
，經過l步循環迭代之后， 得到z和he。z的作用是使解碼器初始化隱藏狀態。在t時刻m的輸入數據為上 一時刻的和c
t
，引入att(注意力機制)，計算得到再經過r步循環迭代之 后得到
[0115]
步驟二：判別器判別真偽
[0116]
樣本數據包含兩個部分，分別是序列數據和標簽數據。前者的長度為l+r， 包括x
t
和c
t
；后者為0或者1。在t時刻，判別器m的輸入數據x
t
和c
t
，經過l+r 次循環之后，結合self-attention和mlp計算，得到判別數據p∈[0,1]。
[0117]
步驟三：對抗訓練
[0118]
對生成器g和判別器d進行初始化得到g0和d
0，
具體步驟如下所示：
[0119]
1)g0不變，優化d0得到d1，優化方法為梯度下降算法；
[0120]
2)d1不變，優化g0得到g1，優化方法與第一步相似；
[0121]
3)在模型收斂之前重復上述兩個步驟對g和d進行優化，最終得到最佳的g
*
和d
*
，其中，g
*
即為預測階段使用的生成器。
[0122]
ga-grgat模型總體架構如圖4所示。ga-grgat模型的構建和訓練基于 pytorch深度學習框架。則ga-grgat模型的訓練算法偽代碼如下所示：
[0123][0124][0125]
(5)進一步說明本發明的有效性，本發明實驗中使用的數據均來自高 速列車實際運行產生的狀態監測數據，為了考慮外界溫度對列車軸溫序列 的影響，選擇春天(日平均溫度15℃)和夏天(日平均溫度30℃)兩個數 據集，數據集的時間范圍分別為2019年3月15日至2019年4月15日和2019 年7月15日至2019年8月15日，具體劃分日期和數據集大小如表
1所示。
[0126]
表1 ga-grgat數據集說明
[0127][0128]
如表1所示，將每個數據集按照訓練集、測試集和驗證集進行劃分，劃 分比例約為4:1:1(訓練集22天，測試集5天，驗證集5天)。規定輸入序 列長度為l，輸出序列長度為r，傳感器數量為18，t時刻條件特征c
t
是由5 個one-hot向量拼接而成的37維向量。
[0129]
此外，考慮到長時列車軸溫預測的實時性要求較低，ga-grgat模型訓 練速度慢，本發明對列車軸溫序列進行整時刻切分，采樣的時間間隔為 5min，將樣本集大小縮減到原來的1/12。數據示例如表2所示。
[0130]
表2數據示例
[0131][0132]
1)評價標準
[0133]
ga-grgat模型使用四種評價指標，分別是平均絕對誤差(meanabsoluteerror，mae)、均方根誤差(rootmeansquareerror，rmse)、平均絕對百分比誤差(meanabsolutepercentageerror，mape)和需求預測準確度(forecastaccuracy，accuracy)作為評價指標。其中mae直接表示絕對誤差大小；rmse反映偏差分布的離散情況；mape為無量綱評價指標，反映模型預測值的偏離程度和可信度；accuracy指的是預測準確率(forecastaccuracy)，一般使用1-mape的值表示。具體公式如下所示：
[0134][0135][0136][0137][0138]
式中，s表示樣本集內的樣本個數，n表示軸溫網絡中監測點數量，表示預測值，y
ij
表示真實值，表示預測值的平均值，表示真實值的平均值。
[0139]
2)實驗環境
[0140]
ga-grgat模型及其對比方法進行高速列車軸溫長時預測的實驗環境如表3所示。
其中，ga-grgat模型及其對比方法均使用python語言實現，本 發明使用的深度學習架構均為pytorch庫。ga-grgat模型的訓練主要在gpu 上進行。
[0141]
表3實驗環境說明
[0142][0143]
3)實驗結果分析
[0144]
本發明采用gru、goamlp、dcnn、svr、ha五種經典的時序預測模型和 grgat、ga-grgat模型對比。所有模型均使用相同的訓練集和測試集，本發 明使用春天數據集v1和夏天數據集v2進行預測，預測結果如表4所示。
[0145]
表4兩個數據集在不同模型下的比較結果
[0146]
[0147]
[0148][0149][0150]
從表4可以看出，ga-grgat模型所有評價指標均為最優。基于grgat框 架的ga-grgat模型和grgat模型排在前兩位，預測性能較好，說明grgat 單元可以有效融合溫度時空信息。同時ga-grgat模型優于grgat模型，說 明gan的有效性。而在gru模型、goamlp模型、
dcnn模型、svr模型和ha 模型中，經典神經網絡模型(gru模型、goamlp模型和dcnn模型)的效果 優于傳統時序模型(svr模型和ha模型)。svr模型預測精度最低，甚至低 于ha模型。另外值得關注的是，ga-grgat模型的mae值為2.58時，rmse 值僅為3.91。而grgat模型的mae值為5.85，rmse值為8.8。從mae值可 以看出，ga-grgat預測結果的聚合性比較強，也就是說模型的誤差不分 散，體現在軸溫上來看，ga-grgat模型預測的結果可以體現整體的溫度變 化趨勢。
[0151]
本發明對ga-grgat模型、grgat模型和goamlp模型和gru模型不同步 長的準確率和消耗時間(cost time)進行統計。具體結果如表5所示。
[0152]
表5不同模型準確率和消耗時間的比較結果
[0153]
[0154]
[0155][0156][0157]
從表5可以看出，ga-grgat模型的準確率在相同步長和數據集的情況下 高于
grgat、gru、goamlp和dcnn模型，且在兩個數據集上ga-grgat模型 的準確率均大于85％，其中在24th、36th和48th的情況下準確率大于90％， 說明使用ga-grgat模型預測未來一天的列車軸溫變化情況有較高的精度。 此外，對每個模型不同步長的準確率進行對比可以看出，隨著步長增大， 模型的輸入和輸出數據量增加，導致消耗時間變長，但是準確率也會隨之 提高。ga-grgat模型的消耗時間在所有模型中只比goamlp模型稍低，比其 他模型的時間更長，在48th時消耗時間為129.90s，約2min，可以保證列 車長時預測實時性的需要。
[0158]
本發明選擇grgat模型、gru模型和coamlp模型與ga-grgat模型進行 對比，直觀觀察每個模型的預測效果。分別從0時、6時、12時和18時開 始，輸入序列長度l＝12，預測后續24小時之內的列車軸溫數據。本發明使 用春天數據集v1和夏天數據集v2的測試集進行預測，預測效果如圖5和圖6 所示。
[0159]
ga-grgat模型在圖5(a)～(c)和圖6(a)～(c)中明顯優于grgat 模型、gru模型和coamlp模型。也就是說，ga-grgat模型從0：00、6：00 和12：00開始預測未來24小時內的軸溫都有較為理想的效果。而比較四個 模型在18：00預測未來24小時內的軸溫效果，可以看出ga-grgat模型和 coamlp模型要明顯優于grgat模型和grgat模型。
[0160]
綜上所述，本發明的軸溫長時預測可以為列車日常維護和狀態修提供 決策依據。本發明選取軸溫作為軸承狀態監測特征，將圖結構引入到高速 列車軸溫預測的場景中，形成軸溫網絡。基于軸溫網絡，使用嵌入式架構 融合圖注意力網絡(graph attention network，即gat)模型和門限循環單 元(gate recurrent unit，即gru)模型構建了grgat框架，其中gat模型 較圖卷積神經網絡(graph convolutional network，即gcn)模型而言使 用注意力機制針對不同的鄰居學習不同的權重，有效解決了圖中的動態卷 積操作；然后使用生成對抗網絡(generative adversarial networks，gan) 模型構建時間時序特征對歷史列車軸溫信息進行融合，從而提高ga-grgat 模型的長時預測準確度和gcn模型。
技術特征：
1.一種基于圖注意力模型的高速列車軸溫長時預測方法，其特征在于，包括以下步驟：步驟1、從高速列車的轉向架上采集傳感器數據，對傳感器數據進行清洗、去噪處理，使用皮爾森相關系數對轉向架上的傳感器進行特征篩選，得到與軸溫變化最相關的傳感器數據；步驟2、構建軸溫信息圖結構；步驟3、獲取步驟1的時間序列數據和步驟2的圖結構，使用gru(門限循環單元)模型有效提取高速列車軸溫的時序特征，使用gat(圖注意力網絡)模型有效提取列車轉向架圖結構的空間特征；結合gru模型和gat模型，使用gat單元代替gru內部原有的線性連接層，從而構建可以融合列車軸溫的時空信息的grgat單元；步驟4、基于生成對抗網絡構建生成器和判別器，其中生成器和判別器都包括了編碼操作和解碼操作；步驟5、基于生產對抗網絡和grgat單元構建高速列車軸溫長時預測ga-grgat模型；并基于pytorch深度學習框架融合列車軸溫的時空信息的grgat單元的ga-grgat模型訓練；步驟6：使用高速列車真實在途運行數據帶入ga-grgat模型，得到軸溫的長時預測值。2.根據權利要求1所述的基于圖注意力模型的高速列車軸溫長時預測方法，其特征在于，所述步驟2中圖結構定義如下，：其中d代表一個網絡，v是網絡中的一組頂點，e是網絡d中的一組邊，并且e
ij
表示從節點v
i
到v
j
的方向；此外，w是網絡d中的一組權重，w
ij
表示從節點v
i
到v
j
的權重。3.根據權利要求1所述的基于圖注意力模型的高速列車軸溫長時預測方法，其特征在于，所述步驟3具體按以下步驟實施：步驟31，將t時刻的軸溫數據輸入x
t
和t-1時刻的隱藏層輸出h
t-1
橫向拼接得到更新門z
t
＝[h
t-1
||x
t
]，將gru模型原有的線性重置門r
t
和更新門z
t
使用兩個不同的k層gat網絡替代；具體公式如下所示：具體公式如下所示：其中σ(
·
)為sigmoid激活函數；步驟,32：將t-1時刻的隱藏層輸出h
t-1
與t時刻的重置門r
t
相乘，然后和t時刻的軸溫數據x
t
輸入，橫向拼接得到z
′
t
＝[r
t
*h
t-1
||x
t
]，將gru模型原有的線性單元使用一個k層gat網絡替代，從而計算t時刻的隱藏層h
t
輸出；公式如下所示：4.根據權利要求1所述的基于圖注意力模型的高速列車軸溫長時預測方法，其特征在
于，所述步驟3中gat模型，定義t時刻輸入gat模型的列車軸溫數據為列車轉向架圖結構的鄰接矩陣a∈r
n
×
n
，n為列車轉向架圖結構的頂點數量，p為輸入列車軸溫屬性的維度，為可學習參數，q為輸出的列車軸溫的特征維度，節點i的重構向量如下所示其中，leakyrelu(w
t
[wx
i
||wx
j
])為激活函數，exp(leakyrelu(w
t
[wx
i
||wx
j
]))為指數操作，時刻i和時刻j的軸溫為x
i
和x
j
，節點i和節點j的一階領域為和學習參數為w，訓練參數為w。5.根據權利要求1所述的基于圖注意力模型的高速列車軸溫長時預測方法，其特征在于，所述步驟4具體按以下步驟實施：步驟41，生成器構建(1)編碼器輸入階段，在該階段首先將t時刻輸入的列車轉向架時序特征c
t
，通過f
mlp
映射為c
′
t
∈r
n
×1，然后將列車軸溫數據x
t
和時序特征c
′
t
進行拼接，拼接的結果作為grgat單元的輸入；(2)解碼器生成階段，首先將c
t
按照step 1的方法通過f
mlp
映射為c
′
t
∈r
n
×1，然后將t-1時刻由step 1輸出的數據和c
′
t
進行拼接，拼接的結果作為grgat單元的輸入，經過循環收斂之后得到隱藏矩陣h
t
和輸出矩陣y
t
。其中，需要在解碼器階段使用注意力機制，使用注意力單元att將y
t
映射為步驟42，判別器構建(1)t時刻輸入的時序特征c
t
，通過f
mlp1
映射為c
′
t
∈r
n
×1。映射向量c
′
t
與溫度信息x
t
進行拼接，輸入grgat單元進行循環，迭代之后得到隱藏矩陣h＝(h1,h2,...,h
l+r
)和輸出矩陣y＝(y1,y2,...,y
l+r
)；(2)將y
t
映射為t時刻帶有自注意力機制的映射向量；(3)f
mlp2
將映射為真實數據的概率p。6.根據權利要求1所述的基于圖注意力模型的高速列車軸溫長時預測方法，其特征在于，所述步驟6具體按以下步驟實施：步驟61，生成器生成序列在t時刻編碼器(encoder)的軸溫數據x
t
為輸入和時序特征c
t
，經過l步循環迭代之后，得到z和h
e
，在解碼器(decoder)的輸入數據為上一時刻的和c
t
，計算得到再經過r步循環迭代之后得到步驟62，判別器判別真偽樣本數據包含兩個部分，分別是序列數據和標簽數據。前者的長度為l+r，包括x
t
和c
t
；后者為0或者1；步驟63，對抗訓練
對生成器g和判別器m進行初始化得到g0和m0，具體步驟如下所示：(1)g0不變，優化m0得到m1，優化方法為梯度下降算法；(2)m1不變，優化g0得到g1，優化方法與第一步相似；(3)在模型收斂之前重復上述兩個步驟對g和m進行優化，最終得到最佳的g
*
和m
′
，其中，g
*
即為預測階段使用的生成器。7.根據權利要求1所述的基于圖注意力模型的高速列車軸溫長時預測方法，其特征在于，所述步驟5基于pytorch深度學習框架融合列車軸溫的時空信息的grgat單元的ga-grgat模型訓練；ga-grgat模型的訓練算法偽代碼如下所示：grgat模型的訓練算法偽代碼如下所示：。
技術總結
本發明公開了屬于數據挖掘技術領域的一種基于圖注意力模型的高速列車軸溫長時預測方法，該方法首先從高速列車的轉向架上采集傳感器數據，使用嵌入式架構融合GAT模型和門限循環GRU模型構建GRGAT框架，用于對時空預測進行聚合；使用圖注意力網絡GAT模型和生成對抗網絡GA模型，分析列車運行周期性變化的特點，使用GA網絡構建時間條件序列對歷史軸溫信息進行融合，得到高速列車軸溫長時預測的GA-GRGAT模型，實驗結果顯示，本發明在進行長時預測時，在兩個數據集上的準確度均高于80％以上，可以滿足高精度、長時間的軸溫預測需求。長時間的軸溫預測需求。長時間的軸溫預測需求。
