一種序列推薦方法及設備與流程
1.本發明屬于通信技術技術領域，特別是涉及一種序列推薦方法及設備。
背景技術：
2.隨著互聯網應用逐漸廣泛，序列推薦技術顯得越來越重要，比如購物、聽音樂、看視頻等等序列推薦場景出現的越來越頻繁。目前存在著多種序列推薦技術，對序列推薦產生了重要的影響，但仍存在改進空間。
3.順序推薦(sr)由于其成功性和可擴展性，引起了學術界和業界的廣泛關注。sr方法通過按時間順序對交互進行排序，將每個用戶的歷史交互格式化為一個序列。sr的目標是描述用戶不斷變化的興趣，并預測下一個首選項。sr通過在序列中建模項目-項目轉換關系來編碼用戶的動態興趣。
4.目前已知的幾種順序推薦的方案：(1)馬爾可夫鏈markov chain：通過歷史數據構建項目之間的轉移矩陣，之后只需要通過建立好的轉移矩陣就可以預測下一個可能的項目是什么了。(2)循環深度網絡rnn：給定一個歷史用戶-項目交互序列，基于循環神經網絡(rnn)的序列推薦通過對給定交互的順序依賴關系建模來預測下一個可能的交互。其中，比較經典的模型是gru4rec。(3)注意力機制transformer：transformer技術引入了自我注意機制來揭示位置-項目-項目關系。比較典型的模型有sasrec和bert4rec。sasrec是根據transformer技術的改進的，允許捕捉長期語義，擁有注意機制，預測較少的動作。它從動作歷史記錄中確定哪些項目是“相關的”，并用于預測下一個項目。bert4rec同樣改進了transformer技術，采用順序雙向建模。
5.基于transformer的方法將項目嵌入為向量，使用點積自我注意力的方法來衡量項目之間的關系，表現出優越的能力。但是基于點積自我注意的方法未能考慮動態不確定性和協作傳遞性的問題。現有的sr方法假設動態用戶興趣是確定性的。因此，推斷出的用戶嵌入是潛在空間中的固定向量，不足以表示各種用戶興趣，尤其是在真實的動態環境中。項目轉換反映了用戶順序行為的演變過程，有時很難理解，一個項目轉換中的兩個項目甚至可能不在同一產品類別中。因此，如果用戶有很大一部分意外的項目轉換，那么使用確定性流程對該用戶進行建模可以獲得次優的建議。bpr衡量用戶對積極項目和隨機抽樣的消極項目的偏好得分之間的差異。然而，不能保證正項在潛在空間中離負項更遠。
技術實現要素：
6.為了解決上述問題，本發明提出了一種序列推薦方法及設備，能夠有效提升序列推薦準確性和效率，使得推薦技術更加合理有效。
7.為達到上述目的，本發明采用的技術方案是：一種序列推薦方法，包括步驟
8.s10,進入隨機嵌入層，將項目表示為分布，將不確定性引入到項目嵌入中，獲得隨機嵌入；
9.s20,進入wasserstein自我注意層，建立自適應隨機嵌入的自我注意變體；
10.s30,進入前饋網絡和層輸出，前饋網絡采用兩個具有elu激活的點式完全連接層，在學習隨機嵌入時引入非線性；采用層輸出包括剩余連接、層規范化和脫落層；
11.s40,進入預測層，根據輸出嵌入預測下一項，獲得預測排名；
12.s50,采用正則化項來增強正樣本項和負樣本項之間的距離，正負bpr損失作為基準損失來衡量排名預測誤差；
13.s60，采用排名做推薦。
14.進一步的是，使用多維橢圓高斯分布來表示項，橢圓高斯分布由平均向量和協方差向量控制，其中協方差引入項目的潛在不確定性；
15.對于所有項目，定義一個平均嵌入表m
μ
和協方差嵌入表m
σ
；
16.由于均值和協方差識別不同的信號，為均值和協方差引入單獨的位置嵌入p
μ
和p
σ
，獲得用戶的均值和協方差序列嵌入，計算公式為：
[0017][0018]
隨機嵌入表示為d-維橢圓高斯分布其中并且并且
[0019]
進一步的是，在wasserstein自我注意層建立自適應隨機嵌入的自我注意變體時：
[0020]
表示作為自我關注的價值觀，分別獲取項目sk和項目s
t
的隨機嵌入；
[0021]
采用wasserstein距離來測量兩個項目的隨機嵌入之間的距離，計算a
kt
表示項目sk和項目s
t
之間的注意值，k≤t，包括：
[0022]
對于兩個項目sk和s
t
，相應的隨機嵌入是和
[0023]
其中：
[0024][0025]
其中，分別表示對應的項目的不同距離值，σ表示協方差距離，μ表示平均值距離，k表示項目sk中第k個項目，t表示項目s
t
中第t個項目；
[0026]
將注意力權重定義為2-wasserstein距離w2(
·
,
·
)，獲得自我關注的注意值：
[0027][0028]
進一步的是，建立自我項目在序列每個位置的輸出嵌入是之前步驟中嵌入的加權和，其中權重是歸一化的注意值獲得自我關注的注意值為：
[0029][0030]
其中，a
jt
表示從第j個項目到第t個項目的注意力值。
[0031]
進一步的是，由于每個項都表示為具有均值和協方差的隨機嵌入，因此均值和協方差的聚合，采用高斯分布的線性組合特性，計算公式為：
[0032][0033]
其中并且k≤t；
[0034]
輸出結果和共同形成新生成序列的隨機嵌入，將歷史序列信號與不確定性意識聚合在一起。
[0035]
進一步的是，兩個具有elu激活的點式完全連接層，在學習隨機嵌入時引入非線性：
[0036][0037][0038]
其中以及表示學習參數；
[0039]
采用剩余連接、層規范化和脫落層，層輸出為：
[0040][0041][0042]
如果堆疊更多層，z
μ
和z
σ
作為下一個wasserstein自我注意層的輸入。
[0043]
進一步的是，根據輸出嵌入預測下一項，包括步驟：
[0044]
在序列的第t個位置的項目s
t
，計算第t+1位置上的下一個項目j的預測分數，表示為兩個項目和的2-wasserstein距離：
[0045][0046]
其中和是給定序列(s1,s2,
…
,s
t
)的表示,1≤t≤n；)的表示,1≤t≤n；和是輸入隨機嵌入表m
μ
和m
σ
的的嵌入索引；
[0047]
按升序排列分數來生成排名前n的推薦列表。
[0048]
進一步的是，正則化項來增強此類距離，計算方法為：
[0049][0050]
其中[x]
+
＝max(x,0)是標準損失，j
+
代表下一個損失，j-是從用戶從不與之交互的項目中隨機抽取的負面項目，l
pun
(t,j
+
,j-)代表的是是正項和負項之間的距離；表示預測距離左右的值，表示從st到j+的距離；
[0051]
大于預測距離否則，如果則違反直覺，則違反直覺，揭示了陽性項目j
+
與負項j-接近；
[0052]
將此校正損失作為正則化項與bpr損失合并到最終損失中：
[0053][0054]
其中，表示距離集合，σ表示標準差，β表示權重，λ表示權重；
[0055]
使用adam優化器最小化l并優化所有可學習的參數θ；在理想情況下，第二項λl(s
t
,j
+
,j-)變為0，也就是說s
t
與j
+
接近，但是s
t
與j
+
遠離j-。
[0056]
采用本技術方案的有益效果：
[0057]
本發明提出了一種新的隨機自我注意序列模型，用于建模動態不確定性和捕獲協作傳遞性。還引入了一種新的bpr損失正則化方法，保證了正負采樣項之間的較大距離。數據集的大量結果和定性分析證明了模型的有效性，也很好地支持了模型在緩解冷啟動項目推薦問題方面的優勢。
[0058]
本發明中分布表示有助于擴展項目的潛在交互空間，以更好地理解不確定性和靈活性。
[0059]
本發明對協作傳遞性的考慮有助于發現和歸納項目傳遞中固有的協作信號。
[0060]
本發明新引入的損失帶來了一個額外的約束，它將積極項目和消極項目之間的距離限制為不大于積極項目之間的距離。wasserstein自我注意的優越性，為順序推薦建模不確定性信息和協作傳遞性的必要性提供了保證。
[0061]
本發明不確定性信息在用戶建模和冷啟動項目問題緩解中有效。序列長度最短的組擁有最多的用戶，并且隨著序列長度的變長，用戶的大小會減小。與短序列相比，模型在最大序列長度間隔內實現了最顯著的用戶改進。
附圖說明
[0062]
圖1為本發明的一種序列推薦方法流程示意圖.
具體實施方式
[0063]
為了使本發明的目的、技術方案和優點更加清楚，下面結合附圖對本發明作進一步闡述。
[0064]
在本實施例中，參見圖1所示，本發明提出了一種序列推薦方法，包括步驟
[0065]
s10,進入隨機嵌入層，將項目表示為分布，將不確定性引入到項目嵌入中，獲得隨機嵌入；
[0066]
s20,進入wasserstein自我注意層，建立自適應隨機嵌入的自我注意變體；
[0067]
s30,進入前饋網絡和層輸出，前饋網絡采用兩個具有elu激活的點式完全連接層，在學習隨機嵌入時引入非線性；采用層輸出包括剩余連接、層規范化和脫落層；
[0068]
s40,進入預測層，根據輸出嵌入預測下一項，獲得預測排名；
[0069]
s50,采用正則化項來增強正樣本項和負樣本項之間的距離，正負bpr損失作為基準損失來衡量排名預測誤差；
[0070]
s60，采用排名做推薦。
[0071]
作為上述實施例的優化方案，在步驟s10中，進入隨機嵌入層，將項目表示為分布，將不確定性引入到項目嵌入中，獲得隨機嵌入；具體的：
[0072]
使用多維橢圓高斯分布來表示項目，橢圓高斯分布由平均向量和協方差向量控制，其中協方差引入項目的潛在不確定性；
[0073]
對于所有項目，定義一個平均嵌入表m
μ
和協方差嵌入表m
σ
；
[0074]
由于均值和協方差識別不同的信號，為均值和協方差引入單獨的位置嵌入p
μ
和p
σ
，獲得用戶的均值和協方差序列嵌入，計算公式為：
[0075][0076]
隨機嵌入表示為d-維橢圓高斯分布其中并且并且
[0077]
作為上述實施例的優化方案，用隨機嵌入建模序列動力學仍然存在挑戰。首先，在仍然滿足三角形不等式的情況下，用分布對項目轉移的動力學建模仍然存在問題。其次，這些序列信號的聚合以獲得序列的表示仍然沒有得到解決。為了應對這兩個挑戰，引入了wasserstein距離作為注意權重來衡量序列中項目之間的成對關系，并且我們還采用高斯分布的線性組合特性來聚合歷史項目并獲得序列表示。
[0078]
在步驟s20中，進入wasserstein自我注意層，建立自適應隨機嵌入的自我注意變體；具體的：
[0079]
在wasserstein自我注意層建立自適應隨機嵌入的自我注意變體時：
[0080]
表示作為自我關注的價值觀，分別獲取項目sk和項目s
t
的隨機嵌入；
[0081]
采用wasserstein距離來測量兩個項目的隨機嵌入之間的距離，計算a
kt
表示項目sk和項目s
t
之間的注意值，k≤t，包括：
[0082]
對于兩個項目sk和s
t
，相應的隨機嵌入是和
[0083]
其中：
[0084][0085]
其中，分別表示對應的項目的不同距離值，σ表示協方差距離，μ表示平均值距離，k表示項目sk中第k個項目，t表示項目s
t
中第t個項目；
[0086]
將注意力權重定義為2-wasserstein距離w2(
·
,
·
)，獲得自我關注的注意值：
[0087][0088]
使用wasserstein距離有幾個優點。首先，wasserstein距離測量分布之間的距離，能夠測量具有不確定性信息的項目的相異性。其次，wasserstein距離滿足三角形不等式，可以歸納地捕捉序列建模中的協同傳遞性。最后，wasserstein距離還具有更穩定的訓練過程的優勢，因為當兩個分布不重疊時，它提供了更平滑的測量值，這在sr中意味著兩個項目彼此遠離。然而，kl發散將產生無窮遠的距離，導致數值不穩定。與傳統的自我關注相比，公
式可以通過批量矩陣乘法計算，而不會犧牲計算和空間效率。建立自我項目在序列每個位置的輸出嵌入是之前步驟中嵌入的加權和，其中權重是歸一化的注意值獲得自我關注的注意值為：
[0089][0090]
其中，a
jt
表示：從第j個項目到第t個項目的注意力值。
[0091]
由于每個項都表示為具有均值和協方差的隨機嵌入，因此均值和協方差的聚合，采用高斯分布的線性組合特性，計算公式為：
[0092][0093]
其中并且k≤t；
[0094]
輸出結果和共同形成新生成序列的隨機嵌入，將歷史序列信號與不確定性意識聚合在一起。
[0095]
作為上述實施例的優化方案，在步驟s30中，進入前饋網絡和層輸出，前饋網絡采用兩個具有elu激活的點式完全連接層，在學習隨機嵌入時引入非線性；采用層輸出包括剩余連接、層規范化和脫落層；具體的：
[0096]
兩個具有elu激活的點式完全連接層，在學習隨機嵌入時引入非線性：
[0097][0098][0099]
其中以及表示學習參數；
[0100]
采用剩余連接、層規范化和脫落層，層輸出為：
[0101][0102][0103]
為了保證協方差的正定性，在協方差嵌入中采用了elu激活和加1。
[0104]
如果堆疊更多層，z
μ
和z
σ
作為下一個wasserstein自我注意層的輸入。
[0105]
作為上述實施例的優化方案，在步驟s40中，進入預測層，根據輸出嵌入預測下一項，包括步驟：
[0106]
在序列的第t個位置的項目s
t
，計算第t+1位置上的下一個項目j的預測分數，表示為兩個項目和的2-wasserstein距離：
[0107][0108]
其中和是給定序列(s1,s2,
…
,s
t
)的表示,1≤t≤n；)的表示,1≤t≤n；和是輸入隨機嵌入表m
μ
和m
σ
的的嵌入索引；
[0109]
對于評估，與點積法不同，距離分數越小，表示下一個項目的概率越高。因此，通過按升序排列分數來生成排名前n的推薦列表。
[0110]
作為上述實施例的優化方案，在步驟s50中，正則化項來增強此類距離，計算方法為：
[0111][0112]
其中[x]
+
＝max(x,0)是標準損失，j
+
代表下一個損失，j-是從用戶從不與之交互的項目中隨機抽取的負面項目，l
pun
(t,j
+
,j-)代表的是是正項和負項之間的距離；表示預測距離左右的值，表示從st到j+的距離；
[0113]
大于預測距離否則，如果則違反直覺，則違反直覺，揭示了陽性項目j
+
與負項j-接近；
[0114]
將此校正損失作為正則化項與bpr損失合并到最終損失中：
[0115][0116]
其中，表示距離集合，σ表示標準差，β表示權重，λ表示權重；
[0117]
使用adam優化器最小化l并優化所有可學習的參數θ；在理想情況下，第二項λl(s
t
,j
+
,j-)變為0，也就是說s
t
與j
+
接近，但是s
t
與j
+
遠離j-。
[0118]
以上顯示和描述了本發明的基本原理和主要特征和本發明的優點。本行業的技術人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發明的原理，在不脫離本發明精神和范圍的前提下，本發明還會有各種變化和改進，這些變化和改進都落入要求保護的本發明范圍內。本發明要求保護范圍由所附的權利要求書及其等效物界定。
