一種基于自監督學習的腦電信號在線自適應分類方法
1.本發明屬于信號處理技術領域，具體涉及一種基于自監督學習的腦電信號在線自適應分類方法。
背景技術：
2.腦機接口(bci)系統在人腦和外部設備之間建立無創連接，以實現信息交換?；谀X電信號的腦機接口系統首先被開發出來，通過將心理意圖轉化為控制命令來幫助患者實現溝通、運動和康復。作為研究大腦的技術手段之一，腦電信號也常被用作神經科學研究。研究人員利用腦電信號無偏測量個人的疲勞和情緒水平，開發出認知、情感檢測等應用。近年來，越來越多的基于腦電的腦機接口系統旨在通過實現人類與計算機的交互，來增強健康用戶的工作能力和工作效率。目前的腦機接口系統中，用戶的大腦活動通常使用腦電圖(electroencephalogram，eeg)信號進行監測，該信號從用戶的頭皮上記錄。
3.目前，快速序列視覺呈現(rapid serial visual presentation，rsvp，也稱快速串行視覺呈現)作為一種人類增強的實驗范式，受到了研究人員的廣泛關注。這種實驗范式最常用于反情報、安全和醫療等領域，因為這些領域中需要專業人員審查大量圖像或信息，而通過使用快速序列視覺呈現范式、基于腦電的腦機接口系統進行腦電信號的分類，可以比手動分析更快地檢測和識別對象以及相關信息片段，這大大提高了專業人員的工作效率。通常，快速序列視覺呈現范式以5
–
20hz的頻率順序顯示圖像，其中非目標圖像與目標圖像的比率約為10:1。這有助于在eeg信號中誘導事件相關電位(erp)成分，該成分與大腦的注意機制和記憶處理有關。近年來，研究人員一直致力于提高rsvp范式中腦電信號的分類性能。
4.現有的腦電信號分類方法中，基于傳統機器學習的方法通常采用手工特征，如時域的統計特征、頻域的頻帶功率和時頻域的離散小波變換特征。隨后這些特征被送入線性判別分析(lda)或fisher線性判別分析(fld)算法進行分類。例如，blankertz等人提出了正則化線性判別分析算法(rlda)，以準確估計高維空間中的協方差矩陣。該方法使用收縮估計量形成線性判別分析的正則化版本，其性能優于其它基于線性判別分析的方法。parra等人提出了一種層次判別成分分析算法(hdca)，它首先采用fld訓練空間權重，然后訓練邏輯回歸分類器學習時間權重并實現分類。xiao等人開發了一種稱為標準模式匹配的算法。該算法構造判別性空間模式和典型相關分析模式，然后將這兩種模式進行匹配，形成魯棒分類器。
5.而值得注意的是，最近發展起來的深度學習方法在腦電信號分類領域正占據主導地位。與依賴專家級經驗和先驗領域知識提取特征信息的傳統研究不同，深度學習可以從大腦活動中自動提取判別性特征。例如，schirrmeisteret等人首先提出了一種稱為deepconvnet的端到端深度網絡，用于eeg解碼任務。該模型從原始eeg中解碼任務相關信息，無需手工制作特征，突出了深層卷積神經網絡與腦映射高級可視化技術相結合的潛力。lawhern等人提出了一種稱為eegnet的緊湊型神經網絡，并在各種eeg分類任務中取得了不
錯的性能。其使用了深度卷積和可分離卷積來構建特定于腦電圖網絡，其網絡封裝了多個腦電特征提取概念，如最優空間濾波和濾波器組構造。v
′
azquez等人提出了eeg-inception，該方法首先集成inception模塊，以不同的時間尺度，高效提取時間特征，用于erp分類?？紤]到事件相關電位(erp)成分的鎖相特性，zang等人提出plnet來學習相位信息，以提高腦電信號的分類性能。
6.然而，腦電信號在現實中往往是非平穩的，在兩次實驗之間，它們的數據分布往往會隨著時間的推移而發生變化。腦電信號的非平穩性可能由各種事件引起，例如用戶注意力水平的變化、電極放置或用戶疲勞。神經科學研究表明，腦電信號非平穩性的根本原因不僅與外界刺激對大腦機制的影響有關，還與神經組件認知任務相關固有亞穩態的轉換有關。因而在實際的腦電圖應用中，非平穩的腦電信號會導致訓練數據和測試數據之間的分布隨時間發生變化，這在很大程度上限制了rsvp范式下腦電分類的性能。
7.但現有的腦電信號分類方法大多并沒有考慮分布偏移問題，均假設腦電數據在訓練數據和測試數據之間的分布不發生變化。針對分布偏移問題，對抗魯棒性和領域自適應是鮮有的幾種解決方案，它們試圖通過拓撲結構或測試分布數據預測訓練和測試分布之間的差異。然而，由于沒有引入測試數據，對抗魯棒性很難準確地預測測試分布。對于領域自適應，由于越來越多的隱私問題、不斷膨脹的數據集以及許多其他現實世界的限制，在測試時重新訪問訓練數據可能是不切實際的。
8.因此，如何解決分布偏移問題，提高快速序列視覺呈現范式中腦電信號的分類性能，是本領域內一個亟待解決的問題。
技術實現要素：
9.本發明實施例的目的在于提供一種基于自監督學習的腦電信號在線自適應分類方法，以實現解決分布偏移問題，提高快速序列視覺呈現范式中腦電信號的分類性能的目的。具體技術方案如下：
10.一種基于自監督學習的腦電信號在線自適應分類方法，包括：
11.獲得待測樣本；其中，所述待測樣本是對待測被試者在快速序列視覺呈現下采集到的腦電圖信號進行預處理后得到的；
12.構建所述待測樣本針對兩個自監督任務分別對應的數據集，得到時序驗證任務數據集和掩碼空間識別任務數據集；
13.基于所述時序驗證任務數據集和所述掩碼空間識別任務數據集，對預先訓練完成的原始腦電信號分類網絡的參數進行更新，得到更新后腦電信號分類網絡；其中，所述原始腦電信號分類網絡是利用樣本數據集對預設網絡訓練得到，所述樣本數據集基于多個樣本被試者進行快速序列視覺呈現實驗所得到的腦電圖信號得到。
14.利用所述更新后腦電信號分類網絡對所述待測樣本進行分類，得到對應的分類結果。
15.在本發明的一個實施例中，所述構建所述待測樣本針對兩個自監督任務分別對應的數據集，得到時序驗證任務數據集和掩碼空間識別任務數據集，包括：
16.針對所述時序驗證任務，將所述待測樣本作為正樣本，通過在時間維度上將所述待測樣本的不同部分進行交換操作得到負樣本，由攜帶有對應標簽的所述負樣本和所述正
樣本共同構成時序驗證任務數據集；
17.針對所述掩碼空間識別任務，根據預設的大腦區域與電極的對應關系，將所述待測樣本劃分為預設數量個區域，每次用預設噪聲掩碼所述待測樣本中一個不重復區域的腦電圖信號，得到該次的攜帶有標簽的掩碼后待測樣本；由各次得到的掩碼后待測樣本共同構成掩碼空間識別任務數據集；其中，每次得到的掩碼后待測樣本的標簽，與所述待測樣本該次被掩碼的腦電圖信號區域的區域編號一致。
18.在本發明的一個實施例中，所述通過在時間維度上將所述待測樣本的不同部分進行交換操作得到負樣本，包括：
19.將所述待測樣本在時間維度上劃分為前后兩部分；
20.將所述前后兩部分分別對應的腦電圖信號進行交換，得到所述待測樣本對應的負樣本。
21.在本發明的一個實施例中，所述預設的大腦區域與電極的對應關系，包括預設數量個大腦區域，以及各大腦區域對應的用于采集腦電圖信號的多個電極的名稱。
22.在本發明的一個實施例中，所述預設噪聲，包括高斯噪聲。
23.在本發明的一個實施例中，所述基于所述時序驗證任務數據集和所述掩碼空間識別任務數據集，對預先訓練完成的原始腦電信號分類網絡的參數進行更新，得到更新后腦電信號分類網絡，包括：
24.同時將所述時序驗證任務數據集和所述掩碼空間識別任務數據集輸入所述原始腦電信號分類網絡，分別得到時序驗證任務的特征和掩碼空間識別任務的特征；
25.將所述時序驗證任務的特征輸入預先構建的時序驗證任務分類頭，得到時序驗證任務的預測分類結果；以及，將所述掩碼空間識別任務的特征輸入預先構建的掩碼空間識別任務分類頭，得到掩碼空間識別任務的預測分類結果；
26.根據所述時序驗證任務數據集的標簽、所述時序驗證任務的預測分類結果、所述掩碼空間識別任務數據集的標簽和所述掩碼空間識別任務的預測分類結果，計算網絡損失，并利用所述網絡損失更新所述原始腦電信號分類網絡的參數，得到更新后腦電信號分類網絡。
27.在本發明的一個實施例中，所述時序驗證任務分類頭和/或所述掩碼空間識別任務分類頭由兩層全連接層構成。
28.在本發明的一個實施例中，所述樣本數據集的獲得過程包括：
29.對選取的樣本被試者進行快速序列視覺呈現實驗，在預設實驗條件下采集各樣本被試者的腦電圖信號；
30.對采集到的腦電圖信號進行預處理；
31.由預處理后的所有腦電圖信號構成樣本數據集，并按照預設比例將所述樣本數據集劃分為訓練集和測試集。
32.在本發明的一個實施例中，針對任一腦電圖信號，所述預處理的過程，包括：
33.根據該腦電圖信號對應的快速序列視覺呈現中各刺激出現的時間戳，將采集到的該腦電圖信號進行分割，得到多個數據段；其中，所述快速序列視覺呈現對應的圖像序列中每一圖像的出現對應為一個刺激；
34.對每個數據段進行濾波；
35.對濾波后的每個數據段進行降采樣處理；
36.對降采樣處理后的每個數據段進行歸一化處理。
37.在本發明的一個實施例中，所述預設網絡，包括eegnet網絡。
38.本發明的有益效果：
39.本發明實施例所提供的基于自監督學習的腦電信號在線自適應分類方法中，預先利用樣本被試者進行快速序列視覺呈現實驗所得到的腦電圖信號得到樣本數據集對預設網絡進行訓練，得到訓練完成的模型，即原始腦電信號分類網絡。在實際測試時，針對待測被試者在快速序列視覺呈現下采集到的腦電圖信號進行預處理后得到的每個待測樣本，先構建包括時序驗證任務和掩碼空間識別任務在內的兩個自監督任務，并得到時序驗證任務數據集和掩碼空間識別任務數據集；然后基于所述時序驗證任務數據集和所述掩碼空間識別任務數據集，對所述原始腦電信號分類網絡的參數進行更新，得到更新后腦電信號分類網絡；最后利用所述更新后腦電信號分類網絡對所述待測樣本進行分類，得到對應的分類結果。
40.由于實際測試時呈現的未標記待測樣本提供了其數據分布的信息。本發明實施例方法將單個未標記的待測樣本轉化為一個自我監督學習問題，包括時序驗證任務和掩碼空間識別任務。通過利用待測樣本的自監督學習，在進行預測之前更新利用測試數據訓練完成的模型的參數，來充分提取實際測試時腦電信號的分布信息，在實際測試時更新特征提取器的參數，從而縮小訓練和實際測試時腦電信號的分布差異，使更新后的模型充分適應實際測試時樣本的數據分布，從而提高腦電信號的分類性能。
41.相比于傳統腦電信號分布偏移問題的解決方案，本發明實施例方法并未預測腦電數據在訓練數據和測試數據之間分布的變化，而是在實際測試時從待測樣本中學習，通過充分利用實際測試時的待測樣本數據信號，更加高效地解決分布偏移問題，且在實際測試過程中解決分布偏移問題并未使用訓練集數據。本發明實施例能夠解決分布偏移問題，提高快速序列視覺呈現范式中腦電信號的分類性能，可用于醫療等多個領域的服務，具有較高的應用價值。
附圖說明
42.圖1為本發明實施例所提供的一種基于自監督學習的腦電信號在線自適應分類方法的流程示意圖；
43.圖2為本發明實施例的基于自監督學習的腦電信號在線自適應分類方法的整體實現流程的示意框圖；
44.圖3為本發明實施例構建時序驗證任務數據集時負樣本的一種構建過程示意圖；
45.圖4為本發明實施例構建掩碼空間識別任務數據集的一種過程示意圖；
46.圖5(a)為本發明實施例快速序列視覺呈現對應的圖像序列中非目標圖像的示意圖；
47.圖5(b)為本發明實施例快速序列視覺呈現對應的圖像序列中目標圖像的示意圖；
48.圖6為本發明實施例實驗中的采集腦電圖信號的任務時序圖；
49.圖7為eegnet網絡的結構示意圖。
具體實施方式
50.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
51.為了解決分布偏移問題，提高快速序列視覺呈現范式中腦電信號的分類性能，本發明實施例提供了一種基于自監督學習的腦電信號在線自適應分類方法。
52.需要說明的是，本發明實施例所提供的一種基于自監督學習的腦電信號在線自適應分類方法的執行主體可以為一種基于自監督學習的腦電信號在線自適應分類裝置，該裝置可以運行于電子設備中。其中，該電子設備可以為一服務器或終端設備，當然并不局限于此。
53.請參見圖1和圖2理解本發明實施例所提供的一種基于自監督學習的腦電信號在線自適應分類方法。圖1為本發明實施例所提供的一種基于自監督學習的腦電信號在線自適應分類方法的流程示意圖；圖2為本發明實施例的基于自監督學習的腦電信號在線自適應分類方法的整體實現流程的示意框圖。
54.如圖1所示，本發明實施例所提供的一種基于自監督學習的腦電信號在線自適應分類方法，可以包括如下步驟：
55.s1，獲得待測樣本。
56.本發明實施例針對獲得的每個待測樣本均可以單獨執行所提供的基于自監督學習的腦電信號在線自適應分類方法，各步驟中以一個待測樣本為例進行說明。
57.其中，所述待測樣本是對待測被試者在快速序列視覺呈現下采集到的腦電圖信號進行預處理后得到的。
58.本發明實施例中的待測被試者為健康條件符合要求即在快速序列視覺呈現范式下能夠產生erp成分的人。所述快速序列視覺呈現對應包含有目標圖像和非目標圖像的圖像序列，可以至少含有一個圖像序列。各圖像序列在顯示屏幕上順序出現，每個圖像序列包含目標圖像和非目標圖像。其中目標圖像包含目標，非目標圖像不包含目標。目標可以根據需要設定，比如可以為人、車、動物等?？梢岳斫獾氖?，被試者在觀測快速序列視覺呈現對應的圖像序列時，會產生erp成分并體現在eeg信號中，利用eeg信號采集設備可以采集得到待測被試者在快速序列視覺呈現下的腦電圖信號。
59.采集過程中，待測被試者佩戴有電極帽，通過電極帽上的電極采集待測被試者的腦電信號。根據測試設備的不同，采集過程相關參數的配置可以不同，比如，可選的一種實施方式中，可以采用64腦電通道電極帽，采樣率可以為1024hz等，并涂覆腦電膏使得每個電極的阻抗保持在25kω以下，以確保得到高質量的腦電圖信號。對待測被試者在快速序列視覺呈現下采集腦電圖信號的過程請結合后文獲得樣本數據集的過程進行理解。
60.可選的一種實施方式中，針對任一腦電圖信號，比如所述待測樣本對應的腦電圖信號，所述預處理的過程，可以包括：
61.a1，根據該腦電圖信號對應的快速序列視覺呈現中各刺激出現的時間戳，將采集到的該腦電圖信號進行分割，得到多個數據段；
62.在任一被試者(針對s1為待測被試者)觀測快速序列視覺呈現對應的圖像序列時，
所述快速序列視覺呈現對應的圖像序列中每一圖像的出現對應為一個刺激，圖像序列中各圖像出現的時刻是可獲知的，可以以時間戳進行標記，因此，各刺激出現的時刻即為時間戳對應的時刻。
63.可以理解的是，在被試者觀測快速序列視覺呈現對應的圖像序列時，僅目標圖像出現時，被試者才會被激發產生erp成分；而且，圖像給予的刺激是圖像出現的短時間內完成的，也就是說，被試者接受刺激產生erp成分的有效時間段非常短，因此，將每個圖像的有效時間段內的腦電圖信號截取出來進行分析即可，摒除其余無效信息可以減小腦電圖信號的數據處理量，提高處理效率。
64.具體的，a1可以包括：
65.在該腦電圖信號中，從對應的快速序列視覺呈現中各刺激出現的時間戳開始，分別截取預設時長的腦電圖信號數據區間，得到該腦電圖信號中各刺激對應的數據段。
66.以該腦電圖信號對應的快速序列視覺呈現的圖像序列含有50張圖像為例，由于每張圖像的出現標記有一個時間戳，那么，在該腦電圖信號中，以每個時間戳為起點，分別截取預設時長的一段區間的腦電圖信號，可以共計得到50個數據段，每個數據段對應一個圖像，也就是一個刺激。
67.其中，預設時長根據經驗值設置，比如可以為1秒等，也就是截取快速序列視覺呈現時目標或非目標出現開始到開始后1秒的腦電圖數據。
68.a2，對每個數據段進行濾波；
69.在采集eeg信號的過程中，eeg信號通常會受到來自不同來源的噪聲的污染。這些偽跡可能來自于眨眼、心電圖(electrocardiogram，ecg)、肌電圖(electromyogram，emg)，以及與系統中涉及的設備相關的任何外部來源。這些偽跡可能具有與eeg信號相似的振幅，因此很可能對接下來的任務造成干擾。在該步驟中，對每個數據段進行濾波的目的即為消除或衰減噪聲，在不丟失相關信息的情況下簡化后續處理操作，以便在后續環節提取可靠的特征。
70.該步驟可以利用現有的任意一種去噪方法實現，本發明實施例在此不做限制。比如，可選的一種實施方式中，可以使用帶通濾波器，具體可以為截止頻率為0.1～48hz的六階巴特沃斯帶通濾波器等。
71.a3，對濾波后的每個數據段進行降采樣處理；
72.為了降低后續網絡特征提取的數據量，該步驟對濾波后的每個數據段分別進行降采樣處理。比如，可以將濾波后的每個數據段的采樣率均降低到256hz等。當然采樣率降低后的頻率不限于該數值，可以根據場景需求合理設置。
73.a4，對降采樣處理后的每個數據段進行歸一化處理。
74.由于降采樣處理后的各數據段可能數據分布形式并不相同，為了便于后續網絡特征提取等處理，需要對降采樣處理后的每個數據段進行歸一化處理，實現數據分布形式、數據格式的統一。具體歸一化處理的方法可以根據需求選取任意一種現有歸一化方法實現，比如，可選的一種實施方式中，可以采用z評分方法實現，具體處理過程請參見相關現有技術，在此不做詳細說明。
75.s2，構建所述待測樣本針對兩個自監督任務分別對應的數據集，得到時序驗證任務數據集和掩碼空間識別任務數據集。
76.本發明實施例針對每個待測樣本均構建有兩個自監督任務，分別為時序驗證任務和掩碼空間識別任務。目的是通過解決時序驗證任務，學習腦電圖信號的時間上下文聯系，通過解決掩碼空間識別任務，挖掘腦電圖信號各通道區域的空間關系。
77.可選的一種實施方式中，s2可以包括：
78.s21，針對所述時序驗證任務，將所述待測樣本作為正樣本，通過在時間維度上將所述待測樣本的不同部分進行交換操作得到負樣本，由攜帶有對應標簽的所述負樣本和所述正樣本共同構成時序驗證任務數據集；
79.為了解決時序驗證任務，預設網絡對應的特征提取網絡必須學習時間維度的相關性，這樣有利于提高腦電信號的分類準確率。
80.其中，正樣本的標簽為“正”，可以用1表示；負樣本的標簽為“負”，可以用0表示。有正樣本和其標簽，負樣本和其標簽共同構成時序驗證任務數據集。
81.針對s21，可選的一種實施方式中，所述通過在時間維度上將所述待測樣本的不同部分進行交換操作得到負樣本，可以包括：
82.b1，將所述待測樣本在時間維度上劃分為前后兩部分；
83.b2，將所述前后兩部分分別對應的腦電圖信號進行交換，得到所述待測樣本對應的負樣本。
84.具體的，針對所述待測樣本在時間維度上的長度，可以根據固定時間位置將所述待測樣本在時間維度上劃分為前后兩部分，或者也可以根據隨機時間位置將所述待測樣本在時間維度上劃分為前后兩部分；或者，針對所述待測樣本在時間維度上的長度，也可以根據固定或者隨機的一個比例，比如30％，將所述待測樣本在時間維度的長度上前30％部分作為前一部分，將后70％部分作為后一部分等，這都是合理的。將所述前后兩部分分別對應的腦電圖信號進行交換則得到負樣本。
85.關于負樣本的構建過程，請參見圖3理解，其中，作為正樣本的所述待測樣本在時間維度上被劃分為前后兩部分，分別以t1和t2表示，通過將t1和t2分別對應的腦電圖信號進行交換得到負樣本，可見，負樣本中變為t2在前，t1在后。
86.針對s21，可選的一種實施方式中，所述通過在時間維度上將所述待測樣本的不同部分進行交換操作得到負樣本，可以包括：
87.c1，將所述待測樣本在時間維度上劃分為至少三個部分；
88.c2，將所述至少三個部分分別對應的腦電圖信號進行交換，得到所述待測樣本對應的負樣本。
89.以將所述待測樣本在時間維度上劃分為三個部分為例進行說明，比如作為正樣本的所述待測樣本在時間維度上被劃分為t1、t2和t3三個部分，那么可以將這三個部分對應的腦電圖信號任意交換，得到和正樣本具有差異的負樣本即可，比如負樣本在時間維度上順次的三個部分可以為t2、t1和t3，或者t3、t2和t1等。
90.s22，針對所述掩碼空間識別任務，根據預設的大腦區域與電極的對應關系，將所述待測樣本劃分為預設數量個區域，每次用預設噪聲掩碼所述待測樣本中一個不重復區域的腦電圖信號，得到該次的攜帶有標簽的掩碼后待測樣本；由各次得到的掩碼后待測樣本共同構成掩碼空間識別任務數據集；
91.其中，每次得到的掩碼后待測樣本的標簽，與所述待測樣本該次被掩碼的腦電圖
信號區域的區域編號一致。
92.本發明實施例中，所述預設的大腦區域與電極的對應關系，包括預設數量個大腦區域，以及各大腦區域對應的用于采集腦電圖信號的多個電極的名稱。
93.本領域技術人員可以理解的是，大腦區域可以被劃分為預設數量個不同的區域，每個區域上對應有一些用于采集eeg信號的電極，被放置于待測被試者或者實驗過程的樣本被試者的頭皮上。因此，針對一個被試者，其eeg信號可以劃分為預設數量個區域的eeg信號。
94.可選的一種實施方式中，由于本發明實施例可以采用64腦電通道采集eeg信號，預設數量可以為8，當然，也可以根據需要選擇其余數量，這都是合理的。為了便于理解，以下以預設數量為8進行舉例說明。
95.示例性的，關于掩碼空間識別任務數據集的構建過程，請參見表1和圖4理解，表1為一種大腦區域與電極的對應表，表示預設的大腦區域與電極的對應關系的一種示例，但不作為對本發明實施例中預設的大腦區域與電極的對應關系的限制。表1中，大腦區域被劃分為八個區域，包括前腦、左顳葉、正面、右顳葉、左頂葉、枕葉、右頂葉和前部。每個大腦區域對應有一些電極，名稱請見表1。
96.表1一種大腦區域與電極的對應表
[0097][0098][0099]
并請參見圖4，圖4為本發明實施例構建掩碼空間識別任務數據集的一種過程示意圖；其中箭頭左側大的圓形表示大腦，其中各個小圓形表示對應的大腦區域，每個小圓形中的符號代表該大腦區域對應的電極名稱。
[0100]
可以理解的是，針對所述待測樣本對應的eeg信號，可以被劃分為8個區域的eeg信號，每次用預設噪聲掩碼所述待測樣本中一個不重復區域的腦電圖信號即為一次掩碼操作。針對第i次掩碼操作，用預設噪聲掩碼這8個區域的eeg信號中的第i區域的eeg信號，圖4中被掩碼的區域的eeg信號以黑白格填充表示，即圖例中的高斯噪聲掩碼，則第i次掩碼操作后得到的新的8個區域的eeg信號作為第i次得到的掩碼后待測樣本，其標簽即為i，其中i∈[1，8]。按照上述方式進行8次掩碼操作，使得每次掩碼操作所掩碼的區域不重復，則最后得到的8次對應的所有掩碼后待測樣本共同構成掩碼空間識別任務數據集。
[0101]
圖4中，是依次對所述待測樣本對應的eeg信號中第1～第8區域分別進行掩碼。當然可選的一種實施方式中，也可以不依據一定的順序，滿足各次掩碼遍歷完成所有區域且各次掩碼的區域不重復即可。
[0102]
如圖4所示，可選的一種實施方式中，所述預設噪聲，包括高斯噪聲。當然，預設噪聲也可以為泊松噪聲、乘性噪聲和椒鹽噪聲等能夠起到掩碼作用的噪聲。
[0103]
s3，基于所述時序驗證任務數據集和所述掩碼空間識別任務數據集，對預先訓練完成的原始腦電信號分類網絡的參數進行更新，得到更新后腦電信號分類網絡。
[0104]
其中，所述原始腦電信號分類網絡是利用樣本數據集對預設網絡訓練得到，所述樣本數據集基于多個樣本被試者進行快速序列視覺呈現實驗所得到的腦電圖信號得到。
[0105]
為了便于理解本發明實施例的方案，首先對所述樣本數據集以及所述原始腦電信號分類網絡的獲得過程進行說明。
[0106]
(一)所述樣本數據集的獲得過程包括：
[0107]
(1)對選取的樣本被試者進行快速序列視覺呈現實驗，在預設實驗條件下采集各樣本被試者的腦電圖信號；
[0108]
本發明實施例中，快速序列視覺呈現也可以稱為快速串行視覺呈現，即對應的圖像序列中串行的各圖像快速切換顯示在顯示屏幕上。
[0109]
在實驗準備階段，選擇多名健康條件符合要求的樣本被試者。具體的，所有被試者均具滿足正?；虺C正視力正常，且各樣本被試者均不存在神經系統問題或嚴重疾病史，以避免影響實驗結果。樣本被試者的數量可以根據樣本數量要求確定，比如可以為10名等。另外，樣本被試者需要被詳細告知實驗注意事項并確認同意開展實驗過程，以確保實驗過程滿足相關要求。
[0110]
預設實驗條件可以為：腦電信號使用biosemi公司的active-two系統進行收集，樣本被試者佩戴64腦電通道電極帽，采樣率設置為1024hz，實驗過程中保證每個電極的阻抗低于25kω，以確保采集到高質量的腦電信號等。
[0111]
在實驗階段，對各樣本被試者進行快速序列視覺呈現實驗，同時通過電極帽上的電極采集被試者的腦電圖信號。
[0112]
每一次實驗按照時間先后順序共有四種狀態，分別為預備狀態、觀看狀態、間歇狀態和等待狀態，其中：
[0113]
預備狀態時，首先顯示屏幕會出現預設圖形，如十字準星等，以便于被試者集中注意力等待連續觀看圖片序列，在等待時長后立即進入圖片序列的播放；所述等待時長可以為2s等。
[0114]
觀看狀態時，含有目標圖像和非目標圖像的圖像序列以預定頻率，比如5hz或者10hz等，隨機順序出現在顯示屏幕中央，以使樣本被試者觀看。圖像序列中圖像的數量可以為50等。播放完一個圖像序列，表示完成一次觀看，也表示完成一個trial實驗。
[0115]
圖像序列中圖像的樣式可以參考圖5，圖5(a)為本發明實施例快速序列視覺呈現對應的圖像序列中非目標圖像的示意圖；圖5(b)為本發明實施例快速序列視覺呈現對應的圖像序列中目標圖像的示意圖；圖5(a)和圖5(b)分別給出2個圖像作為示例，在此，相應圖像以灰度圖顯示。其中，圖像的分辨率為800*600等，目標為車。當然，圖5(a)和圖5(b)僅僅作為一種示例，本發明實施例的目標并不局限于車，可以根據需要合理選擇，比如可以為人、動物等。
[0116]
本發明實施例實驗共收集了500幅目標圖像和1000幅非目標圖像，每次從中挑選4張目標圖像和46張非目標圖像組成50幅圖像，即一個圖像序列；在觀看狀態中，每顯示50幅圖像后會有一個間歇狀態，顯示屏幕可以轉換為黑屏等狀態，該狀態可以持續2秒等，以便于樣本被試者調整狀態。
[0117]
按照上述過程完成10個trial實驗即表示完成了1個block實驗，此時樣本被試者進入等待狀態進行休息，在預定休息時長后，比如4秒后再次進入下一個block實驗，如此循環，直至完成預設個block數的實驗，則可以結束實驗過程，其中預設個block數可以為30等。需要補充說明的是，在整個實驗過程中，各圖像序列的圖像均為隨機生成。
[0118]
關于本發明實施例實驗中腦電圖信號采集的時序，請結合圖6理解，圖6為本發明實施例實驗中的采集腦電圖信號的任務時序圖。在此，相應圖像以灰度圖顯示。其中，實驗共有30個block，每一個block有10個trialtrial，一個trial播放一個圖像序列，一個圖像序列有50幅圖像。通過上述實驗，共采集1200個單試次樣本。
[0119]
可以理解的是，獲得待測樣本時，對待測被試者在快速序列視覺呈現下采集到的腦電圖信號的過程類似上述過程。
[0120]
(2)對采集到的腦電圖信號進行預處理；
[0121]
在該步驟中，對采集到的每個作為樣本的腦電圖信號進行預處理，得到對應的預處理后腦電圖信號。預處理過程請參見s1中針對任一腦電圖信號，所述預處理的過程進行理解，在此不做重復說明。
[0122]
(3)由預處理后的所有腦電圖信號構成樣本數據集，并按照預設比例將所述樣本數據集劃分為訓練集和測試集。
[0123]
具體的，由預處理后的所有腦電圖信號構成樣本數據集，訓練集和測試集劃分的預設比例可以為8：2等。訓練集用于訓練預設網絡得到原始腦電信號分類網絡。
[0124]
(二)所述原始腦電信號分類網絡的獲得過程包括：
[0125]
1)搭建網絡結構；
[0126]
本發明實施例中以預設網絡作為搭建的網絡結構。
[0127]
可選的一種實施方式中，所述預設網絡，可以包括eegnet網絡。使用該網絡是考慮到其具有以下三點優勢：(a)可以應用于多種不同的bci范式，(b)可以用非常有限的數據進行訓練，(c)可以產生神經生理學上可解釋的特征。
[0128]
eegnet網絡的結構請參見圖7，eegnet網絡是由時間特征提取單元、通道相關性提取單元、時空特征殘差融合單元和分類單元依次連接構成。具體的：
[0129]
時間動態提取單元，使用1*64卷積模塊，通過在時間維度上采用卷積運算來提取腦電信號的時域特征。
[0130]
通道相關性提取單元，是由64*1卷積模塊組成的空間特征提取單元，通過對不同的腦電通道采用深度卷積運算來提取腦電信號的空間特征表示。
[0131]
時空特征融合單元，由深度卷積運算模塊和1*1逐點卷積模塊級聯而成，通過融合時空信息，以提取更魯棒的特征。
[0132]
分類單元，通過全連接層完成分類功能。
[0133]
關于eegnet網絡各部分的具體結構和處理方式，請結合相關現有技術理解，在此不做詳細說明。
[0134]
2)完成網絡訓練
[0135]
本發明實施例的網絡訓練過程參照eegnet訓練過程執行。具體使用訓練集通過梯度下降法對eegnet進行迭代訓練，得到訓練后的模型，稱之為原始腦電信號分類網絡；其中，訓練參數可以設置如下：訓練次數設置為150次，單次樣本輸入量為4，損失函數為交叉
熵損失函數，優化器采用自適應矩估計優化器，學習率初始為0.001。
[0136]
具體訓練過程可以包括以下步驟：
[0137]
①
每次從訓練集中選取4個單試次樣本送入eegnet網絡，先對樣本數據進行時間特征提取，接著進行通道相關性提取，然后經過時空特征融合單元得到腦電信號特征，再將腦電信號特征送入卷積分類器進行分類；
[0138]
②
根據分類結果和樣本真實標簽計算出交叉熵損失，再由自適應矩估計優化器根據交叉熵損失對入eegnet網絡中的卷積層和批歸一化層中的參數進行更新；
[0139]
③
遍歷訓練集中的所有樣本，完成訓練，得到訓練后的eegnet網絡，即原始腦電信號分類網絡。
[0140]
可選的一種實施方式中，對eegnet網絡利用所述訓練集，通過梯度下降法按照上述步驟進行網絡訓練得到所述原始腦電信號分類網絡后，還可以再次利用測試集進行測試和參數優化。具體的，可以將測試集中的樣本直接輸入所述原始腦電信號分類網絡進行分類，得到分類結果，然后對分類結果進行統計，結合測試集中樣本的真實標簽，得到所述原始腦電信號分類網絡在測試集上的分類準確率，根據分類準確率調整所述原始腦電信號分類網絡的卷積核大小、學習率等參數，從而得到一個在離線數據集上表現良好的優化網絡，可以將該優化網絡作為訓練完成的原始腦電信號分類網絡，以在對未知的待測被試者進行實時的快速序列視覺呈現腦電圖信號分類時使用?？梢?，該種實施方式利用測試集進行再優化，可以進一步提高網絡性能，提高腦電圖信號分類的準確率。
[0141]
以上是對樣本數據集和原始腦電信號分類網絡的獲得過程的簡介。
[0142]
針對s3基于所述時序驗證任務數據集和所述掩碼空間識別任務數據集，對預先訓練完成的原始腦電信號分類網絡的參數進行更新，得到更新后腦電信號分類網絡。
[0143]
本發明實施例是利用兩個自監督任務再次更新原始腦電信號分類網絡的參數。概括來說，是根據多任務學習理論，同時將兩個自監督任務構造的正負對數據輸入所述原始腦電信號分類網絡，兩個自監督任務有助于待測樣本對應的腦電信號分類任務，學習相關的空間信息和時間信息，并且在不斷迭代學習的過程中使得兩個自監督任務相互促進，進一步提高模型，也就是原始腦電信號分類網絡的分類能力。
[0144]
可選的一種實施方式中，s3可以包括以下步驟：
[0145]
s31，同時將所述時序驗證任務數據集和所述掩碼空間識別任務數據集輸入所述原始腦電信號分類網絡，分別得到時序驗證任務的特征和掩碼空間識別任務的特征；
[0146]
具體的，所述原始腦電信號分類網絡采用的eegnet可以被理解為一個特征提取器串聯一個分類器。該步驟同時將所述時序驗證任務數據集和所述掩碼空間識別任務數據集輸入所述原始腦電信號分類網絡后，由特征提取器輸出時序驗證任務的特征和掩碼空間識別任務的特征。這兩個特征是維度均為1x128的特征向量，分別包含所述待測樣本的時間和空間信息。其中，時間信息具體指所述待測樣本的腦電信號中erp(事件相關電位)各個組件之間的內在聯系，空間信息指的是所述待測樣本的各個腦電通道之間的關系。
[0147]
s32，將所述時序驗證任務的特征輸入預先構建的時序驗證任務分類頭，得到時序驗證任務的預測分類結果；以及，將所述掩碼空間識別任務的特征輸入預先構建的掩碼空間識別任務分類頭，得到掩碼空間識別任務的預測分類結果；
[0148]
其中，所述時序驗證任務分類頭和所述掩碼空間識別任務分類頭可以采用現有的
任意一種分類網絡實現。
[0149]
比如，可選的一種實施方式中，所述時序驗證任務分類頭和/或所述掩碼空間識別任務分類頭由兩層全連接層構成。
[0150]
針對一個待測樣本，時序驗證任務的預測分類結果包括正樣本的預測分類結果和負樣本的預測分類結果，其中，預測分類結果為“正”或者“負”?！罢北硎驹摌颖镜哪X電圖信號在時間維度上沒有被顛倒，“負”表示該樣本的腦電圖信號在時間維度上被顛倒。掩碼空間識別任務的預測分類結果包括各次得到的掩碼后待測樣本的預測分類結果，其中，預測分類結果表示掩碼后待測樣本中被掩碼的區域。
[0151]
s33，根據所述時序驗證任務數據集的標簽、所述時序驗證任務的預測分類結果、所述掩碼空間識別任務數據集的標簽和所述掩碼空間識別任務的預測分類結果，計算網絡損失，并利用所述網絡損失更新所述原始腦電信號分類網絡的參數，得到更新后腦電信號分類網絡。
[0152]
該步驟中，是利用預測結果和標簽的差異，計算網絡損失，并使用梯度下降法再次更新所述原始腦電信號分類網絡的參數，得到更新后腦電信號分類網絡。
[0153]
本發明實施例研究發現訓練集數據分布與實際測試時數據集數據分布之間存在偏移的現象是影響快速序列視覺呈現范式分類準確率的關鍵因素。因而實際測試時的數據分布隨時間不斷偏移這一現象造成利用樣本數據集中的訓練集訓練完成的所述原始腦電信號分類網絡不再適用于實際測試。針對這一問題，本發明實施例發明人研究發現無標簽的測試數據中隱含了測試階段豐富的數據分布信息，充分利用這一潛在的分布信息將有利于幫助適用于訓練集分布的模型適應實際測試階段。那么如何通過這個無標簽數據更新模型，即所述原始腦電信號分類網絡，使其適應實際測試時的分布是本發明實施例研究的關鍵點。
[0154]
在本步驟中，對于每一個待測樣本，利用以上三個步驟完成模型參數更新。整個過程是通過自監督學習建立從無標簽待測樣本到模型參數之間的反饋機制，從而更新原來訓練完成的模型。為此，本發明實施例考慮到腦電信號包含豐富的時間和空間信息，分別設計了時序驗證任務和掩碼空間識別任務這兩個自監督任務來提取時間和空間信息。這兩個自監督任務從未標記的待測樣本中自動創建標簽，可以調整分布偏移下的特征提取器。時序驗證任務利用腦電信號的時間相關性，通過判斷待測樣本是否在時間維度上發生顛倒來提取時間維度信息。掩碼空間識別任務使用高斯等噪聲隨機屏蔽大腦特定區域中的部分電極，通過識別屏蔽區域來捕獲不同大腦區域的內在空間關系。時序驗證任務和空間掩碼識別任務分別有助于原始數據(待測樣本)對應的腦電信號分類任務學習相關的時間信息和空間信息，并且在不斷迭代學習的過程中通過兩個任務的相互促進，進一步適應實際測試時產生的分布偏移，提高模型的分類能力。
[0155]
s4，利用所述更新后腦電信號分類網絡對所述待測樣本進行分類，得到對應的分類結果。
[0156]
該步驟可以理解為模型推理，實現腦電信號分類的過程。
[0157]
具體的，將所述待測樣本輸入所述更新后腦電信號分類網絡，可以得到其分類結果，分類結果為一個維度為2的向量，其中各數值依次表示所述待測樣本中無目標和目標為車的概率，比如分類結果為(0.7，0.1)，表示所述待測樣本對應的圖像中無目標的可能性為
0.7，目標為車的可能性為0.1，那么根據各概率的數值高低，可以確定最終的分類結果為無目標。
[0158]
可選的一種實施方式中，所述待測樣本也可以測試集中的測試樣本。針對該種實施方式，首先利用測試集獲得訓練完成的原始腦電信號分類網絡，再用測試集中的每一個測試樣本進行s1～s4步驟，可以得到每個測試樣本的分類結果。
[0159]
進一步的，可以對測試集按照上述方式得到的所有分類結果進行統計，得到在測試集上的識別準確率，以用于評估算法的效能，或者進一步指導模型參數優化調整等。
[0160]
本發明實施例所提供的基于自監督學習的腦電信號在線自適應分類方法中，預先利用樣本被試者進行快速序列視覺呈現實驗所得到的腦電圖信號得到樣本數據集對預設網絡進行訓練，得到訓練完成的模型，即原始腦電信號分類網絡。在實際測試時，針對待測被試者在快速序列視覺呈現下采集到的腦電圖信號進行預處理后得到的每個待測樣本，先構建包括時序驗證任務和掩碼空間識別任務在內的兩個自監督任務，并得到時序驗證任務數據集和掩碼空間識別任務數據集；然后基于所述時序驗證任務數據集和所述掩碼空間識別任務數據集，對所述原始腦電信號分類網絡的參數進行更新，得到更新后腦電信號分類網絡；最后利用所述更新后腦電信號分類網絡對所述待測樣本進行分類，得到對應的分類結果。
[0161]
由于實際測試時呈現的未標記待測樣本提供了其數據分布的信息。本發明實施例方法將單個未標記的待測樣本轉化為一個自我監督學習問題，包括時序驗證任務和掩碼空間識別任務。通過利用待測樣本的自監督學習，在進行預測之前更新利用測試數據訓練完成的模型的參數，來充分提取實際測試時腦電信號的分布信息，在實際測試時更新特征提取器的參數，從而縮小訓練和實際測試時腦電信號的分布差異，使更新后的模型充分適應實際測試時樣本的數據分布，從而提高腦電信號的分類性能。
[0162]
相比于傳統腦電信號分布偏移問題的解決方案，本發明實施例方法并未預測腦電數據在訓練數據和測試數據之間分布的變化，而是在實際測試時從待測樣本中學習，通過充分利用實際測試時的待測樣本數據信號，更加高效地解決分布偏移問題，且在實際測試過程中解決分布偏移問題并未使用訓練集數據。本發明實施例能夠解決分布偏移問題，提高快速序列視覺呈現范式中腦電信號的分類性能，可用于醫療等多個領域的服務，具有較高的應用價值。
[0163]
以上所述僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護范圍內。
