基于提示學習的意圖識別方法、問答方法及裝置與流程
1.本公開屬于自然語言處理技術領域，具體涉及一種基于提示學習的意圖識別方法、問答方法及裝置。
背景技術：
2.隨著電信網絡地不斷發展，通信網絡技術框架在業務場景中廣度、深度地結合，相關知識數據逐漸復雜化、海量化。
3.目前，可以向用戶提供電信網絡的架構、運維等知識的相關問答服務。具體的，通常采用先預訓練再微調的方式，通過分詞器對用戶提供的問題進行分詞處理，再對分詞后的詞組進行向量化表示，并采用預訓練語言模型基于向量化的詞組進行文本分類，以確定用戶提問的意圖；進一步的，基于用戶提問的意圖查詢并返回問題對應的答案。
4.但是，一方面，在電信網絡領域的知識問答中，用戶提供的問題可能包含各種知識，而采用分詞器對問題進行分詞易破壞問題中知識結構的完整性；另一方面，為了涵蓋各種知識領域，有效識別用戶提問的意圖，通常需要構建大量的訓練樣本，且可能存在下游任務微調和預訓練語言模型不匹配現象，需要對預訓練語言模型的參數進行修改以適應下游任務，訓練效率低，并且也可能存在對預訓練語言模型的數據挖掘不充分導致分類準確性低的問題。
技術實現要素：
5.本公開實施例的目的是提供一種基于提示學習的意圖識別方法、問答方法及裝置，能夠解決在電信網絡領域的知識問答中，需要大量的訓練樣本，且模型訓練效率低，以及對預訓練語言模型的數據挖掘不充分導致分類準確性低的問題。
6.為了解決上述技術問題，本公開是這樣實現的：
7.第一方面，本公開提供了一種基于提示學習的意圖識別方法，該方法可以包括：接收第一查詢文本；根據提示學習范式在第一查詢文本中添加第一提示文本，獲得第二查詢文本，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測；將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的第一預測意圖。
8.可選地，接收第一查詢文本之前，方法還包括：獲取第三查詢文本，以及第二查詢文本對應的實際意圖；根據第三查詢文本與實際意圖間的關聯關系確定提示學習范式，并根據提示學習范式在第三查詢文本中添加第二提示文本，獲得第四查詢文本；將第四查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第二提示文本對第三查詢文本輸出的第二預測意圖；調整提示學習范式，以使實際意圖與第二預測意圖滿足分類目標。
9.可選地，根據提示學習范式在第一查詢文本中添加第一提示文本，獲得第二查詢文本，包括：根據提示學習范式獲取第一查詢文本對應的觸發詞；在第一查詢文本中添加觸發詞和掩碼，獲得第二查詢文本，觸發詞用于提示預訓練語言模型對第一查詢文本的查詢
意圖進行預測，掩碼用于指代第一查詢文本的查詢意圖。
10.可選地，將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的第一預測意圖，包括：將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
11.可選地，在第一查詢文本中添加觸發詞和掩碼，獲得第二查詢文本，包括：在查詢文本中添加觸發詞和掩碼，以及觸發詞對應的至少兩個分類項，獲得第二查詢文本。
12.可選地，將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的第一預測意圖，包括：將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本在分類項中對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
13.可選地，將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于提示文本對查詢文本的預測意圖，包括：將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的預測值；根據預測值在映射表中確定第一查詢文本對應的第一預測意圖，映射表定義預測意圖與預測值的映射關系，每一預測意圖對應至少一個預測值。
14.第二方面，本公開還提供了一種問答方法，該方法可以包括：接收第一查詢文本，并獲取第一查詢文本對應的第一預測意圖，第一預測意圖采用第一方面的基于提示學習的意圖識別方法得到；基于第一預測意圖對第一查詢文本進行命名實體識別；在知識圖譜中根據第一預測意圖、命名實體獲取第一查詢文本對應的答案文本。
15.第三方面，本公開還提供了一種基于提示學習的意圖識別裝置，該裝置可以包括：文本接收模塊，用于接收第一查詢文本；文本構建模塊，用于根據提示學習范式在第一查詢文本中添加第一提示文本，獲得第二查詢文本，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測；分類預測模塊，用于將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的第一預測意圖。
16.可選地，文本接收模塊，還用于獲取第三查詢文本，以及第二查詢文本對應的實際意圖；文本構建模塊，還用于根據第三查詢文本與實際意圖間的關聯關系確定提示學習范式，并根據提示學習范式在第三查詢文本中添加第二提示文本，獲得第四查詢文本；分類預測模塊，還用于將第四查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第二提示文本對第三查詢文本輸出的第二預測意圖；文本構建模塊，還用于調整提示學習范式，以使實際意圖與第二預測意圖滿足分類目標。
17.可選地，文本構建模塊，具體用于根據提示學習范式獲取第一查詢文本對應的觸發詞；在第一查詢文本中添加觸發詞和掩碼，獲得第二查詢文本，觸發詞用于提示預訓練語言模型對第一查詢文本的查詢意圖進行預測，掩碼用于指代第一查詢文本的查詢意圖。
18.可選地，分類預測模塊，具體用于將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
19.可選地，文本構建模塊，具體用于在查詢文本中添加觸發詞和掩碼，以及觸發詞對
應的至少兩個分類項，獲得第二查詢文本。
20.可選地，分類預測模塊，具體用于將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本在分類項中對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
21.可選地，分類預測模塊，具體用于將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的預測值；根據預測值在映射表中確定第一查詢文本對應的第一預測意圖，映射表定義預測意圖與預測值的映射關系，每一預測意圖對應至少一個預測值。
22.第四方面，本公開還提供了一種問答裝置，該裝置可以包括：文本分類模塊，用于接收第一查詢文本，并獲取第一查詢文本對應的第一預測意圖，第一預測意圖采用第三方面的基于提示學習的意圖識別裝置得到；實體識別模塊，用于基于第一預測意圖對第一查詢文本進行命名實體識別；答案查詢模塊，用于在知識圖譜中根據第一預測意圖、命名實體獲取第一查詢文本對應的答案文本。
23.第五方面，本公開提供了一種電子設備，該電子設備包括處理器、存儲器及存儲在該存儲器上并可在該處理器上運行的程序或指令，該程序或指令被該處理器執行時實現如第一方面的基于提示學習的意圖識別方法，或第二方面的問答方法。
24.第六方面，本公開提供了一種可讀存儲介質，可讀存儲介質上存儲程序或指令，該程序或指令被處理器執行時實現如第一方面的基于提示學習的意圖識別方法，或第二方面的問答方法。
25.第七方面，本公開提供了一種芯片，該芯片包括處理器和通信接口，通信接口和處理器耦合，該處理器用于運行程序或指令，實現如第一方面的基于提示學習的意圖識別方法，或第二方面的問答方法。
26.第八方面，本公開提供了一種包含指令的計算機程序產品，當其在計算機上運行時，使得計算機執行如實現如第一方面的基于提示學習的意圖識別方法，或第二方面的問答方法。
27.在本公開提供的基于提示學習的意圖識別方法中，該方法對接收到的第一查詢文本進行重構，根據提示學習范式在第一查詢文本中添加第一提示文本，以獲得第二查詢文本，并將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型就第一提示文本對第一查詢本文進行預測，獲得第一查詢文本對應的第一預測意圖，其中，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測。上述方法無需對第一查詢文本進行分詞處理，而是采用預訓練語言模型對第一查詢文本整體進行預測，避免了分詞對知識結構的破壞，在保持完整性的情況下能夠更充分地利用預訓練語言模型的信息，提高了分類的準確率；同時，采用提示學習范式對第一查詢文本進行重構，將下游分類任務轉換成了適配預訓練語言的預測任務，提高了預訓練語言模型與下游任務的適配度，從而提高了預訓練語言模型對查詢意圖預測的準確率。
附圖說明
28.圖1為本公開實施例提供的基于提示學習的意圖識別方法的步驟流程圖之一；
29.圖2為本公開實施例提供的基于提示學習的意圖識別方法的步驟流程圖之二；
30.圖3為本公開實施例提供的一種預訓練語言模型的結構示意圖；
31.圖4為本公開實施例提供的基于提示學習的意圖識別方法的步驟流程圖之三；
32.圖5為本公開實施例提供的一種問答方法的步驟流程圖；
33.圖6為本公開實施例提供的一種5g通信網絡知識圖譜的示意圖；
34.圖7為本公開實施例提供的基于提示學習的意圖識別裝置的結構示意圖；
35.圖8為本公開實施例提供的問答裝置的結構示意圖
36.圖9為本公開實施例提供的一種電子設備的結構示意圖；
37.圖10為本公開實施例提供的一種電子設備的硬件示意圖。
具體實施方式
38.下面將結合本公開實施例中的附圖，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本公開一部分實施例，而不是全部的實施例。基于本公開中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本公開保護的范圍。
39.本公開的說明書和權利要求書中的術語“第一”、“第二”等是用于區別類似的對象，而不用于描述特定的順序或先后次序。應該理解這樣使用的數據在適當情況下可以互換，以便本公開的實施例能夠以除了在這里圖示或描述的那些以外的順序實施，且“第一”、“第二”等所區分的對象通常為一類，并不限定對象的個數，例如第一對象可以是一個，也可以是多個。此外，說明書以及權利要求中“和/或”表示所連接對象的至少其中之一，字符“/”，一般表示前后關聯對象是一種“或”的關系。
40.下面結合附圖，通過具體的實施例及其應用場景對本公開實施例提供的電信產品生成進行詳細地說明。
41.圖1為本公開實施例提供的基于提示學習的意圖識別方法的步驟流程圖之一。如圖1所示，該方法可以包括如下步驟101至步驟103。
42.步驟101、接收第一查詢文本。
43.其中，第一查詢文本可以是由查詢方提供的，用于表示查詢方查詢意圖的文本，查詢意圖可以表示查詢方的查詢目的，以描述對第一查詢文本對應查詢結果的預期。根據不同的應用場景，查詢意圖可以有不同的分類，從而可以通過對第一查詢文本進行文本分類，以表示查詢方基于第一查詢文本的查詢意圖。在本公開實施例中，第一查詢文本可以通過接收查詢方輸入的文本獲得，也可以通過接收查詢方輸入的語音、圖像等非文本數據轉化獲得。
44.本公開實施例中，第一查詢文本可以是表示查詢意圖的完整問題句子，如第一查詢文本可以是“為什么a會故障”、“a發生故障的原因是哪些”，或者“a的故障包括哪些”、“a可能發生哪幾種故障”等；第一查詢文本也可以是表示查詢意圖的查詢詞，如可以是“a的故障”、“種類”等。
45.步驟102、根據提示學習范式在第一查詢文本中添加第一提示文本，獲得第二查詢文本，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測。
46.其中，第一預測意圖可以是基于第一查詢文本對查詢方的查詢意圖預測結果，則提示學習范式可以包括一種或兩種以上第一提示文本，以表示第一查詢文本與其查詢意圖間的關聯關系，如“問題-答案”、“現象-原因”、“實體-種類”等關聯關系。第一提示文本可以提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測，在此基礎上，第一提示文本可以是基于“問題-答案”的關聯關系可以添加“···
的答案是”的第一提示文本；基于“現象-原因”的關聯關系可以添加“···
是因為”、“···
的原因是”的第一提示文本；基于“實體-種類”的關聯關系可以添加“···
包括”、“···
有”等。
47.本公開實施例中，提示學習范式可以有一種或兩種以上，每種提示學習范式所采用的提示文本可以通過預先訓練確定，通過調整提示學習范式所采用的提示文本，以使后續預訓練語言模型能夠更好地理解預測任務，使得預測意圖能夠更充分、準確地表示查詢方的查詢意圖。
48.如，第一查詢文本為“為什么a會故障”，則提示學習范式表示“問題-答案”的關聯關系時，第一提示文本可以是“答案是”，獲得的第二查詢文本可以是“為什么a會故障，答案是
···”；第一查詢文本為“a的故障”、“原因”，則提示學習范式表示“現象-原因”，第一提示文本可以是“是因為”，獲得的第二查詢文本可以是“a的故障，是因為
···”；或者，第一查詢文本為“a的故障”、“種類”，則提示學習范式表示“實體-種類”，獲得的第二查詢文本可以是“a故障的種類，包括了
···”。
49.步驟103、將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的第一預測意圖。
50.需要說明的是，預訓練語言模型(plms，pre-trained language models)是一種通過預先收集無標簽的文本數據進行自監督學習獲得的模型，該預訓練過程通常在文本數據中隨機mask(掩碼)句子的詞語以構造監督信息，模型通過對被mask的詞語進行預測以學習句子與詞語間的關系，預訓練語言模型通常具有大量豐富的文本信息。在目前的方案中，對查詢文本通常先進行分詞，再通過預訓練語言模型對分詞進行表征，進一步再通過分類器基于該表征對分詞進行分類，從而確定查詢方通過查詢文本表示的查詢意圖。但是，該方案中下游分類任務確定分詞在固定分類中的歸屬，在基于分詞的分類結果對預訓練語言模型進行微調時其預測的mask不出現在文本中，使得預訓練語言模型的調整目標與訓練任務不匹配，不能充分挖掘預訓練語言模型的文本信息，且影響表征的準確性，進而影響對查詢意圖識別的準確性。
51.本公開實施例通過添加第一提示文本對第一查詢文本進行重構獲得了第二查詢文本，從而將下游任務的分類改造為了預測任務，使其適配預訓練語言模型的訓練任務，再將第二查詢文本輸入預訓練語言模型中。此時，預訓練語言模型可以基于第一提示文本在句子中填充第一提示文本對應的提示結果，即在句子中填充第一提示文本對應的第一預測意圖，使得在輸入完整第一查詢文本的情況下，更好地適應預訓練語言模型的訓練任務，充分利用其包含的文本信息，更準確地識別查詢方的查詢意圖。
52.在本公開實施例中，預訓練語言模型可以是根據查詢服務相關的領域中大量的語料預訓練得到的，預訓練語言模型可以是ulmfit(universal language model fine-tuning，通用語言模型微調)、gpt(generative pre-training，生成式的預訓練)模型、bert(bidirectional encoder representation from transformer，基于transformer的雙向
編碼器表示)模型等。其中，采用bert作為預訓練語言模型，在文本語料中可以基于自注意力機制關注查詢文本中與查詢服務領域相關的具體內容，如查詢服務提供無線通信領域的知識查詢，則可以基于無線通信領域相關的預料訓練bert作為預訓練語言模型，從而bert在對查詢文本進行文本分類、意圖識別時能夠更關注無線通信領域的具體內容，如無線通信領域的設備、協議、架構和應用等，在查詢文本中不包含無線通信領域的內容時，再聚焦于查詢無線通信領域相關知識的其他內容，同時bert可以對詞向量進行編碼，語義信息更加豐富，能夠保證對查詢文本預測結果的準確性。
53.其中，第一預測意圖可以是對第一查詢文本對應查詢意圖的表示，如第二查詢文本為“為什么a會故障，答案是
···”，則根據第一提示文本“答案是”，預訓練語言模型可以確定第一查詢文本對應的第一預測意圖為“造成描述現象的原因”；或者，第二查詢文本為“a故障的種類，包括了
···”，則根據第一提示文本“包括了
···”，預訓練語言模型可以確定第一查詢文本對應的第一預測意圖為“描述實體的種類”。
54.在本公開提供的基于提示學習的意圖識別方法中，該方法對接收到的第一查詢文本進行重構，根據提示學習范式在第一查詢文本中添加第一提示文本，以獲得第二查詢文本，并將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型就第一提示文本對第一查詢本文進行預測，獲得第一查詢文本對應的第一預測意圖，其中，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測。上述方法無需對第一查詢文本進行分詞處理，而是采用預訓練語言模型對第一查詢文本整體進行預測，避免了分詞對知識結構的破壞，在保持完整性的情況下能夠更充分地利用預訓練語言模型的信息，提高了分類的準確率；同時，采用提示學習范式對第一查詢文本進行重構，將下游分類任務轉換成了適配預訓練語言的預測任務，提高了預訓練語言模型與下游任務的適配度，從而提高了預訓練語言模型對查詢意圖預測的準確率。
55.圖2為本公開實施例提供的基于提示學習的意圖識別方法的步驟流程圖之二。如圖2所示，該方法可以包括如下步驟201至步驟208。
56.步驟201、獲取第三查詢文本，以及第二查詢文本對應的實際意圖。
57.其中，第三查詢文本可以是查詢方在查詢服務的相關領域提供的歷史查詢文本，也可以是根據查詢服務的相關領域語料生成的查詢文本，實際查詢意圖可以是對第三查詢文本對應查詢結果的描述，如實際意圖可以是查詢“造成描述現象的原因”、“描述操作的流程”、“描述實體的種類”等，本公開實施例對第三查詢文本的來源，以及其實際意圖不作具體限制。
58.如，根據查詢方的輸入獲取第三查詢文本的集合和為x＝{x1,x2,...,xn}，其中n表示文本的長度，在n＝128時第三查詢文本的長度為128；第三查詢文本的實際意圖的集合為y＝{y1,y2,...,ym}，其中m表示意圖分類的數量，在m＝17時實際意圖的分類數量可以為17。
59.步驟202、根據第三查詢文本與實際意圖間的關聯關系確定提示學習范式，并根據提示學習范式在第三查詢文本中添加第二提示文本，獲得第四查詢文本。
60.其中，提示學習范式可以根據第三查詢文本與實際意圖間的關聯關系，確定一種以上的第二提示文本構建，如第三查詢文本與實際意圖可以是“問題-答案”、“現象-原因”、“實體-種類”等關聯關系，每種關聯關系可以構建對應的第二提示文本，以提示模型對第三
查詢文本的預測方向。在此基礎上，針對不同的預測方向，可以對第三查詢文本添加不同的第二提示文本，從而獲得對應的第四查詢文本作為訓練數據，無需大量采集、構造和表征訓練數據集，降低了訓練成本，提高了訓練效率。此時，提示學習范式可以是包括對應第二提示文本的文本模板，如“xx，第二提示文本，xx”，其中，第二提示文本前可以填充第三查詢文本，第二提示文本后可以填充預訓練語言模型基于第二提示文本對第三查詢文本的預測結果。
61.如，對第三查詢文本x基于提示學習范式進行轉換，獲得第四查詢文本x
′
＝f
prompt
(x)；具體的，第四查詢文本可以是x
′
＝{x，答案是[mask]}，其中[mask]用于指代預訓練語言模型對第三查詢文本x所屬意圖類別的預測。
[0062]
步驟203、將第四查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第二提示文本對第三查詢文本輸出的第二預測意圖。
[0063]
其中，第四查詢文本符合預訓練語言模型的訓練任務，通過預訓練語言模型學習的句子與詞語間的關系，預訓練語言模型可以對第四查詢文本中被[mask]指代的部分進行預測，以在第二提示文本的提示下，確定第三查詢文本的第二預測意圖。
[0064]
如，將第四查詢文本輸入預訓練語言模型，通過bert中[mask]對應的預訓練的隱藏層矩陣h
[mask]
，預測[mask]指代的詞語v，如下公式(1)所示：
[0065][0066]
其中，有v∈v，v為相關知識領域的詞表。
[0067]
圖3為本公開實施例提供的一種預訓練語言模型的結構示意圖，如圖3所示，以預訓練語言模型為bert為例，以token embeddings(詞嵌入張量)、segmentation embeddings(語句分塊張量)、position embeddings(位置編碼張量)三個組成部進行輸入表示，得到輸入的第二查詢文本對應的向量表示；再將該向量表示輸入到bertencoder中，bertencoder中包括多層bertlayer0、bertlayer1
······
bertlayern，其中，每一層bertlayer由attention()、intermediate()和output()組成，依次采用自注意力機制、全連接、歸一化輸出等處理，以獲得第三查詢文本對應的第二預測意圖。
[0068]
步驟204、調整提示學習范式，以使實際意圖與第二預測意圖滿足分類目標。
[0069]
其中，在獲得第二預測意圖后，可以保持預訓練語言模型不變，通過實際意圖與第二預測意圖調整提示學習范式，以使第二提示文本能夠更準確的表征第三查詢文本與實際意圖間的關聯關系，以便預訓練語言模型獲得更準確的意圖識別結果，從而滿足對查詢文本的分類目標。具體的，分類目標可以如下公式(2)所示：
[0070][0071]
其中，x為x中的第三查詢文本，y
x
為第三查詢文本對應的實際意圖，f
prompt
(x)為x對應的第四查詢文本，[mask]在第四查詢文本中指代第三查詢文本對應的第二預測意圖。
[0072]
本公開實施例中，通過公式(2)學習最大化目標，使得調整后的提示學習范式能夠使得實際意圖與第二預測意圖滿足上述公式(2)所表示的分類目標，使得預訓練語言模型能夠基于合適的提示學習范式更好地理解對第三查詢文本的預測方向，獲得準確的第二預測意圖。
[0073]
在本公開的一方法實施例中，提示學習范式還可以包括分類項作為可選項，以進一步提示預訓練語言模型對預測結果的預期，如第四查詢文本可以是x
′
＝{xa.y1b.y2c.y3...答案是[mask]}，其中，a.y1b.y2c.yf···
等可以包括x對應的實際意圖，以及除實際意圖外的其他意圖分類。預訓練語言模型可以根據第四查詢文本對[mask]進行預測，以在分類項中確定第二預測意圖，在第二預測意圖不是實際意圖的情況下，對提示學習范式進行調整，以使預訓練語言模型更充分地學習第三查詢文本與其對應識別意圖間的關聯關系。
[0074]
步驟205、接收第一查詢文本。
[0075]
本公開實施例中，步驟205可對應參照前述步驟101的相關描述，為避免重復，在此不再贅述。
[0076]
步驟206、根據提示學習范式獲取第一查詢文本對應的觸發詞。
[0077]
步驟207、在第一查詢文本中添加觸發詞和掩碼，獲得第二查詢文本，觸發詞用于提示預訓練語言模型對第一查詢文本的查詢意圖進行預測，掩碼用于指代第一查詢文本的查詢意圖。
[0078]
步驟208、將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
[0079]
其中，提示學習范式可以確定第一提示文本的文本形式為觸發詞、掩碼的組合，在第一查詢文本后添加觸發詞，并通過掩碼指代查詢意圖，從而提示預訓練語言模型對掩碼進行預測，以及第一查詢文本與對掩碼預測結果間的關聯關系。具體可對應參照前述步驟101至103、201至204的相關描述，為避免重復，在此不再贅述。
[0080]
在本公開的一方法實施例中，步驟207具體包括：
[0081]
在查詢文本中添加觸發詞和掩碼，以及觸發詞對應的至少兩個分類項，獲得第二查詢文本。
[0082]
則，步驟208具體包括：
[0083]
將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本在分類項中對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
[0084]
其中，根據第一查詢文本可能對應的查詢意圖，可以確定觸發詞對應的意圖分類，從而可以將多個意圖分類作為分類項添加到第一查詢文本中，此時，觸發詞可以提示預訓練語言模型在分類項中對掩碼進行預測，再確定第一查詢文本的第一預測意圖。具體可對應參照前述步驟101至103、201至204的相關描述，為避免重復，在此不再贅述。本公開實施例中，通過提供第一預測意圖可選的分類項，將下游任務的分類重構呈多項分類項的選擇任務，從而進一步提高了模型識別效率。
[0085]
需要說明的是，本公開獲取的數據，包括查詢文本、實際意圖、知識圖譜等數據，均在明確告知用戶或相關數據所屬方對數據的采集內容、數據用途、處理方式等信息后，在用戶或相關數據所屬方同意、授權的情況下訪問、采集、存儲并應用于后續分析處理，且可以向用戶或相關數據所屬方提供訪問、更正、刪除該數據的途徑，以及撤銷同意、授權的方法。
[0086]
在本公開提供的基于提示學習的意圖識別方法中，該方法對接收到的第一查詢文本進行重構，根據提示學習范式在第一查詢文本中添加第一提示文本，以獲得第二查詢文本，并將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型就第一提示文本對第
一查詢本文進行預測，獲得第一查詢文本對應的第一預測意圖，其中，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測。上述方法無需對第一查詢文本進行分詞處理，而是采用預訓練語言模型對第一查詢文本整體進行預測，避免了分詞對知識結構的破壞，在保持完整性的情況下能夠更充分地利用預訓練語言模型的信息，提高了分類的準確率；同時，采用提示學習范式對第一查詢文本進行重構，將下游分類任務轉換成了適配預訓練語言的預測任務，提高了預訓練語言模型與下游任務的適配度，從而提高了預訓練語言模型對查詢意圖預測的準確率。
[0087]
圖4為本公開實施例提供的基于提示學習的意圖識別方法的步驟流程圖之三。如圖4所示，該方法可以包括如下步驟401至步驟404。
[0088]
步驟401、接收第一查詢文本。
[0089]
步驟402、根據提示學習范式在第一查詢文本中添加第一提示文本，獲得第二查詢文本，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測。
[0090]
本公開實施例中，步驟401至步驟402可對應參照前述步驟101至步驟102的相關描述，為避免重復，在此不再贅述。
[0091]
步驟403、將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的預測值。
[0092]
步驟404、根據預測值在映射表中確定第一查詢文本對應的第一預測意圖，映射表定義預測意圖與預測值的映射關系，每一預測意圖對應至少一個預測值。
[0093]
其中，由于對同一意圖分類可能存在不同的表述，因此預訓練語言模型對不同第一查詢文本的不同預測值可能描述同一意圖分類，如意圖分類為“描述方案的流程”可能存在操作步驟、交互等表述，則預訓練語言模型的預測結果為“查詢方案的操作步驟”、“查詢實體的交互流程”等時可能均指向“描述方案的流程”。因此，可以先對每一意圖分類進行標簽擴充，建立意圖分類與不同預測值間的映射關系，從而根據預訓練語言模型的預測值確定第一查詢文本實際所屬的意圖分類。
[0094]
如，對意圖分類a，可以定義映射表{a}＝{a1,a2,...,a
t
}進行標簽擴充，其中，t表示對意圖分類a標簽擴充的數量；在此基礎上，當預訓練語言模型對[mask]的預測值為a
t
時，根據映射表確定該第一查詢文本的第二預測意圖為a，其表達函數為p(y|x)＝p([mask]＝φ(y)|x
′
)，該表達函數中y指a在實際意圖的集合y中的取值。
[0095]
在本公開提供的基于提示學習的意圖識別方法中，該方法對接收到的第一查詢文本進行重構，根據提示學習范式在第一查詢文本中添加第一提示文本，以獲得第二查詢文本，并將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型就第一提示文本對第一查詢本文進行預測，獲得第一查詢文本對應的第一預測意圖，其中，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測。上述方法無需對第一查詢文本進行分詞處理，而是采用預訓練語言模型對第一查詢文本整體進行預測，避免了分詞對知識結構的破壞，在保持完整性的情況下能夠更充分地利用預訓練語言模型的信息，提高了分類的準確率；同時，采用提示學習范式對第一查詢文本進行重構，將下游分類任務轉換成了適配預訓練語言的預測任務，提高了
預訓練語言模型與下游任務的適配度，提高了預訓練語言模型對查詢意圖預測的準確率。
[0096]
圖5為本公開實施例提供的一種問答方法的步驟流程圖，如圖5所示，該方法可以包括如下步驟501至步驟503。
[0097]
步驟501、接收第一查詢文本，并獲取第一查詢文本對應的第一預測意圖，第一預測意圖采用圖1至圖4任一的基于提示學習的意圖識別方法得到。
[0098]
其中，可以接收第一查詢文本作為問答交互中的問題文本，步驟501根據接收的第一查詢文本確定其對應的第一預測意圖可以參照前述步驟步驟101至103、201至208和401至404的相關描述，為避免重復，在此不再贅述。
[0099]
步驟502、基于第一預測意圖對第一查詢文本進行命名實體識別。
[0100]
其中，在確定第一查詢文本的第一預測意圖后，可以根據分類的第一預測意圖對第一查詢文本進行命名實體識別(named entity recognition，ner)。基于第一預測意圖，命名實體的類型可以包括問題描述、處理方法、異常原因、時間、知識等。本公開實施例中，命名實體識別可以采用不同的實體識別算法實現，如可以使用lstm(long short-term memory，長短期記憶網絡)+crf(conditionalrandom fields，條件隨機場)模型，也可以采用隱馬爾可夫模型(hiddenmarkovmode，hmm)、最大熵(maxmiumentropy，me)、支持向量機(support vectormachine，svm)等，本公開實施例對此不作具體限制。
[0101]
步驟503、在知識圖譜中根據第一預測意圖、命名實體獲取第一查詢文本對應的答案文本。
[0102]
其中，知識圖譜可以是根據查詢服務相關領域的知識建立的圖譜數據，包括該領域的大量案例集、運維數據等，在知識圖譜中可以包括查詢服務相關領域的知識塊數據、知識條目數據等，以便于根據第一查詢文本表示的第一預測意圖，以及從第一查詢文本中根據第一預測意圖提取的命名實體，在知識圖譜中根據第一預測意圖、命名實體查詢相關的知識，以獲得問題文本對應的答案文本。在本公開實施例中，根據數據采集、分析、處理、查詢和存儲等的條件需求，可以采用圖形數據庫管理知識圖譜，如采用neo4j數據庫管理知識圖譜，并基于cypher查詢語言在neo4j中獲取第一查詢文本對應的答案文本。
[0103]
圖6為本公開實施例提供的一種5g通信網絡知識圖譜的示意圖，如圖6所示，實體可以包括不同的故障現象，如“故障小區”、“設備掉電”等，以及處理不同故障現象的方案，如“自動恢復”、“故障處理”、“處理告警”、“pci修改”、“恢復供電”等等，此時，實體間的關系可以是“執行處理方案的原因”、“修復描述故障的方案”。在接收到用戶輸入的查詢context(第一查詢文本)＝“cqi優良比會導致那些問題發生？”時，通過前述圖1至圖4的方案可以可得到context_which_intent(第一預測意圖)＝“find_reason_cause_which_descrip”(“查詢造成描述現象的原因”)，基于第一預測意圖提取context_which_entity(命名實體)＝“cqi優良比”。將上述內容填充到cypher查詢語言的查詢模板中，獲得“match(n:reason{name:context_which_entity}-[r]-》(m:description)return n.name as name)”，通過輸出的name獲得問題文本對應的答案文本，實現一次問答交互流程。
[0104]
在本公開提供的問答方法中，采用基于提示學習的意圖識別方法對第一查詢文本進行分類，以確定該查詢文本指示的查詢意圖，具體的對接收到的第一查詢文本進行重構，根據提示學習范式在第一查詢文本中添加第一提示文本，以獲得第二查詢文本，并將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型就第一提示文本對第一查詢本文進
行預測，獲得第一查詢文本對應的第一預測意圖，其中，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測；再進一步通過第一預測意圖對第一查詢文本進行命名實體識別，并依據第一預測意圖、命名實體在知識圖譜中獲取第一查詢文本對應的答案文本。上述方法無需對第一查詢文本進行分詞處理，而是采用預訓練語言模型對第一查詢文本整體進行預測，避免了分詞對知識結構的破壞，在保持完整性的情況下能夠更充分地利用預訓練語言模型的信息，提高了分類的準確率；同時，采用提示學習范式對第一查詢文本進行重構，將下游分類任務轉換成了適配預訓練語言的預測任務，提高了預訓練語言模型與下游任務的適配度，提高了預訓練語言模型對查詢意圖預測的準確率；基于對第一查詢文本的準確分類能夠更好地確定其查詢意圖，從而向查詢方提供針對性更強、更適應查詢意圖的答案文本。
[0105]
圖7為本公開實施例提供的基于提示學習的意圖識別裝置700的結構示意圖，如圖7中所示，該裝置700可以包括：文本接收模塊701，用于接收第一查詢文本；文本構建模塊702，用于根據提示學習范式在第一查詢文本中添加第一提示文本，獲得第二查詢文本，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測；意圖預測模塊703，用于將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的第一預測意圖。
[0106]
在本公開的一裝置實施例中，文本接收模塊701，還用于獲取第三查詢文本，以及第二查詢文本對應的實際意圖；文本構建模塊702，還用于根據第三查詢文本與實際意圖間的關聯關系確定提示學習范式，并根據提示學習范式在第三查詢文本中添加第二提示文本，獲得第四查詢文本；意圖預測模塊703，還用于將第四查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第二提示文本對第三查詢文本輸出的第二預測意圖；文本構建模塊702，還用于調整提示學習范式，以使實際意圖與第二預測意圖滿足分類目標。
[0107]
在本公開的一裝置實施例中，文本構建模塊702，具體用于根據提示學習范式獲取第一查詢文本對應的觸發詞；在第一查詢文本中添加觸發詞和掩碼，獲得第二查詢文本，觸發詞用于提示預訓練語言模型對第一查詢文本的查詢意圖進行預測，掩碼用于指代第一查詢文本的查詢意圖。
[0108]
在本公開的一裝置實施例中，意圖預測模塊703，具體用于將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
[0109]
在本公開的一裝置實施例中，文本構建模塊702，具體用于在查詢文本中添加觸發詞和掩碼，以及觸發詞對應的至少兩個分類項，獲得第二查詢文本。
[0110]
在本公開的一裝置實施例中，意圖預測模塊703，具體用于將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型在觸發詞的提示下，基于第一查詢文本在分類項中對掩碼進行預測，獲得第一查詢文本的第一預測意圖。
[0111]
在本公開的一裝置實施例中，意圖預測模塊703，具體用于將第二查詢文本輸入預訓練語言模型中，以獲取預訓練語言模型基于第一提示文本對第一查詢文本輸出的預測值；根據預測值在映射表中確定第一查詢文本對應的第一預測意圖，映射表定義預測意圖與預測值的映射關系，每一預測意圖對應至少一個預測值。
[0112]
本公開實施例提供的基于提示學習的意圖識別裝置能夠實現圖1至4方法實施例實現的各個過程，為避免重復，這里不再贅述。
[0113]
在本公開提供的基于提示學習的意圖識別裝置中，該裝置對接收到的第一查詢文本進行重構，根據提示學習范式在第一查詢文本中添加第一提示文本，以獲得第二查詢文本，并將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型就第一提示文本對第一查詢本文進行預測，獲得第一查詢文本對應的第一預測意圖，其中，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測。上述方法無需對第一查詢文本進行分詞處理，而是采用預訓練語言模型對第一查詢文本整體進行預測，避免了分詞對知識結構的破壞，在保持完整性的情況下能夠更充分地利用預訓練語言模型的信息，提高了分類的準確率；同時，采用提示學習范式對第一查詢文本進行重構，將下游分類任務轉換成了適配預訓練語言的預測任務，提高了預訓練語言模型與下游任務的適配度，提高了預訓練語言模型對查詢意圖預測的準確率。
[0114]
圖8為本公開實施例提供的一種問答裝置800的結構示意圖。如圖8所示，該裝置800可以包括：文本分類模塊801，用于接收第一查詢文本，并獲取第一查詢文本對應的第一預測意圖，第一預測意圖采用第三方面的基于提示學習的意圖識別裝置得到；實體識別模塊802，用于基于第一預測意圖對第一查詢文本進行命名實體識別；答案查詢模塊803，用于在知識圖譜中根據第一預測意圖、命名實體獲取第一查詢文本對應的答案文本。
[0115]
本公開實施例提供的問答裝置能夠實現圖5方法實施例實現的各個過程，為避免重復，這里不再贅述。
[0116]
在本公開提供的問答裝置中，采用基于提示學習的意圖識別裝置對第一查詢文本進行分類，以確定該查詢文本指示的查詢意圖，具體的對接收到的第一查詢文本進行重構，根據提示學習范式在第一查詢文本中添加第一提示文本，以獲得第二查詢文本，并將第二查詢文本輸入預訓練語言模型中，以使預訓練語言模型就第一提示文本對第一查詢本文進行預測，獲得第一查詢文本對應的第一預測意圖，其中，提示學習范式用于提供至少一種第一提示文本，第一提示文本用于提示預訓練語言模型對第一查詢文本表示的查詢意圖進行預測；再進一步通過第一預測意圖對第一查詢文本進行命名實體識別，并依據第一預測意圖、命名實體在知識圖譜中獲取第一查詢文本對應的答案文本。上述方法無需對第一查詢文本進行分詞處理，而是采用預訓練語言模型對第一查詢文本整體進行預測，避免了分詞對知識結構的破壞，在保持完整性的情況下能夠更充分地利用預訓練語言模型的信息，提高了分類的準確率；同時，采用提示學習范式對第一查詢文本進行重構，將下游分類任務轉換成了適配預訓練語言的預測任務，提高了預訓練語言模型與下游任務的適配度，提高了預訓練語言模型對查詢意圖預測的準確率；基于對第一查詢文本的準確分類能夠更好地確定其查詢意圖，從而向查詢方提供針對性更強、更適應查詢意圖的答案文本。
[0117]
圖9為本公開實施例提供的一種電子設備900的結構示意圖，如圖9所示，該電子設備900可以包括處理器901，存儲器902，存儲在存儲器902上并可在處理器901上運行的程序或指令，該程序或指令被處理器901執行時實現上述電信產品生成實施例的各個過程，且能達到相同的技術效果，為避免重復，這里不再贅述。
[0118]
需要說明的是，圖9示出的電子設備900僅是一個示例，不應對本公開實施例的功能和使用范圍帶來任何限制。
[0119]
圖10為本公開實施例提供的一種電子設備1000的硬件示意圖，如圖10所示，電子設備1000包括中央處理單元(central processing unit，cpu)1001，其可以根據存儲在rom(read only memory，只讀存儲器，)1002中的程序或者從存儲部分1008加載到ram(random access memory，隨機訪問存儲器)1003中的程序而執行各種適當的動作和處理。在ram 1003中，還存儲有系統操作所需的各種程序和數據。cpu 1001、rom 1002以及ram 1003通過總線1004彼此相連。i/o(input/output，輸入/輸出)接口1005也連接至總線1004。
[0120]
以下部件連接至i/o接口1005：包括鍵盤、鼠標等的輸入部分1006；包括諸如crt(cathode ray tube，陰極射線管)、lcd(liquid crystal display，液晶顯示器)等以及揚聲器等的輸出部分1007；包括硬盤等的存儲部分1008；以及包括諸如lan(local area network，無線網絡)卡、調制解調器等的網絡接口卡的通信部分1009。通信部分1009經由諸如因特網的網絡執行通信處理。驅動器1010也根據需要連接至i/o接口1005。可拆卸介質1011，諸如磁盤、光盤、磁光盤、半導體存儲器等等，根據需要安裝在驅動器1010上，以便于從其上讀出的計算機程序根據需要被安裝入存儲部分1008。
[0121]
特別地，根據本公開的實施例，下文參考流程圖描述的過程可以被實現為計算機軟件程序。例如，本公開的實施例包括一種計算機程序產品，其包括承載在計算機可讀介質上的計算機程序，該計算機程序包含用于執行流程圖所示的方法的程序代碼。在這樣的實施例中，該計算機程序可以通過通信部分1009從網絡上被下載和安裝，和/或從可拆卸介質1011被安裝。在該計算機程序被中央處理單元(cpu1001)執行時，執行本技術的系統中限定的各種功能。
[0122]
本公開實施例還提供一種可讀存儲介質，可讀存儲介質上存儲有程序或指令，該程序或指令被處理器執行時實現上述電信產品生成實施例的各個過程，且能達到相同的技術效果，為避免重復，這里不再贅述。
[0123]
其中，處理器為上述實施例中的電子設備中的處理器。可讀存儲介質，包括計算機可讀存儲介質，如rom、ram、磁碟或者光盤等。
[0124]
本公開實施例另提供了一種芯片，芯片包括處理器和通信接口，通信接口和處理器耦合，處理器用于運行程序或指令，實現上述電信產品生成實施例的各個過程，且能達到相同的技術效果，為避免重復，這里不再贅述。
[0125]
應理解，本公開實施例提到的芯片還可以稱為系統級芯片、系統芯片、芯片系統或片上系統芯片等。
[0126]
本公開實施例提供了一種包含指令的計算機程序產品，當其在計算機上運行時，使得計算機執行如上述的電信產品生成的步驟，且能達到相同的技術效果，為避免重復，這里不再贅述。
[0127]
需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個
……”
限定的要素，并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。此外，需要指出的是，本公開實施方式中的方法和裝置的范圍不限按示出或討論的順序來執行功能，還可包括根據所涉及的功能按基本同時的方式或按相反的順序來執行功能，例如，可以按不同于所描述的次序
來執行所描述的方法，并且還可以添加、省去、或組合各種步驟。另外，參照某些示例所描述的特征可在其他示例中被組合。
[0128]
通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現，當然也可以通過硬件，但很多情況下前者是更佳的實施方式。基于這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質(如rom/ram、磁碟、光盤)中，包括若干指令用以使得一臺終端(可以是手機，計算機，電子設備，空調器，或者網絡設備等)執行本公開各個實施例的方法。
[0129]
上面結合附圖對本公開的實施例進行了描述，但是本公開并不局限于上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本公開的啟示下，在不脫離本公開宗旨和權利要求所保護的范圍情況下，還可做出很多形式，均屬于本公開的保護之內。
