產品曝光異常檢測方法、系統、設備及計算機存儲介質與流程
1.本發明涉及互聯網技術領域，尤其涉及一種產品曝光異常檢測方法、系統、設備及計算機存儲介質。
背景技術：
2.目前絕大多數的互聯網產品，諸如電商、流媒體、外賣、內容型社區、新聞等，主要通過搜索和推薦兩種功能來引導用戶瀏覽產品。
3.但是，就現有的搜索或推薦方式，在軟件系統不穩定或者技術人員失誤的情況下，可能會將一些不符合預期的內容呈現給終端用戶。比如過濾失敗時會將不合格商品等內容曝光，或流媒體軟件在打散算法失敗時會將大量單一推廣視頻內容曝光給用戶，造成違反了網信辦“過度宣傳引導”的規定。
4.目前，現有技術一般通過圖像檢測來監測曝光的內容是否存在異常，但現有技術存在開發成本高，監測延時高的問題，無法第一時間發現曝光產品是否存在異常。
技術實現要素：
5.有鑒于此，本發明實施例提供一種產品曝光異常檢測方法、系統、設備及計算機存儲介質，以解決現有圖片檢測產品曝光異常開發成本高、監測延時高，無法第一時間發現曝光產品是否存在異常的問題。
6.為實現上述目的，本發明實施例提供如下技術方案：
7.本發明實施例第一方面公開了一種產品曝光異常檢測方法，所述方法包括：
8.獲取各個產品的曝光內容對應的響應日志，并輸入消息隊列，所述響應日志包括曝光內容id、曝光位置和相關內容；
9.由所述消息隊列中提取各個響應日志，并分析所述各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲；
10.輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。
11.優選的，所述由所述消息隊列中提取各個響應日志，分析各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲，包括：
12.利用流計算引擎由所述消息隊列中提取各個響應日志；
13.針對每一響應日志分別進行解碼和結構解析，得到各自對應日志內容；
14.基于每一響應日志對應的日志內容進行過濾，保留日志內容符合檢測需求的響應日志作為待檢測日志；
15.按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異?；蚍瞧毓猱惓５臋z測結果并存儲。
16.優選的，所述按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異?；蚍瞧毓猱惓５臋z測結果并存儲，包括：
17.按照需進行敏感內容曝光檢測的待檢功能對所述待檢測日志進行分類，得到第一
待檢測日志；
18.獲取所述第一待檢測日志中的曝光內容id；
19.基于所述曝光內容id在黑名單中進行實時檢索；
20.若在所述黑名單中檢索到與所述曝光內容id匹配的敏感內容id，得到指示曝光異常的檢測結果，并將所述指示異常的檢測結果寫入中臺；
21.若在所述黑名單中未檢索到與所述曝光內容id匹配的敏感內容id，得到指示非曝光異常的檢測結果，并將所述指示非曝光異常的檢測結果寫入中臺。
22.優選的，所述按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異常或非曝光異常的檢測結果并存儲，包括：
23.按照需進行打散去重異常檢測的待檢功能對所述待檢測日志進行分類，得到第二待檢測日志；
24.針對每一所述第二待檢測日志，獲取所述第二待檢測日志中的曝光內容 id和產品id；
25.確定與所述產品id關聯的標簽數據庫，基于所述曝光內容id由所述標簽數據庫中查詢對應的標簽并關聯；
26.按照產品id所指示的產品所屬用戶進行分組聚合，得到多組以用戶劃分的待檢組，每個待檢組中包含同一用戶的多個產品id各自對應的曝光內容id 所關聯的標簽；
27.針對每一待檢組，在預配置窗口內統計相同標簽的總個數，將所述相同標簽的總個數作為對應曝光內容id所指示的曝光內容的曝光次數，相同曝光內容id指示相同的曝光內容；
28.判斷所述相同標簽的總個數是否大于預設值；
29.若大于，確定所述相同標簽所指示的產品曝光異常，將指示曝光異常的檢測結果寫入中臺；
30.若不大于，確定所述相同標簽所指示的產品非曝光異常，將指示非曝光異常的檢測結果寫入中臺。
31.優選的，所述當檢測結果指示曝光異常時，觸發并執行處理流程包括：
32.當檢測結果指示曝光異常時，輸出報警提示，并觸發降級操作。
33.優選的，所述當檢測結果指示曝光異常時，觸發并執行處理流程包括：
34.當檢測結果指示曝光異常時，輸出報警提示和修復提示。
35.本發明實施例第二方面公開了一種產品曝光異常檢測系統，所述系統包括：
36.服務模塊，用于獲取各個產品的曝光內容對應的響應日志，并輸入消息隊列，所述響應日志包括曝光內容id、曝光位置和相關內容；
37.流式計算模塊，用于由所述消息隊列中提取各個響應日志，并分析所述各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲至中臺；
38.所述中臺，用于輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。
39.優選的，所述流式計算模塊，包括：
40.分析單元，用于利用流計算引擎由所述消息隊列中提取各個響應日志；針對每一
響應日志分別進行解碼和結構解析，得到各自對應日志內容；基于每一響應日志對應的日志內容進行過濾，保留日志內容符合檢測需求的響應日志作為待檢測日志；
41.分流單元，用于按照待檢功能對所述待檢測日志進行分類，并將分類后的待檢測日志輸入至對應的功能檢測單元；
42.所述功能檢測單元，用于按照所述功能分類，對輸入的分類后的待檢測日志進行對應分類的功能檢測，將得到指示曝光異?；蚍瞧毓猱惓５臋z測結果寫入中臺。
43.本發明實施例第三方面公開了一種電子設備，所述電子設備包括存儲器和處理器；
44.所述存儲器，用于存儲計算機程序；
45.所述處理器，用于調用并執行所述存儲器中存儲的計算機程序時，實現如本發明實施例第一方面公開的產品曝光異常檢測方法。
46.本發明實施例第四方面公開了一種計算機存儲介質，所述計算機存儲介質中存儲有計算機可執行指令，所述計算機可執行指令被處理器加載并執行時，實現如本發明實施例第一方面公開的產品曝光異常檢測方法。
47.基于上述本發明實施例提供的一種產品曝光異常檢測方法、系統、設備及計算機存儲介質。該方法通過獲取各個產品的曝光內容對應的響應日志，輸入消息隊列，所述響應日志包括曝光內容id和曝光位置和相關內容；由所述消息隊列中提取各個響應日志，并分析所述各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲；輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。在本發明實施例中，采用流式計算方式按照待檢功能對分類后的各個產品對應的響應日志實時進行檢測，并在檢測結果指示曝光異常的情況下第一時間觸發并執行相應的處理流程。該方式不僅延時低能夠第一時間發現爆光產品是否存在異常，而且在各個產品中通用，降低了開發成本。
附圖說明
48.為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
49.圖1為本發明實施例公開的一種產品曝光異常檢測系統架構示意圖；
50.圖2為本發明實施例公開的一種產品曝光異常檢測方法的流程示意圖；
51.圖3為本發明實施例公開的一種現有的互聯網產品的主打界面的示意圖；
52.圖4為本發明實施例公開的一種敏感內容檢測的流程示意圖；
53.圖5為本發明實施例公開的一種打散去重異常檢測的流程示意圖；
54.圖6為本發明實施例公開的執行打散去重異常檢測的示例圖；
55.圖7為本發明實施例公開的一種產品曝光異常檢測系統的結構示意圖。
具體實施方式
56.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完
整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例?；诒景l明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
57.在本技術中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個
……”
限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
58.如圖1所示，為本發明實施例公開的一種產品曝光異常檢測系統架構示意圖。該產品曝光異常檢測系統架構以日志數據流的方向從左至右分別由服務模塊1、流式計算模塊2和中臺3三個模塊構成。
59.服務模塊1中包括個多模塊，每個模塊對應處理一個產品。
60.圖1中示出了模塊10、模塊12、模塊13和模塊14四個模塊。
61.各種產品曝光的相關服務的響應日志通過對應的模塊統一輸入消息隊列。該消息隊列可以是kafka消息隊列，也可以是其他同類消息隊列。該響應日志多以json格式進行存儲。
62.其中，該響應日志中通常會包含曝光內容id和曝光位置。但是，根據業務形式的不同，也可能還包含有其他內容，比如排序算法得分，來源等。
63.流式計算模塊2由flink實現，該流式計算模塊2主要包括分流節點20和功能監控節點，執行分流和功能監控兩個步驟。
64.功能監控的實現則是由分別執行不同功能監控的功能監控節點實現，各個功能監控節點的監控以單獨任務進行處理。其中，每個單獨任務的檢測邏輯以通用可擴展的方式實現，以便于同領域模塊能夠快速接入各個功能檢測，而各個功能檢測以及后續新增加的功能檢測也能夠適配所有模塊，從而實現產品曝光異常檢測的通用性。
65.圖1中示出了功能21監控節點、功能22監控節點、功能23監控節點和功能 24監控節點四類功能監控節點。
66.該流式計算模塊2的具體實現過程為：
67.步驟一，從kafka消息隊列中提取、解析和過濾各種產品曝光的相關服務的響應日志。并通過所需檢測的功能對響應日志進行分流，將各個響應日志分流至其所需檢測功能的功能模塊進行監控，即實時檢測，以便于第一時間發現該功能的響應日志對應的產品曝光是否異常。
68.其中，提取的方式主要為：以flink計算引擎，或其他同類流計算引擎(如 spark)，將響應日志從kafka消息隊列，或其他同類消息隊列中，根據響應日志的“模塊”字段進行提取，即識別來自各個模塊的響應日志。
69.解析的主要方式為：對響應日志進行解碼和結構解析。
70.過濾的主要方式為：根據提取到的字段內容和監控需求對響應日志進行過濾，即將消息隊列中可能存在的不滿足監控需求的其他各個業務的日志進行過濾，保留滿足監控需求的響應日志。
71.分流的主要方式為：基于上述提取、解析和過濾之后，確定各個模塊的滿足監控需
求的響應日志，按照響應日志待檢測功能分流至對應的功能監控模塊中進行檢測。
72.例如，模塊11中的響應日志待檢測功能為功能21和功能22，模塊11則需要接入功能21監控節點和功能22監控節點，通過分流節點20將模塊11中輸出的響應日志推送至下游的功能21監控節點和功能22監控節點。模塊12中的響應日志待檢測功能為功能23，模塊12則需要接入功能23監控節點，通過分流節點20將模塊12中的響應日志推送至下游的功能23監控節點。
73.步驟二，各個功能監控節點并行對分流輸入的響應日志，通過流式計算低延時地檢測異常，將得到的檢測結果實時寫入中臺3的數據庫。
74.中臺3通過輪詢數據庫的方式獲取檢測結果，并在該檢測結果指示產品曝光內容異常時進行報警，并觸發降級或通知技術人員進行修復。
75.基于上述本發明實施例公開的產品曝光異常檢測系統架構執行相應的檢測、報警和處理流程，在檢測的過程中，通過flink流式計算引擎實現的實時檢測可以實現秒級別的延時，降低產品曝光異常檢測的延時性。通過劃分不同的功能監控節點，將不同的模塊接入到對應的功能監控節點，在充分考慮互聯網各業務展示產品的形態的情況下，以通用的邏輯實現功能檢測，不僅實現將新模塊快速地接入現有功能檢測，而且使新實現的功能檢測能適配所有模塊，實現產品曝光異常檢測的通用性。同時，在利用功能監控節點進行檢測時，各個功能監控節點的計算任務單獨進行，互相隔離，避免相互影響，并且部署在高可用的云端集，能夠在計算任務出錯時及時恢復。
76.基于上述圖1公開的產品曝光異常檢測系統架構，本發明實施例還公開了一種產品曝光異常檢測方法，如圖2所示，該方法包括如下步驟：
77.s201：獲取各個產品的曝光內容對應的響應日志，并輸入消息隊列。
78.在s201中，響應日志包括曝光內容id、曝光位置和相關內容。
79.該相關內容相當于圖1中示出的模塊的字段內容。
80.該消息隊列可以是kafka消息隊列，也可以是其他同類消息隊列。
81.在具體執行s201的過程中，各個產品的曝光的相關服務內容對應的響應日志通過不同的模塊(如圖1中的模塊)，以統一的格式輸入消息隊列。
82.s201的具體執行過程也可參見圖1中示出的服務模塊1的執行過程。
83.s202：由所述消息隊列中提取各個響應日志，并分析所述各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲。
84.在具體執行s202的過程中：
85.首先，利用流計算引擎由所述消息隊列中提取各個響應日志。
86.該流計算引擎可以是flink計算引擎，也可以是其他同類流計算引擎。
87.其次，針對每一響應日志分別進行解碼和結構解析，得到各自對應日志內容。
88.其次，基于每一響應日志對應的日志內容進行過濾，保留日志內容符合檢測需求的響應日志作為待檢測日志。
89.最后，按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異常或非曝光異常的檢測結果并存儲。
90.其中，每個分類的功能檢測均單獨執行，并行執行各個分類的功能檢測。
91.s202的具體執行過程也可參見圖1中示出的流式計算模塊2的執行過程。
92.s203：輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。
93.在具體執行s203的過程中，當檢測結果指示曝光異常時，觸發并執行處理流程包括但不限于以下兩種。
94.第一種：當檢測結果指示曝光異常時，輸出報警提示，并觸發降級操作。
95.第二種：當檢測結果指示曝光異常時，輸出報警提示和修復提示。技術人員可根據修復提示對曝光異常的產品服務進行修復。
96.在本發明實施例中，采用流式計算方式按照待檢功能對分類后的各個產品對應的響應日志實時進行檢測，可以實現秒級別的延時，降低產品曝光異常檢測的延時性。同時，通過劃分不同的功能監控在充分考慮互聯網各業務展示產品的形態的情況下，以通用的邏輯實現功能檢測，不僅實現使不同產品快速接入現有功能檢測，也能夠使新的功能檢測能適配所有產品，實現產品曝光異常檢測的通用性。同時，并行執行各個功能檢測，互相不同功能檢測的隔離，避免相互影響，提高檢測效率和準確度。進一步的，若部署于高可用的云端集，不僅可以配合業務集成多種不同的功能檢測，還能夠在計算任務出錯時及時恢復。
97.在上述本發明實施例公開的產品曝光異常檢測方法中，提及按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異?；蚍瞧毓猱惓５臋z測結果并存儲。
98.如圖3所示，為絕大部份互聯網產品的主打界面，其主打搜索和推薦兩個模塊來引導用戶使用。一般在屏幕最上方會有一列搜索欄31，而搜索欄下面的展示部分用來展示推薦的產品或在用戶搜索后展示搜索的結果，通常展示方式有兩種，可以采用雙列的展示方式，也以采用單列的展示方式。圖3 中示出的是單列的展示界面32，其上展示第一推薦產品、第二推薦產品、第三推薦產品和第四推薦產品。不論是哪種展示方式，其進行產品曝光異常的檢測是一樣的。
99.這里以互聯網產品目前最普遍需要的兩種功能監控(功能檢測)為例進行介紹。
100.第一種：敏感內容檢測。
101.敏感內容是互聯網各個產品都必須的一種功能，由于互聯網上目前可以由b端或c端用戶自行上傳內容，因此所有互聯網產品都需要對曝光的內容進行敏感內容過濾，一般是通過接入黑名單實現。
102.基于此，如圖4所示，敏感內容檢測的具體檢測過程為：
103.s401：按照需進行敏感內容曝光檢測的待檢功能對所述待檢測日志進行分類，得到第一待檢測日志。
104.s402：獲取所述第一待檢測日志中的曝光內容id。
105.s403：基于所述曝光內容id在黑名單中進行實時檢索，若在所述黑名單中檢索到與所述曝光內容id匹配的敏感內容id，執行s404；若在所述黑名單中未檢索到與所述曝光內容id匹配的敏感內容id，執行s405。
106.因黑名單可以有很多種，不同業務的黑名單的形式也不一樣，一般都會存在多個黑名單。
107.例如，各公司會通過國家互聯網信息辦公室提供的黑名單，對曝光出去的內容進行過濾。
108.例如，在某些互聯網產品中，會給用戶提供拉黑功能，比如在流媒體產品中，用戶指定拉黑所有動漫相關內容，則推薦算法中會根據用戶個人黑名單進行內容過濾。
109.因此在執行s403時，需要進行多次過濾，即實時檢測。
110.在本發明一實施例中，可以根據技術人員設置的黑名單進行實時檢索。
111.在本發明一實施例中，可以根據當前檢測的產品的業務類型所涉及到的黑名單進行實時檢索。
112.在具體執行s403之前，可以通過配置的方式將黑名單(表)配置到該流程，即配置到圖2示出的s202的流式計算中。
113.s404：得到指示曝光異常的檢測結果，并將所述指示異常的檢測結果寫入中臺。
114.s405：得到指示非曝光異常的檢測結果，并將所述指示非曝光異常的檢測結果寫入中臺。
115.在具體執行s404和s405時，將各自的檢測結果寫入中臺的數據庫中。
116.第二種：打散去重異常檢測。
117.打散和去重的作用是避免將單一內容或單一類型的內容曝光給用戶，從而推薦豐富多樣的內容給用戶，提高整體曝光內容的質量，并且避免違反諸如網信辦“過度宣傳引導”(即大量曝光單一明星的內容給用戶)的規定。
118.基于此，如圖5所示，打散去重異常檢測的具體檢測過程為：
119.s501：按照需進行打散去重異常檢測的待檢功能對所述待檢測日志進行分類，得到第二待檢測日志。
120.s502：針對每一所述第二待檢測日志，獲取所述第二待檢測日志中的曝光內容id和產品id。
121.s503：確定與所述產品id關聯的標簽數據庫，基于所述曝光內容id由所述標簽數據庫中查詢對應的標簽并關聯。
122.s504：按照產品id所指示的產品所屬用戶進行分組聚合，得到多組以用戶劃分的待檢組。
123.在s504中，每個待檢組中包含同一用戶的多個產品id各自對應的曝光內容id所關聯的標簽。
124.在具體應用中可以采用不同的顏區分不同的用戶。
125.s505：針對每一待檢組，在預配置窗口內統計相同標簽的總個數，將所述相同標簽的總個數作為對應曝光內容id所指示的曝光內容的曝光次數。
126.在s505中，相同曝光內容id指示相同的曝光內容。
127.該預配置窗口，即預配置每一待檢組的開窗。預配置窗口的單位可以為曝光數n，也可以為時間t。n的取值為大于1的正數。t的取值為正數，時間單位為秒、分鐘或小時。
128.s506：判斷所述相同標簽的總個數是否大于預設值，若大于，執行s507；若不大于，執行s508。
129.在具體執行s506的過程中，若預配置窗口的單位為曝光數n，預設值則為預設曝光次數。則判斷相同標簽的總個數是否大于預設值為：判斷該曝光內容id所指示的曝光內容的曝光次數是否大于預設曝光次數。
130.若預配置窗口為時間t，預設值則為每t時間單位內的曝光次數。則判斷相同標簽
的總個數是否大于預設值為：判斷該曝光內容id所指示的曝光內容的曝光次數是否大于每t時間單位內的曝光次數。
131.s507：確定所述相同標簽所指示的產品曝光異常，將指示曝光異常的檢測結果寫入中臺。
132.s508：確定所述相同標簽所指示的產品非曝光異常，將指示非曝光異常的檢測結果寫入中臺。
133.在具體執行s507和s508時，將各自的檢測結果寫入中臺的數據庫中。
134.這里以圖6舉例說明上述打散去重異常檢測的過程。
135.階段一為補充標簽維度：
136.將原始數據流實時關聯標簽數據庫，補充標簽維度，每個方塊為一次曝光記錄，以顏區分不同用戶，圖6中示出了用戶a和用戶b；方塊中數字代表補上的標簽，圖6中示出了標簽s1和標簽s2。
137.階段二為已用戶分組開窗：
138.進入階段二后對每個用戶的進行分組聚合，開窗提取n個曝光或每t分鐘內的曝光。
139.階段三為以標簽分組：
140.進入階段三后對每個標簽進行計數。
141.假設此檢測的打散閾值為每次開窗每個標簽曝光數不可大于1，其中：
142.用戶a，標簽s1，曝光數：1；
143.用戶a，標簽s2，曝光數：2；
144.用戶b，標簽s1，曝光數：1；
145.用戶b，標簽s2，曝光數：1；
146.則圖6中用戶a的標簽2的產品，在一次開窗種曝光數超過了1次，觸發了異常。
147.基于上述本發明實施例公開的產品曝光異常檢測方法，本發明實施例還公開了一種產品曝光異常檢測系統，如圖7所示，該系統包括：服務模塊71、流式計算模塊72和中臺73。
148.服務模塊71，用于獲取各個產品的曝光內容對應的響應日志，并輸入消息隊列，所述響應日志包括曝光內容id、曝光位置和相關內容。
149.該服務模塊71的具體執行過程可參見上述圖1中示出的服務模塊1。
150.流式計算模塊72，用于由所述消息隊列中提取各個響應日志，并分析所述各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲至中臺73。
151.該流式計算模塊72的具體執行過程可參見上述圖1中示出的流式計算模塊2。
152.具體的，該流式計算模塊72，包括：
153.分析單元，用于利用流計算引擎由所述消息隊列中提取各個響應日志；針對每一響應日志分別進行解碼和結構解析，得到各自對應日志內容；基于每一響應日志對應的日志內容進行過濾，保留日志內容符合檢測需求的響應日志作為待檢測日志。
154.分流單元，用于按照待檢功能對所述待檢測日志進行分類，并將分類后的待檢測日志輸入至對應的功能檢測單元。
155.所述功能檢測單元，用于按照所述功能分類，對輸入的分類后的待檢測日志進行對應分類的功能檢測，將得到指示曝光異?；蚍瞧毓猱惓５臋z測結果寫入中臺。
156.若待檢功能為敏感內容曝光檢測，該功能檢測單元，具體用于：
157.按照需進行敏感內容曝光檢測的待檢功能對所述待檢測日志進行分類，得到第一待檢測日志；獲取所述第一待檢測日志中的曝光內容id；基于所述曝光內容id在黑名單中進行實時檢索；若在所述黑名單中檢索到與所述曝光內容id匹配的敏感內容id，得到指示曝光異常的檢測結果，并將所述指示異常的檢測結果寫入中臺；若在所述黑名單中未檢索到與所述曝光內容id匹配的敏感內容id，得到指示非曝光異常的檢測結果，并將所述指示非曝光異常的檢測結果寫入中臺。
158.若待檢功能為打散去重異常檢測，該功能檢測單元，具體用于：
159.按照需進行打散去重異常檢測的待檢功能對所述待檢測日志進行分類，得到第二待檢測日志；針對每一所述第二待檢測日志，獲取所述第二待檢測日志中的曝光內容id和產品id；確定與所述產品id關聯的標簽數據庫，基于所述曝光內容id由所述標簽數據庫中查詢對應的標簽并關聯；按照產品id 所指示的產品所屬用戶進行分組聚合，得到多組以用戶劃分的待檢組，每個待檢組中包含同一用戶的多個產品id各自對應的曝光內容id所關聯的標簽；針對每一待檢組，在預配置窗口內統計相同標簽的總個數，將所述相同標簽的總個數作為對應曝光內容id所指示的曝光內容的曝光次數，相同曝光內容 id指示相同的曝光內容；判斷所述相同標簽的總個數是否大于預設值；若大于，確定所述相同標簽所指示的產品曝光異常，將指示曝光異常的檢測結果寫入中臺；若不大于，確定所述相同標簽所指示的產品非曝光異常，將指示非曝光異常的檢測結果寫入中臺。
160.中臺73，用于輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。
161.該中臺73的具體執行過程可參見上述圖1中示出的中臺3。
162.在本發明一實施例中，中臺73，具體用于輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，輸出報警提示，并觸發降級操作。
163.在本發明一實施例中，中臺73，具體用于輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，輸出報警提示和修復提示。
164.在本發明實施例中，在檢測的過程中，流式計算模塊通過flink流式計算引擎實現的實時檢測可以實現秒級別的延時，降低產品曝光異常檢測的延時性。通過劃分不同的功能檢測單元，將不同的產品接入到對應的功能檢測單元，在充分考慮互聯網各業務展示產品的形態的情況下，以通用的邏輯實現功能檢測，不僅實現將新模塊快速地接入現有功能檢測，而且使新實現的功能檢測能適配所有產品，實現產品曝光異常檢測的通用性。同時，在進行檢測時，各個功能檢測單元的計算任務單獨進行，互相隔離，避免相互影響，并且部署在高可用的云端集，能夠在計算任務出錯時及時恢復。
165.本發明實施例還提供了一種電子設備，所述電子設備包括存儲器和處理器。
166.該存儲器，用于存儲計算機程序。
167.該處理器，用于調用并執行所述存儲器中存儲的計算機程序時，實現上述本發明實施例公開的產品曝光異常檢測方法。
168.本發明實施例還提供了一種計算機存儲介質，所述計算機存儲介質中存儲有計算
機可執行的一個或一個以上的指令，所述計算機可執行指令被處理器加載并執行時，實現上述本發明實施例公開的產品曝光異常檢測方法。
169.本說明書中的各個實施例均采用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于系統或系統實施例而言，由于其基本相似于方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。以上所描述的系統及系統實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解并實施。
170.專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結合來實現，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執行，取決于技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的范圍。
171.對所公開的實施例的上述說明，使本領域專業技術人員能夠實現或使用本發明。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發明的精神或范圍的情況下，在其它實施例中實現。因此，本發明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
技術特征：
1.一種產品曝光異常檢測方法，其特征在于，所述方法包括：獲取各個產品的曝光內容對應的響應日志，并輸入消息隊列，所述響應日志包括曝光內容id、曝光位置和相關內容；由所述消息隊列中提取各個響應日志，并分析所述各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲；輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。2.根據權利要求1所述的方法，其特征在于，所述由所述消息隊列中提取各個響應日志，分析各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲，包括：利用流計算引擎由所述消息隊列中提取各個響應日志；針對每一響應日志分別進行解碼和結構解析，得到各自對應日志內容；基于每一響應日志對應的日志內容進行過濾，保留日志內容符合檢測需求的響應日志作為待檢測日志；按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異?；蚍瞧毓猱惓５臋z測結果并存儲。3.根據權利要求2所述的方法，其特征在于，所述按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異?；蚍瞧毓猱惓５臋z測結果并存儲，包括：按照需進行敏感內容曝光檢測的待檢功能對所述待檢測日志進行分類，得到第一待檢測日志；獲取所述第一待檢測日志中的曝光內容id；基于所述曝光內容id在黑名單中進行實時檢索；若在所述黑名單中檢索到與所述曝光內容id匹配的敏感內容id，得到指示曝光異常的檢測結果，并將所述指示異常的檢測結果寫入中臺；若在所述黑名單中未檢索到與所述曝光內容id匹配的敏感內容id，得到指示非曝光異常的檢測結果，并將所述指示非曝光異常的檢測結果寫入中臺。4.根據權利要求2所述的方法，其特征在于，所述按照待檢功能對所述待檢測日志進行分類，對分類后的待檢測日志進行對應分類的功能檢測，得到指示曝光異常或非曝光異常的檢測結果并存儲，包括：按照需進行打散去重異常檢測的待檢功能對所述待檢測日志進行分類，得到第二待檢測日志；針對每一所述第二待檢測日志，獲取所述第二待檢測日志中的曝光內容id和產品id；確定與所述產品id關聯的標簽數據庫，基于所述曝光內容id由所述標簽數據庫中查詢對應的標簽并關聯；按照產品id所指示的產品所屬用戶進行分組聚合，得到多組以用戶劃分的待檢組，每個待檢組中包含同一用戶的多個產品id各自對應的曝光內容id所關聯的標簽；針對每一待檢組，在預配置窗口內統計相同標簽的總個數，將所述相同標簽的總個數作為對應曝光內容id所指示的曝光內容的曝光次數，相同曝光內容id指示相同的曝光內容；
判斷所述相同標簽的總個數是否大于預設值；若大于，確定所述相同標簽所指示的產品曝光異常，將指示曝光異常的檢測結果寫入中臺；若不大于，確定所述相同標簽所指示的產品非曝光異常，將指示非曝光異常的檢測結果寫入中臺。5.根據權利要求1至4中任一項所述的方法，其特征在于，所述當檢測結果指示曝光異常時，觸發并執行處理流程包括：當檢測結果指示曝光異常時，輸出報警提示，并觸發降級操作。6.根據權利要求1至4中任一項所述的方法，其特征在于，所述當檢測結果指示曝光異常時，觸發并執行處理流程包括：當檢測結果指示曝光異常時，輸出報警提示和修復提示。7.一種產品曝光異常檢測系統，其特征在于，所述系統包括：服務模塊，用于獲取各個產品的曝光內容對應的響應日志，并輸入消息隊列，所述響應日志包括曝光內容id、曝光位置和相關內容；流式計算模塊，用于由所述消息隊列中提取各個響應日志，并分析所述各個響應日志的相關內容，將所述各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲至中臺；所述中臺，用于輪詢存儲的所述檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。8.根據權利要求7所述的系統，其特征在于，所述流式計算模塊，包括：分析單元，用于利用流計算引擎由所述消息隊列中提取各個響應日志；針對每一響應日志分別進行解碼和結構解析，得到各自對應日志內容；基于每一響應日志對應的日志內容進行過濾，保留日志內容符合檢測需求的響應日志作為待檢測日志；分流單元，用于按照待檢功能對所述待檢測日志進行分類，并將分類后的待檢測日志輸入至對應的功能檢測單元；所述功能檢測單元，用于按照所述功能分類，對輸入的分類后的待檢測日志進行對應分類的功能檢測，將得到指示曝光異?；蚍瞧毓猱惓５臋z測結果寫入中臺。9.一種電子設備，其特征在于，所述電子設備包括存儲器和處理器；所述存儲器，用于存儲計算機程序；所述處理器，用于調用并執行所述存儲器中存儲的計算機程序時，實現如權利要求1至6中任一項所述的產品曝光異常檢測方法。10.一種計算機存儲介質，其特征在于，所述計算機存儲介質中存儲有計算機可執行指令，所述計算機可執行指令被處理器加載并執行時，實現如權利要求1至6中任一項所述的產品曝光異常檢測方法。
技術總結
本發明提供一種產品曝光異常檢測方法、系統、設備及計算機存儲介質，通過獲取各個產品的曝光內容對應的響應日志，輸入消息隊列，由消息隊列中提取各個響應日志，并分析各個響應日志的相關內容，將各個響應日志以待檢功能分類進行流式計算，得到檢測結果并存儲；輪詢存儲的檢測結果，當檢測結果指示曝光異常時，觸發并執行處理流程。采用流式計算方式按照待檢功能對分類后的各個產品對應的響應日志實時進行檢測，并在檢測結果指示曝光異常的情況下第一時間觸發并執行相應的處理流程。該方式不僅延時低能夠第一時間發現爆光產品是否存在異常，而且在各個產品中通用，降低了開發成本。降低了開發成本。降低了開發成本。
