一種數據批量處理方法、裝置、設備及存儲介質與流程
1.本發明涉及數據處理領域，尤其涉及一種數據批量處理方法、裝置、設備及計算機可讀存儲介質。
背景技術：
2.數據批量處理是對數據進行批量的采集、存儲、檢索、加工、變換和傳輸，通過所述數據批量處理是從大量的、可能是雜亂無章的、難以理解的數據中抽取并推導出對于某些特定的人們來說是有價值、有意義的數據。
3.目前，數據批量處理通常是采用定時執行數據庫技術實現數據的批量處理，利用java編寫執行程序，重復性執行相同操作，但是在實際業務場景中，往往會存在大量的待處理數據，且數據種類復雜多變，通過定時執行數據庫技術需要的組件龐雜，硬件資源要求高，不具備支持數據日志追蹤、頁面手工調度/重試、動態配置調度任務、任務執行的過程管理等功能從而使得數據批量處理的效率較為低下。
技術實現要素：
4.本發明提供一種數據批量處理方法、裝置、設備及存儲介質，其主要目的在于提高數據批量處理的效率。
5.為實現上述目的，本發明提供的一種數據批量處理方法，包括：
6.獲取待處理數據，并配置所述待處理數據的數據處理任務，創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點；
7.利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志；
8.基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，以記錄所述數據處理任務在運行過程中的運行日志；
9.將所述分配日志和所述運行日志進行整合，得到所述待處理數據的處理日志，并將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖。
10.可選地，所述配置所述待處理數據的數據處理任務，包括：
11.分析所述待處理數據的業務場景；
12.根據所述業務場景，識別所述待處理數據的數據處理需求；
13.根據所述數據處理需求，構建所述處理任務。
14.可選地，所述根據所述數據處理任務，在所述數據運行環境中配置數據處理節點，包括：
15.分析所述數據處理任務的操作步驟，根據所述操作步驟，梳理出操作邏輯；
16.根據所述操作邏輯，在所述數據運行環境中配置數據處理節點。
17.可選地，所述利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志，包括：
18.利用所述任務調度工具分析所述數據處理任務的任務類型；
19.根據所述任務類型，確定所述任務調度工具的調度模式；
20.通過所述調度模式，利用所述任務調度工具將所述所述數據任務分配至所述數據處理節點，得到數據任務節點；
21.記錄獲取所述節點地址到得到所述數據任務節點的完整操作記錄，得到所述分配日志。
22.可選地，所述基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，包括：
23.根據所述分配日志，查詢所述數據處理節點中每個節點與所述數據處理任務中每個任務之間的映射關系；
24.基于所述映射關系，將所述數據處理任務中每個處理任務加載至所述數據處理節點中對應的運行節點中；
25.在所述運行節點中構建所述處理任務的處理邏輯，根據所述處理邏輯，通過所述運行節點運行所述處理任務。
26.可選地，所述將所述分配日志和所述運行日志進行整合，得到所述待處理數據的數據處理日志，包括：
27.對所述分配日志和所述運行日志的日志格式標準統一，得到標準分配日志和標準運行日志；
28.對所述標準分配日志及所述標準運行日志進行日志合并，得到統一日志；
29.對所述統一日志進行數據梳理，得到所述數據處理日志。
30.可選地，所述對所述統一日志進行數據梳理，得到所述數據處理日志，包括：
31.對所述統一日志進行數據違法數據刪除，得到合法數據日志；
32.對所述合法數據日志進行無效數據刪除，得到有效數據日志；
33.整理所述有效數據邏輯，得到所述數據處理日志。
34.為了解決上述問題，本發明還提供一種數據批量處理裝置，所述裝置包括：
35.節點配置模塊，用于獲取待處理數據，并配置所述待處理數據的數據處理任務，創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點；
36.任務分配模塊，用于利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志；
37.日志記錄模塊，用于基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，以記錄所述數據處理任務在運行過程中的運行日志；
38.日志整合模塊，用于將所述分配日志和所述運行日志進行整合，得到所述待處理數據的處理日志，并將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖。
39.為了解決上述問題，本發明還提供一種電子設備，所述電子設備包括：
40.至少一個處理器；以及，
41.與所述至少一個處理器通信連接的存儲器；其中，
42.所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序
被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述所述的數據批量處理方法。
43.為了解決上述問題，本發明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有至少一個計算機程序，所述至少一個計算機程序被電子設備中的處理器執行以實現上述所述的數據批量處理方法。
44.本發明實施例通過獲取待處理數據，并配置所述待處理數據的數據處理任務可以明確所述待處理數據的處理需求，提高所述待處理數據處理效率，本發明實施例通過利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志可以在所述數據處理任務分配過程中出現任何問題都通過所述分配日志及時追蹤解決保證數據處理效率，其中，本發明實施例通過基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，得到數據處理結果可以通過所述數據處理節點自動處理所述數據處理任務，減少人工成本的同時提高了數據批量處理效率；此外，本發明實施例通過將所述分配日志和所述運行日志進行整合，得到所述待處理數據的數據處理日志可以通過數據日志追蹤最大程度保障了待處理數據動態配置調度任務、任務執行的過程管理等功能從而提高數據批量處理效率。因此，本發明實施例提供的一種數據批量處理方法、裝置、設備及存儲介質，能夠在于提高數據批量處理的效率。
附圖說明
45.圖1為本發明一實施例提供的數據批量處理方法的流程示意圖；
46.圖2為本發明一實施例提供的數據批量處理裝置的功能模塊圖；
47.圖3為本發明一實施例提供的實現所述數據批量處理方法的電子設備的結構示意圖。
48.本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施方式
49.應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
50.本技術實施例提供一種數據批量處理方法。本技術實施例中，所述數據批量處理方法的執行主體包括但不限于服務端、終端等能夠被配置為執行本技術實施例提供的該方法的電子設備中的至少一種。換言之，所述數據批量處理方法可以由安裝在終端設備或服務端設備的軟件或硬件來執行，所述軟件可以是區塊鏈平臺。所述服務端包括但不限于：單臺服務器、服務器集、云端服務器或云端服務器集等。所述服務器可以是獨立的服務器，也可以是提供云服務、云數據庫、云計算、云函數、云存儲、網絡服務、云通信、中間件服務、域名服務、安全服務、內容分發網絡(content delivery network，cdn)、以及大數據和人工智能平臺等基礎云計算服務的云服務器。
51.參照圖1所示，為本發明一實施例提供的數據批量處理方法的流程示意圖。在本實施例中，所述數據批量處理方法包括步驟s1—s5：
52.s1、獲取待處理數據，并配置所述待處理數據的數據處理任務，創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點。
53.本發明實施例通過獲取待處理數據，并配置所述待處理數據的數據處理任務可以
明確所述待處理數據的處理需求，提高所述待處理數據處理效率，其中，所述待處理數據是指需要進行數據處理的數據。
54.所述處理任務是指需要對所述待處理數據進行哪里數據操作，例如所述待處理數據的刪除、提交、修改等操作。
55.進一步地，作為本發明的一個實施例，所述配置所述待處理數據的數據處理任務，包括：分析所述待處理數據的業務場景；根據所述業務場景，識別所述待處理數據的數據處理需求；根據所述數據處理需求，構建所述處理任務。
56.其中，所述業務場景是指所述待處理數據處在的一個環境背景，例如，電商場景、支付場景、出行場景、醫療場景等場景；所述數據處理需求是指通過所述待處理數據提取出那些有用信息；
57.進一步地，本發明一可選實施例中，所述分析所述待處理數據的業務場景可以通過power bi數據分析可視化工具來進行數據分析。
58.進一步地，本發明一可選實施例中，所述根據所述業務場景，識別所述待處理數據的數據處理需求可以通過finereport應用數據分析工具實現。
59.進一步地，本發明一可選實施例中，所述根據所述數據處理需求，構建所述處理任務可以通過反向推導來實現。
60.本發明實施例通過創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點可以通過提前構建好批量處理所述待處理數據的運行環境和處理節點，進一步提高數據批量處理的效率；其中，所述數據運行環境是指在搭建用來處理所述待處理數據的操作系統，例如dotnet，directx等操作系統；所述數據處理節點是指對所述待處理數據進行數據處理的工具包。作為本發明的一個實施例，所述創建所述待處理數據的數據運行環境可以通過java語言來編寫。
61.進一步地，作為本發明的一個實施例，所述根據所述數據處理任務，在所述數據運行環境中配置數據處理節點，包括：分析所述數據處理任務的操作步驟，根據所述操作步驟，梳理出操作邏輯；根據所述操作邏輯，在所述數據運行環境中配置數據處理節點。
62.其中，所述操作步驟是指實現所述數據處理任務所需要的操作流程，例如在出行場景下，需要進行叫車動作，所述操作流程可以是先選擇目的地，在選擇用車類型，最后點擊搜索；所述操作邏輯是指所述操作流程每個步驟實現邏輯的合集。
63.s2、利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志。
64.本發明實施例通過利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志可以在所述數據處理任務分配過程中出現任何問題都通過所述分配日志及時追蹤解決保證數據處理效率；其中所述預設的任務調度工具是指用來進行所述數據任務分配調度的工具，如quartz工具；所述分配日志是指通過所述任務調度工具將所述數據處理任務分配至數據處理節點中整個過程的操作記錄。
65.作為本發明的一個實施例，所述利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志，包括：利用所述任務調度工具分析所述數據處理任務的任務類型；根據所述任務類型，確定所述任務調度工具的調度模式；通過所述調度模式，利用所述任務調度工具將所述所述數據任務分配至所述數據處理節點，得
到數據任務節點；記錄獲取所述節點地址到得到所述數據任務節點的完整操作記錄，得到所述分配日志。
66.其中，所述任務類型是指所述數據處理任務根據不同的處理方式劃分任務的不同類型，例如統計類、篩選類等類型；所述調度模式是指所述任務調度工具將所述數據處理任務分配至數據處理節點中采用的調度方式，例如將所述數據處理任務按月份進行調度，2022年每天下午14:00到下午14:55、下午18:00到下午18:55時間段內每隔5分鐘執行任務；所述數據任務節點是指已經獲取到所述數據處理任務的所述數據處理節點。
67.進一步地，本發明一可選實施例中，所述建立所述數據任務與所述數據處理節點的數據傳送通道可以通過webrtc組件來完成。
68.進一步地，本發明一可選實施例中，所述利用所述任務調度工具將所述數據任務分配至所述數據處理節點，得到數據任務節點，包括：利用所述任務調度工具的地址層獲取所述數據處理節點的節點地址；根據所述節點地址利用所述任務調度工具的的通道層建立所述任務調度工具和所述數據處理節點的數據傳輸通道；根據所述數據傳輸通道，利用所述任務調度工具的傳輸層將所述數據任務傳輸至所述數據處理節點中。
69.s3、基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，以記錄所述數據處理任務在運行過程中的運行日志。
70.本發明實施例通過基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，得到數據處理結果可以通過所述數據處理節點自動處理所述數據處理任務，減少人工成本的同時提高了數據批量處理效率。
71.作為本發明的一個實施例，所述基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，包括：根據所述分配日志，查詢所述數據處理節點中每個節點與所述數據處理任務中每個任務之間的映射關系，基于所述映射關系，將所述數據處理任務中每個處理任務加載至所述數據處理節點中對應的運行節點中，并在所述運行節點中構建所述處理任務的處理邏輯，根據所述處理邏輯，通過所述運行節點運行所述處理任務。
72.其中，所述映射關系是指用于表征所述數據處理節點中每個處理節點與所述數據處理任務中每個處理任務的對應關系，所述處理邏輯用于明確后續處理節點在運行處理任務時所采用的處理規則，例如創建一個新的transformation，保存到本地路徑，例如保存到d:/etltest下，保存文件名為etltesttrans，kettle默認transformation文件保存后后綴名為ktr；創建一個新的job，保存到本地路徑，例如保存到d:/etltest下，保存文件名為etltestjob，kettle默認job文件保存后后綴名為kjb；識別常用轉換環節名稱，對transformation進行轉換等規則。
73.進一步地，本發明一可選實施例中，所述所述數據處理節點中每個節點與所述數據處理任務中每個任務之間的映射關系可以通過查詢語句進行查詢，如sql查詢語句，所述處理任務的處理邏輯可以通過程序語言進行構建，如java語言，所述處理任務的運行可以通過線程池的方式實現。
74.進一步地，本發明實施例通過記記錄所述數據處理任務在運行過程中的運行日志，可以保證所述數據處理任務在處理過程中遇到問題可以通過所述運行日志來進行追蹤解決；所述運行日志是指通過所述數據處理節點運行所述數據處理任務得到所述數據處理結果整個過程的運行記錄。可選的，所述記錄所述數據處理任務在運行過程中的運行日志
通過搭建nxlog運行環境，并在數據庫中安裝fluentd curl-l，修改nxlog的配置文件后重啟服務實現。
75.s4、將所述分配日志和所述運行日志進行整合，得到所述待處理數據的處理日志，并將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖。
76.本發明實施例通過將所述分配日志和所述運行日志進行整合，得到所述待處理數據的數據處理日志可以通過數據日志追蹤最大程度保障了待處理數據動態配置調度任務、任務執行的過程管理等功能從而提高數據批量處理效率。
77.作為本發明的一個實施例，所述將所述分配日志和所述運行日志進行整合，得到所述待處理數據的數據處理日志，包括：對所述分配日志和所述運行日志的日志格式標準統一，得到標準分配日志和標準運行日志；對所述標準分配日志及所述標準運行日志進行日志合并，得到統一日志；對所述統一日志進行數據梳理，得到所述數據處理日志。
78.其中，所述標準分配日志及所述標準運行日志是指通過統一格式后的所述分配日志和所述運行日志；所述統一日志是指將所述所述標準分配日志及所述標準運行日志進行日志合并后形成的新的日志。
79.進一步地，本發明一可選實施例中，所述對所述分配日志和所述運行日志的日志格式標準統一，得到標準分配日志和標準運行日志可以在數據庫中通過logback工具來修改日志配置文件后重啟服務器來完成。
80.進一步地，本發明一可選實施例中，所述對所述統一日志進行數據梳理，得到所述數據處理日志，包括；對所述統一日志進行數據違法數據刪除，得到合法數據日志；對所述合法數據日志進行無效數據刪除，得到有效數據日志；整理所述有效數據邏輯，得到所述數據處理日志。
81.進一步地，本發明實施例通過將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖，實現所述待處理數據的處理過程可視化展示，幫助用戶可以更加清晰的了解到所述待處理數據的數據處理過程，其中，所述網頁端可以了解為用于向用戶提供視圖展示的載體，常見的如瀏覽器，可選的所述處理日志的加載可以通過加載工具實現，所述加載工具可以通過js語言進行編譯。
82.本發明實施例通過獲取待處理數據，并配置所述待處理數據的數據處理任務可以明確所述待處理數據的處理需求，提高所述待處理數據處理效率，本發明實施例通過利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志可以在所述數據處理任務分配過程中出現任何問題都通過所述分配日志及時追蹤解決保證數據處理效率，其中，本發明實施例通過基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，得到數據處理結果可以通過所述數據處理節點自動處理所述數據處理任務，減少人工成本的同時提高了數據批量處理效率；此外，本發明實施例通過將所述分配日志和所述運行日志進行整合，得到所述待處理數據的數據處理日志可以通過數據日志追蹤最大程度保障了待處理數據動態配置調度任務、任務執行的過程管理等功能從而提高數據批量處理效率。因此，本發明實施例提供的一種數據批量處理方法，能夠在于提高數據批量處理的效率。
83.如圖2所示，是本發明一實施例提供的數據批量處理裝置的功能模塊圖。
84.本發明所述數據批量處理裝置100可以安裝于電子設備中。根據實現的功能，所述
interconnect，簡稱pci)總線或擴展工業標準結構(extended industry standard architecture，簡稱eisa)總線等。該總線可以分為地址總線、數據總線、控制總線等。所述總線被設置為實現所述存儲器11以及至少一個處理器10等之間的連接通信。
96.所述通信接口13用于上述電子設備1與其他設備之間的通信，包括網絡接口和用戶接口?？蛇x地，所述網絡接口可以包括有線接口和/或無線接口(如wi-fi接口、藍牙接口等)，通常用于在該電子設備與其他電子設備之間建立通信連接。所述用戶接口可以是顯示器(display)、輸入單元(比如鍵盤(keyboard))，可選地，用戶接口還可以是標準的有線接口、無線接口。可選地，在一些實施例中，顯示器可以是led顯示器、液晶顯示器、觸控式液晶顯示器以及oled(organic light-emitting diode，有機發光二極管)觸摸器等。其中，顯示器也可以適當的稱為顯示屏或顯示單元，用于顯示在電子設備中處理的信息以及用于顯示可視化的用戶界面。
97.圖3僅示出了具有部件的電子設備，本領域技術人員可以理解的是，圖3示出的結構并不構成對所述電子設備1的限定，可以包括比圖示更少或者更多的部件，或者組合某些部件，或者不同的部件布置。
98.例如，盡管未示出，所述電子設備1還可以包括給各個部件供電的電源(比如電池)，優選地，電源可以通過電源管理裝置與所述至少一個處理器10邏輯相連，從而通過電源管理裝置實現充電管理、放電管理、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障檢測電路、電源轉換器或者逆變器、電源狀態指示器等任意組件。所述電子設備1還可以包括多種傳感器、藍牙模塊、wi-fi模塊等，在此不再贅述。
99.應該了解，所述實施例僅為說明之用，在專利申請范圍上并不受此結構的限制。
100.所述電子設備1中的所述存儲器11存儲的數據批量處理方法程序是多個指令的組合，在所述處理器10中運行時，可以實現：
101.獲取待處理數據，并配置所述待處理數據的數據處理任務，創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點；
102.利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志；
103.基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，以記錄所述數據處理任務在運行過程中的運行日志；
104.將所述分配日志和所述運行日志進行整合，得到所述待處理數據的處理日志，并將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖。
105.具體地，所述處理器10對上述指令的具體實現方法可參考附圖對應實施例中相關步驟的描述，在此不贅述。
106.進一步地，所述電子設備1集成的模塊/單元如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀存儲介質中。所述計算機可讀存儲介質可以是易失性的，也可以是非易失性的。例如，所述計算機可讀介質可以包括：能夠攜帶所述計算機程序代碼的任何實體或裝置、記錄介質、u盤、移動硬盤、磁碟、光盤、計算機存儲器、只讀存儲器(rom，read-only memory)。
107.本發明還提供一種計算機可讀存儲介質，所述可讀存儲介質存儲有計算機程序，
所述計算機程序在被電子設備的處理器所執行時，可以實現：
108.獲取待處理數據，并配置所述待處理數據的數據處理任務，創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點；
109.利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志；
110.基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，以記錄所述數據處理任務在運行過程中的運行日志；
111.將所述分配日志和所述運行日志進行整合，得到所述待處理數據的處理日志，并將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖。
112.在本發明所提供的幾個實施例中，應該理解到，所揭露的設備，裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
113.所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的，作為模塊顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上?？梢愿鶕嶋H的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。
114.另外，在本發明各個實施例中的各功能模塊可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現，也可以采用硬件加軟件功能模塊的形式實現。
115.對于本領域技術人員而言，顯然本發明不限于上述示范性實施例的細節，而且在不背離本發明的精神或基本特征的情況下，能夠以其他的具體形式實現本發明。
116.因此，無論從哪一點來看，均應將實施例看作是示范性的，而且是非限制性的，本發明的范圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和范圍內的所有變化涵括在本發明內。不應將權利要求中的任何附關聯圖標記視為限制所涉及的權利要求。
117.本技術實施例可以基于人工智能技術對相關的數據進行獲取和處理。其中，人工智能(artificial intelligence，ai)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。
118.此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除復數。系統權利要求中陳述的多個單元或裝置也可以由一個單元或裝置通過軟件或者硬件來實現。第一、第二等詞語用來表示名稱，而并不表示任何特定的順序。
119.最后應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，盡管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和范圍。
技術特征：
1.一種數據批量處理方法，其特征在于，所述方法包括：獲取待處理數據，并配置所述待處理數據的數據處理任務，創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點；利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志；基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，以記錄所述數據處理任務在運行過程中的運行日志；將所述分配日志和所述運行日志進行整合，得到所述待處理數據的處理日志，并將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖。2.如權利要求1所述的數據批量處理方法，其特征在于，所述配置所述待處理數據的數據處理任務，包括：分析所述待處理數據的業務場景；根據所述業務場景，識別所述待處理數據的數據處理需求；根據所述數據處理需求，構建所述數據處理任務。3.如權利要求2所述的數據批量處理方法，其特征在于，所述根據所述數據處理任務，在所述數據運行環境中配置數據處理節點，包括：分析所述數據處理任務的操作步驟，根據所述操作步驟，梳理出操作邏輯；根據所述操作邏輯，在所述數據運行環境中配置數據處理節點。4.如權利要求1所述的數據批量處理方法，其特征在于，所述利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志，包括：利用所述任務調度工具分析所述數據處理任務的任務類型；根據所述任務類型，確定所述任務調度工具的調度模式；通過所述調度模式，利用所述任務調度工具將所述所述數據任務分配至所述數據處理節點，得到數據任務節點；記錄獲取所述節點地址到得到所述數據任務節點的完整操作記錄，得到所述分配日志。5.如權利要求1所述的數據批量處理方法，其特征在于，所述基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，包括：根據所述分配日志，查詢所述數據處理節點中每個節點與所述數據處理任務中每個任務之間的映射關系；基于所述映射關系，將所述數據處理任務中每個處理任務加載至所述數據處理節點中對應的運行節點中；在所述運行節點中構建所述處理任務的處理邏輯，根據所述處理邏輯，通過所述運行節點運行所述處理任務。6.如權利要求1所述的數據批量處理方法，其特征在于，所述將所述分配日志和所述運行日志進行整合，得到所述待處理數據的數據處理日志，包括：對所述分配日志和所述運行日志的日志格式標準統一，得到標準分配日志和標準運行日志；對所述標準分配日志及所述標準運行日志進行日志合并，得到統一日志；
對所述統一日志進行數據梳理，得到所述數據處理日志。7.如權利要求1所述的數據批量處理方法，其特征在于，所述對所述統一日志進行數據梳理，得到所述數據處理日志，包括：對所述統一日志進行數據違法數據刪除，得到合法數據日志；對所述合法數據日志進行無效數據刪除，得到有效數據日志；整理所述有效數據邏輯，得到所述數據處理日志。8.一種數據批量處理裝置，其特征在于，所述裝置包括：節點配置模塊，用于獲取待處理數據，并配置所述待處理數據的數據處理任務，創建所述待處理數據的數據運行環境，根據所述數據處理任務，在所述數據運行環境中配置數據處理節點；任務分配模塊，用于利用預設的任務調度工具將所述數據處理任務分配至數據處理節點中，得到所述數據任務的分配日志；日志記錄模塊，用于基于所述分配日志，通過所述數據處理節點運行所述數據處理任務，以記錄所述數據處理任務在運行過程中的運行日志；日志整合模塊，用于將所述分配日志和所述運行日志進行整合，得到所述待處理數據的處理日志，并將所述處理日志加載至網頁端中，以獲取所述待處理數據的可視化處理視圖。9.一種電子設備，其特征在于，所述電子設備包括：至少一個處理器；以及，與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1至7中任意一項所述的數據批量處理方法。10.一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7中任意一項所述的數據批量處理方法。
技術總結
本發明涉及數據處理技術，揭露了一種數據批量處理方法，包括：獲取待處理數據，并配置待處理數據的數據處理任務，創建待處理數據的數據運行環境，根據數據處理任務，在數據運行環境中配置數據處理節點；利用預設的任務調度工具將數據處理任務分配至數據處理節點中，得到數據任務的分配日志；基于分配日志，通過數據處理節點運行數據處理任務，以記錄數據處理任務在運行過程中的運行日志；將分配日志和運行日志進行整合，得到待處理數據的處理日志，并將處理日志加載至網頁端中，以獲取待處理數據的可視化處理視圖。本發明可以提高數據批量處理的效率。理的效率。理的效率。
