一種基于DataX的物聯網邊緣數據采集網關及其實現方法與流程
一種基于datax的物聯網邊緣數據采集網關及其實現方法
技術領域
1.本發明涉及物聯網應用技術領域，具體的說是一種基于datax的物聯網邊緣數據采集網關及其實現方法。
背景技術：
2.物聯網在工業、農業、交通、能源、智慧城市等各個領域被廣泛應用，并由此產生了大量的物聯網數據。
3.如何能夠便捷的采集各類不同協議的物聯網設備數據，以及將物聯網數據接入不同數據應用，同時與組織內其他數據深度融合，以挖掘數據潛在價值，成為“萬物互聯”時代首要解決的問題。
技術實現要素：
4.本發明針對目前技術發展的需求和不足之處，提供一種基于datax的物聯網邊緣數據采集網關及其實現方法。
5.首先，本發明的一種基于datax的物聯網邊緣數據采集網關，解決上述技術問題采用的技術方案如下：
6.一種基于datax的物聯網邊緣數據采集網關，其基于開源數據同步工具datax的framework+plugin架構，包括：
7.擴展模塊，用于對datax reader插件進行擴展編寫，以適配各類物聯網設備的接入協議，還用于對datax writer插件進行擴展編寫，以適配不同協議的數據源；
8.打包發布模塊，用于將編寫完成的datax reader插件和datax writer插件在datax中打包發布；
9.部署模塊，用于將datax部署在物聯網設備邊緣側；
10.協議組合模塊，用于將適配某類物聯網設備接入協議的datax reader插件和適配某類協議數據源的datax writer插件組合為一個datax job；
11.定義模塊，用于在datax job中定義蘊含邊緣側數據清洗邏輯的datax transformer，實現對邊緣側接入數據的處理；
12.啟動模塊，用于啟動datax job，datax job通過task及taskgoup并行機制，進行數據傳輸，以通過datax reader插件將一類物聯網設備協議的數據接入，通過datax writer插件將接入數據轉發至目標數據源。
13.可選的，所涉及擴展模塊擴展編寫datax reader插件和datax writer插件的過程中，同時實現job和task兩個內部抽象類，在task類的startread方法中實現將物聯網設備接入數據寫入datax reader插件和datax writer插件之間的framework。
14.可選的，所涉及打包發布模塊在plugin.json文件中定義datax reader插件和datax writer插件，使用assembly將定義后的datax reader插件和datax writer插件在datax中打包發布。
15.可選的，對邊緣側接入數據的處理包括清洗、過濾、加密、質量稽核、簡單計算。
16.其次，本發明的一種基于datax的物聯網邊緣數據采集網關實現方法，解決上述技術問題采用的技術方案如下：
17.一種基于datax的物聯網邊緣數據采集網關實現方法，包括如下步驟：
18.s1、基于開源數據同步工具datax的framework+plugin架構，編寫適配各類物聯網設備接入協議的datax reader插件，編寫適配不同協議數據源的datax writer插件；
19.s2、將編寫完成的datax reader插件和datax writer插件在datax中打包發布；
20.s3、將datax部署在物聯網設備邊緣側，適配某類物聯網設備接入協議的datax reader插件和適配某類協議數據源的datax writer插件組合為一個datax job，啟動該datax job，即可實現一類物聯網設備協議的數據接入以及將接入數據轉發至目標數據源；
21.s4、在datax job中定義蘊含邊緣側數據清洗邏輯的datax transformer，實現對邊緣側接入數據的處理；
22.s5、啟動datax job，通過datax的task及taskgoup并行機制，實現數據傳輸；
23.s6、通過datax writer插件，將接入的物聯網設備數據寫入對應的數據源。
24.可選的，執行步驟s1編寫datax reader插件和datax writer插件的過程中，同時實現job和task兩個內部抽象類，在task類的startread方法中實現將物聯網設備接入數據寫入datax reader插件和datax writer插件之間的framework。
25.可選的，執行步驟s2的具體操作為：
26.在plugin.json文件中定義datax reader插件和datax writer插件，使用assembly將定義后的datax reader插件和datax writer插件在datax中打包發布。
27.可選的，執行步驟s4，對邊緣側接入數據的處理包括：
28.清洗、過濾、加密、質量稽核、簡單計算。
29.本發明的一種基于datax的物聯網邊緣數據采集網關及其實現方法，與現有技術相比具有的有益效果是：
30.本發明通過擴展reader插件，實現不同物聯網接入協議，通過擴展writer插件，將接入的物聯網數據傳輸到不同協議數據源，通過將實現了物聯網接入協議的datax組件部署在設備邊緣側，利用datax的數據轉換能力提供設備邊緣側的數據處理，利用datax的高并發傳輸機制以及容錯機制實現接入數據的低延遲、高可靠傳輸，并將接入數據傳輸至多種數據源，以滿足物聯網數據融入業務應用的數據接入需求。
附圖說明
31.附圖1是本發明實施例一的結構框圖；
32.附圖2是本發明對datax插件擴展的示意圖；
33.附圖3是本發明將datax reader插件在datax中打包發布的目錄示意圖；
34.附圖4是本發明啟動datax job進行現數據傳輸的示意圖。
35.附圖中各標號信息表示：
36.1、擴展模塊，2、datax reader插件，3、datax writer插件，4、部署模塊，
37.5、協議組合模塊，6、定義模塊，7、啟動模塊，8、打包發布模塊。
具體實施方式
38.為使本發明的技術方案、解決的技術問題和技術效果更加清楚明白，以下結合具體實施例，對本發明的技術方案進行清楚、完整的描述。
39.實施例一：
40.結合附圖1-4，本實施例提出一種基于datax的物聯網邊緣數據采集網關，其基于開源數據同步工具datax的framework+plugin架構，包括：擴展模塊1、打包發布模塊8、部署模塊4、協議組合模塊5、定義模塊6、啟動模塊7。
41.通過擴展模塊1，對datax reader插件2進行擴展編寫，以適配各類物聯網設備的接入協議，對datax writer插件3進行擴展編寫，以適配不同協議的數據源。這一過程中，同時實現job和task兩個內部抽象類，在task類的startread方法中實現將物聯網設備接入數據寫入datax reader插件2和datax writer插件3之間的framework。
42.通過打包發布模塊8，將編寫完成的datax reader插件2和datax writer插件3在datax中打包發布。具體的，打包發布模塊8在plugin.json文件中定義datax reader插件2和datax writer插件3，使用assembly將定義后的datax reader插件2和datax writer插件3在datax中打包發布。
43.通過部署模塊4，將datax部署在物聯網設備邊緣側。
44.通過協議組合模塊5，將適配某類物聯網設備接入協議的datax reader插件2和適配某類協議數據源的datax writer插件3組合為一個datax job。
45.通過定義模塊6，在datax job中定義蘊含邊緣側數據清洗邏輯的datax transformer，實現對邊緣側接入數據的清洗、過濾、加密、質量稽核、簡單計算等處理。
46.通過啟動模塊7，啟動datax job；
47.datax job通過task及taskgoup并行機制，進行數據傳輸，以通過datax reader插件2將一類物聯網設備協議的數據接入，通過datax writer插件3將接入數據轉發至目標數據源。
48.實施例二：
49.結合附圖2-4，本實施例提出一種基于datax的物聯網邊緣數據采集網關實現方法，包括如下步驟：
50.s1、基于開源數據同步工具datax的framework+plugin架構，編寫適配各類物聯網設備接入協議的datax reader插件，編寫適配不同協議數據源的datax writer插件。
51.執行步驟s1，編寫datax reader插件和datax writer插件的過程中，同時實現job和task兩個內部抽象類，在task類的startread方法中實現將物聯網設備接入數據寫入datax reader插件和datax writer插件之間的framework，具體參考附圖2,。
52.s2、在plugin.json文件中定義datax reader插件和datax writer插件，使用assembly將定義后的datax reader插件和datax writer插件在datax中打包發布；附圖3僅展示了datax reader插件的打包發布目錄。
53.s3、將datax部署在物聯網設備邊緣側，適配某類物聯網設備接入協議的datax reader插件和適配某類協議數據源的datax writer插件組合為一個datax job，啟動該datax job，即可實現一類物聯網設備協議的數據接入以及將接入數據轉發至目標數據源。
54.s4、在datax job中定義蘊含邊緣側數據清洗邏輯的datax transformer，實現對
邊緣側接入數據的清洗、過濾、加密、質量稽核、簡單計算等處理。
55.s5、啟動datax job，通過datax的task及taskgoup并行機制，實現數據傳輸，參考附圖4。
56.s6、通過datax writer插件，將接入的物聯網設備數據寫入對應的數據源，參考附圖4。
57.綜上可知，采用本發明的一種基于datax的物聯網邊緣數據采集網關及其實現方法，一方面，可以接入不同物聯網協議的數據，并將接入的物聯網數據傳輸到不同協議數據源，另一方面，通過將實現了物聯網接入協議的datax組件部署在設備邊緣側，可以提供物聯網設備邊緣側的數據處理，實現接入數據的低延遲、高可靠傳輸。
58.以上應用具體個例對本發明的原理及實施方式進行了詳細闡述，這些實施例只是用于幫助理解本發明的核心技術內容。基于本發明的上述具體實施例，本技術領域的技術人員在不脫離本發明原理的前提下，對本發明所作出的任何改進和修飾，皆應落入本發明的專利保護范圍。
技術特征：
1.一種基于datax的物聯網邊緣數據采集網關，其特征在于,其基于開源數據同步工具datax的framework+plugin架構，包括：擴展模塊，用于對datax reader插件進行擴展編寫，以適配各類物聯網設備的接入協議，還用于對datax writer插件進行擴展編寫，以適配不同協議的數據源；打包發布模塊，用于將編寫完成的datax reader插件和datax writer插件在datax中打包發布；部署模塊，用于將datax部署在物聯網設備邊緣側；協議組合模塊，用于將適配某類物聯網設備接入協議的datax reader插件和適配某類協議數據源的datax writer插件組合為一個datax job；定義模塊，用于在datax job中定義蘊含邊緣側數據清洗邏輯的datax transformer，實現對邊緣側接入數據的處理；啟動模塊，用于啟動datax job，datax job通過task及taskgoup并行機制，進行數據傳輸，以通過datax reader插件將一類物聯網設備協議的數據接入，通過datax writer插件將接入數據轉發至目標數據源。2.根據權利要求1所述的一種基于datax的物聯網邊緣數據采集網關，其特征在于，所述擴展模塊擴展編寫datax reader插件和datax writer插件的過程中，同時實現job和task兩個內部抽象類，在task類的startread方法中實現將物聯網設備接入數據寫入datax reader插件和datax writer插件之間的framework。3.根據權利要求1所述的一種基于datax的物聯網邊緣數據采集網關，其特征在于，所述打包發布模塊在plugin.json文件中定義datax reader插件和datax writer插件，使用assembly將定義后的datax reader插件和datax writer插件在datax中打包發布。4.根據權利要求1所述的一種基于datax的物聯網邊緣數據采集網關，其特征在于，對邊緣側接入數據的處理包括清洗、過濾、加密、質量稽核、簡單計算。5.一種基于datax的物聯網邊緣數據采集網關實現方法，其特征在于，包括如下步驟：s1、基于開源數據同步工具datax的framework+plugin架構，編寫適配各類物聯網設備接入協議的datax reader插件，編寫適配不同協議數據源的datax writer插件；s2、將編寫完成的datax reader插件和datax writer插件在datax中打包發布；s3、將datax部署在物聯網設備邊緣側，適配某類物聯網設備接入協議的datax reader插件和適配某類協議數據源的datax writer插件組合為一個datax job，啟動該datax job，即可實現一類物聯網設備協議的數據接入以及將接入數據轉發至目標數據源；s4、在datax job中定義蘊含邊緣側數據清洗邏輯的datax transformer，實現對邊緣側接入數據的處理；s5、啟動datax job，通過datax的task及taskgoup并行機制，實現數據傳輸；s6、通過datax writer插件，將接入的物聯網設備數據寫入對應的數據源。6.根據權利要求5所述的一種基于datax的物聯網邊緣數據采集網關實現方法，其特征在于，執行步驟s1編寫datax reader插件和datax writer插件的過程中，同時實現job和task兩個內部抽象類，在task類的startread方法中實現將物聯網設備接入數據寫入datax reader插件和datax writer插件之間的framework。7.根據權利要求5所述的一種基于datax的物聯網邊緣數據采集網關實現方法，其特征
在于，執行步驟s2的具體操作為：在plugin.json文件中定義datax reader插件和datax writer插件，使用assembly將定義后的datax reader插件和datax writer插件在datax中打包發布。8.根據權利要求5所述的一種基于datax的物聯網邊緣數據采集網關實現方法，其特征在于，執行步驟s4，對邊緣側接入數據的處理包括：清洗、過濾、加密、質量稽核、簡單計算。
技術總結
本發明公開一種基于DataX的物聯網邊緣數據采集網關及其實現方法，涉及物聯網應用技術領域，其實現內容包括：其基于開源數據同步工具DataX的Framework+plugin架構，編寫適配各類物聯網設備接入協議的DataX Reader插件，編寫適配不同協議數據源的DataX Writer插件；將兩個插件在DataX中打包發布；將DataX部署在物聯網設備邊緣側；將適配某類物聯網設備接入協議的DataX Reader插件和適配某類協議數據源的DataX Writer插件組合為一個DataX Job；在DataX Job中定義蘊含邊緣側數據清洗邏輯的DataX Transformer，實現對接入數據的處理；啟動DataXJob，通過Task及TaskGoup并行機制進行數據傳輸，以通過DataX Reader插件將一類物聯網設備協議的數據接入，通過DataX Writer插件將接入數據轉發至目標數據源。本發明可以滿足物聯網數據融入業務應用的數據接入需求。物聯網數據融入業務應用的數據接入需求。物聯網數據融入業務應用的數據接入需求。
