一種基于離散序列浮點(diǎn)轉(zhuǎn)換的神經(jīng)元連接方法
1.本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體來說涉及一種基于離散序列浮點(diǎn)轉(zhuǎn)換的神經(jīng)元連接方法。
背景技術(shù)：
2.人類正在進(jìn)入信息時(shí)代，人工智能正不斷興起。計(jì)算機(jī)視覺是使用計(jì)算機(jī)及相關(guān)設(shè)備對(duì)生物視覺的一種模擬，是人工智能領(lǐng)域的一個(gè)重要部分。隨著計(jì)算機(jī)視覺的發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)訓(xùn)練模型成為該行業(yè)的熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)視覺的基石，它可用于圖像分類、目標(biāo)檢測(cè)和語義分割等多種計(jì)算機(jī)視覺任務(wù)中。卷積神經(jīng)網(wǎng)絡(luò)主要包括數(shù)據(jù)輸入層、卷積層、池化層以及全連接層，其網(wǎng)絡(luò)結(jié)構(gòu)中通常是經(jīng)多個(gè)卷積層和池化層后，連接著1個(gè)或1個(gè)以上的全連接層。
3.一般而言，全連接層(fully connected layer)通常在卷積神經(jīng)網(wǎng)絡(luò)尾部，該層將前層(卷積層和池化層)計(jì)算得到的特征空間映射樣本標(biāo)記空間。全連接層中的每個(gè)神經(jīng)元與其前一層的所有神經(jīng)元進(jìn)行全連接，可以整合卷積層或池化層中具有類別區(qū)分性的局部信息，減少特征位置對(duì)于分類結(jié)果的影響。全連接層每個(gè)神經(jīng)元的激勵(lì)函數(shù)一般采用relu函數(shù)，最后一層全連接層的輸出值可以采用softmax邏輯回歸進(jìn)行分類。由于全連接層全相連的特性，一般全連接層的參數(shù)也是最多的。全連接層的參數(shù)問題主要體現(xiàn)在兩方面。其一，全連接層參數(shù)量過大，約占整個(gè)網(wǎng)絡(luò)參數(shù)量的80％，導(dǎo)致訓(xùn)練和測(cè)試的計(jì)算量大；其二，其參數(shù)量冗余，容易導(dǎo)致過擬合。
4.在農(nóng)業(yè)領(lǐng)域，使用移動(dòng)端設(shè)備進(jìn)行植物病害識(shí)別變得越加重要，這就要求用于移動(dòng)端的網(wǎng)絡(luò)模型輕量化。而在現(xiàn)有的網(wǎng)絡(luò)模型中，由于全連接層的參數(shù)量冗余、計(jì)算負(fù)擔(dān)過重，全連接層不適合輕量化模型中使用，現(xiàn)有的解決方法為參數(shù)剪枝，即設(shè)計(jì)對(duì)網(wǎng)絡(luò)參數(shù)的評(píng)價(jià)準(zhǔn)則，并以此為根據(jù)刪除冗余參數(shù)以減少全連接層的計(jì)算量。參數(shù)剪枝可減少神經(jīng)元連接的個(gè)數(shù)，防止模型過擬合，但參數(shù)剪枝過后會(huì)導(dǎo)致網(wǎng)絡(luò)模型結(jié)構(gòu)不完整且無法修復(fù)，降低植物病害識(shí)別模型的表現(xiàn)性能。因此，在保證植物病害識(shí)別模型的表現(xiàn)性能的前提下，如何降低全連接層的計(jì)算負(fù)擔(dān)，是本領(lǐng)域的重要技術(shù)課題之一。針對(duì)此，石河子大學(xué)cn114049517a公開了一種基于fpga的棉株和雜草的圖像分類識(shí)別檢測(cè)方法，此方法使用量化感知訓(xùn)練方法量化網(wǎng)絡(luò)模型，設(shè)置了一個(gè)具有大量乘法器的加工原件進(jìn)行全連接計(jì)算，將輸入神經(jīng)元和權(quán)重通過展平和連接處理成定制形式，在計(jì)算過程中重用輸入神經(jīng)元，減少了模型大小。此方法雖然減少了神經(jīng)元連接的個(gè)數(shù)，但整體降低幅度不大，模型參數(shù)量個(gè)數(shù)仍然非常龐大，無法滿足模型輕量化的需求。
技術(shù)實(shí)現(xiàn)要素：
5.本發(fā)明的目的在于克服上述缺點(diǎn)而提供的一種能有效減少全連接層的參數(shù)，適應(yīng)模型輕量化要求的基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法。
6.為實(shí)現(xiàn)上述目的，本發(fā)明技術(shù)方案如下：
7.本發(fā)明的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，包括以下步驟：
8.(1)從圖像數(shù)據(jù)集中獲取原始圖像數(shù)據(jù)，選取現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型，將模型的全連接層以及預(yù)測(cè)層去除后，得到最終網(wǎng)絡(luò)模型，將原始圖像數(shù)據(jù)直接輸入至所述最終網(wǎng)絡(luò)模型中進(jìn)行計(jì)算，經(jīng)過網(wǎng)絡(luò)中的卷積層、激活層以及池化層，通過卷積對(duì)圖像的特征進(jìn)行提取，得到由大量卷積核提取得到的特征序列；
9.(2)對(duì)長(zhǎng)度為length的特征序列進(jìn)行分區(qū)，每個(gè)區(qū)間的長(zhǎng)度為4，對(duì)每個(gè)區(qū)間按照起始位置進(jìn)行編號(hào)，按照每個(gè)區(qū)間中浮點(diǎn)元素起始位置，對(duì)每個(gè)區(qū)間中的浮點(diǎn)元素進(jìn)行位置編號(hào)，編號(hào)為0,1,2,3，按照區(qū)間中每個(gè)浮點(diǎn)元素的位置編號(hào)，出每個(gè)區(qū)間中數(shù)值最大的浮點(diǎn)元素所對(duì)應(yīng)的位置編號(hào)，將每個(gè)區(qū)間的最大數(shù)值編號(hào)重新組合為長(zhǎng)度為length/4的數(shù)組，大小為：[1
×
length/4]，判斷該數(shù)組長(zhǎng)度是否為奇數(shù)，若該數(shù)組長(zhǎng)度為奇數(shù)則跳過，若該數(shù)組長(zhǎng)度是偶數(shù)，則在數(shù)組最后添加一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)中的數(shù)值為0，至此得到位置特征標(biāo)記序列αn，此步操作設(shè)為函數(shù)a(xn)，此步驟數(shù)學(xué)表達(dá)為：a(xn)＝αn，其中：αn是位置特征標(biāo)記序列，xn表示原始圖像數(shù)據(jù)經(jīng)過最終網(wǎng)絡(luò)模型得到的特征序列；
[0010]
(3)構(gòu)造長(zhǎng)度為奇數(shù)的10階等比數(shù)組βn，10階矩陣的長(zhǎng)度與αn的長(zhǎng)度相同，該數(shù)組中間元素的值為1，數(shù)組中元素表示為β0,β1,β2……
βn，此操作的數(shù)學(xué)表達(dá)為將步驟(2)得到的位置特征標(biāo)記序列αn與10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維特征浮點(diǎn)信息δ；
[0011]
(4)可學(xué)習(xí)整數(shù)序列中的所有元素均為整數(shù)，整數(shù)取值范圍為0～9，且隨機(jī)取值，該序列長(zhǎng)度與步驟(2)中特征標(biāo)記奇序列長(zhǎng)度相同，該序列表示為εn，將εn與步驟(3)得到的10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維可學(xué)習(xí)浮點(diǎn)信息γ；
[0012]
(5)將高維可學(xué)習(xí)浮點(diǎn)信息與高維特征浮點(diǎn)信息相乘得到維度為一、量級(jí)為10
x
的超高維浮點(diǎn)特征信息，用符號(hào)表示為y，該信息由特征序列聚合而來，具有原始圖像數(shù)據(jù)的超高層特征信息，且具有豐富的抽象語言信息；
[0013]
(6)對(duì)步驟(5)得到的超高維浮點(diǎn)特征信息y進(jìn)行解碼操作，得到長(zhǎng)度為為n的解碼序列μ，解碼序列中元素表示為μ0,μ1…
μ
n-1
,μn，此步操作設(shè)為函數(shù)b(y)，此步驟數(shù)學(xué)表達(dá)為此操作的數(shù)學(xué)表達(dá)為b(y)＝μ
[0014][0015]
其中：10
x
為超高維浮點(diǎn)特征信息y的量級(jí)；
[0016]
上述的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，其中：步驟(1)所述現(xiàn)有模型為分類網(wǎng)絡(luò)模型。
[0017]
上述的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，其中：步驟(1)中的圖像數(shù)據(jù)集為現(xiàn)有數(shù)據(jù)集或基于待提取圖像數(shù)據(jù)集。所述現(xiàn)有數(shù)據(jù)集為imagenet圖像數(shù)據(jù)集。
[0018]
上述的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，其中：步驟(4)中所述的可學(xué)習(xí)整數(shù)序列中的整數(shù)為整數(shù)型可學(xué)習(xí)參數(shù)，可通過網(wǎng)絡(luò)的迭代進(jìn)行更新。
[0019]
本發(fā)明與現(xiàn)有技術(shù)相比，具有明顯的有益效果，從以上技術(shù)方案可知：本發(fā)明對(duì)卷積神經(jīng)網(wǎng)絡(luò)中存在參數(shù)過多的全連接神經(jīng)元方法進(jìn)行優(yōu)化，通過對(duì)卷積對(duì)圖像的特征進(jìn)行提取，得到由大量卷積核提取得到的特征序列，對(duì)特征序列進(jìn)行位置標(biāo)記并分區(qū)，構(gòu)造10階等比數(shù)組與可學(xué)習(xí)整數(shù)序列，利用聚合的思路，對(duì)離散序列進(jìn)行浮點(diǎn)轉(zhuǎn)換，將特征序列的數(shù)據(jù)維度縮減為一，從而有效地降低現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型對(duì)算力的要求，提高神經(jīng)網(wǎng)絡(luò)的設(shè)備遷移能力。。能有效減少全連接層的參數(shù)，適應(yīng)模型輕量化，本發(fā)明可用于植物病害等識(shí)別的移動(dòng)端設(shè)備中。
附圖說明
[0020]
圖1為本發(fā)明的流程圖；
[0021]
圖2為本發(fā)明的10階矩陣示意圖。
具體實(shí)施方式
[0022]
以下結(jié)合附圖及較佳實(shí)施例，對(duì)依據(jù)本發(fā)明提出的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的神經(jīng)元連接方法的具體實(shí)施方式、結(jié)構(gòu)、特征及其功效，詳細(xì)說明如后。
[0023]
實(shí)施例1
[0024]
參見圖1，本發(fā)明的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的神經(jīng)元連接方法，包括以下步驟：
[0025]
(1)從imagenet圖像數(shù)據(jù)集中獲取原始圖像數(shù)據(jù)，選取現(xiàn)有的vgg卷積神經(jīng)網(wǎng)絡(luò)模型，將模型的全連接層以及預(yù)測(cè)層去除后，得到最終網(wǎng)絡(luò)模型，將原始圖像數(shù)據(jù)直接輸入至所述最終網(wǎng)絡(luò)模型中進(jìn)行計(jì)算，經(jīng)過網(wǎng)絡(luò)中的卷積層、激活層以及池化層，通過卷積對(duì)圖像的特征進(jìn)行提取，得到由大量卷積核提取得到的特征序列；
[0026]
(2)對(duì)長(zhǎng)度為4096的特征序列進(jìn)行分區(qū)，每個(gè)區(qū)間的長(zhǎng)度為4，對(duì)每個(gè)區(qū)間按照起始位置進(jìn)行編號(hào)，按照每個(gè)區(qū)間中浮點(diǎn)元素起始位置，對(duì)每個(gè)區(qū)間中的浮點(diǎn)元素進(jìn)行位置編號(hào)，編號(hào)為0,1,2,3，按照區(qū)間中每個(gè)浮點(diǎn)元素的位置編號(hào)，出每個(gè)區(qū)間中數(shù)值最大的浮點(diǎn)元素所對(duì)應(yīng)的位置編號(hào)，將每個(gè)區(qū)間的最大數(shù)值編號(hào)重新組合為長(zhǎng)度為1024的數(shù)組，大小為：[1
×
1024]，判斷該數(shù)組長(zhǎng)度是否為奇數(shù)，若該數(shù)組長(zhǎng)度為奇數(shù)則跳過，若該數(shù)組是長(zhǎng)度是偶數(shù)，則在數(shù)組最后添加一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)中的數(shù)值為0，至此得到位置特征標(biāo)記序列αn，此步操作設(shè)為函數(shù)a(xn)，此步驟數(shù)學(xué)表達(dá)為：a(xn)＝αn，其中：αn是位置特征標(biāo)記序列，xn表示原始圖像數(shù)據(jù)經(jīng)過最終網(wǎng)絡(luò)模型得到的特征序列；
[0027]
(3)參見圖2，構(gòu)造長(zhǎng)度為奇數(shù)的10階等比數(shù)組βn，10階矩陣的長(zhǎng)度與αn的長(zhǎng)度相同，該數(shù)組中間元素的值為1，數(shù)組中元素表示為β0,β1,β2……
βn，此操作的數(shù)學(xué)表達(dá)為將步驟(2)得到的位置特征標(biāo)記序列αn與10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維特征浮點(diǎn)信息δ；
[0028]
(4)可學(xué)習(xí)整數(shù)序列中的所有元素均為整數(shù)(為整數(shù)型可學(xué)習(xí)參數(shù)，可通過網(wǎng)絡(luò)的迭代進(jìn)行更新)，整數(shù)取值范圍為0～9，且隨機(jī)取值，該序列長(zhǎng)度與步驟(3)中特征標(biāo)記奇序列長(zhǎng)度相同，該序列表示為εn，將εn與步驟(2)得到的10階等比矩陣進(jìn)行內(nèi)積，將維度降低為
一，得到高維可學(xué)習(xí)浮點(diǎn)信息γ；
[0029]
(5)將高維可學(xué)習(xí)浮點(diǎn)信息與高維特征浮點(diǎn)信息相乘得到維度為一、量級(jí)為10
x
的超高維浮點(diǎn)特征信息，用符號(hào)表示為y，該信息由特征序列聚合而來，具有原始圖像數(shù)據(jù)的超高層特征信息，且具有豐富的抽象語言信息；
[0030]
(6)對(duì)步驟(5)得到的超高維浮點(diǎn)特征信息y進(jìn)行解碼操作，得到長(zhǎng)度為為1000的解碼序列μ，解碼序列中元素表示為μ0,μ1…
μ
n-1
,μn，此步操作設(shè)為函數(shù)b(y)，此步驟數(shù)學(xué)表達(dá)為此操作的數(shù)學(xué)表達(dá)為b(y)＝μ
[0031][0032]
其中：10
x
為超高維浮點(diǎn)特征信息y的量級(jí)。
[0033]
實(shí)施例2
[0034]
參見圖1，本發(fā)明的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的神經(jīng)元連接方法，包括以下步驟：
[0035]
(1)從蘋果病蟲害圖像數(shù)據(jù)集中獲取原始圖像數(shù)據(jù)，選取現(xiàn)有的resnet卷積神經(jīng)網(wǎng)絡(luò)模型，將模型的全連接層以及預(yù)測(cè)層去除后，得到最終網(wǎng)絡(luò)模型，將原始圖像數(shù)據(jù)直接輸入至所述最終網(wǎng)絡(luò)模型中進(jìn)行計(jì)算，經(jīng)過網(wǎng)絡(luò)中的卷積層、激活層以及池化層，通過卷積對(duì)圖像的特征進(jìn)行提取，得到由大量卷積核提取得到的特征序列；
[0036]
(2)對(duì)長(zhǎng)度為2048的特征序列進(jìn)行分區(qū)，每個(gè)區(qū)間的長(zhǎng)度為4，對(duì)每個(gè)區(qū)間按照起始位置進(jìn)行編號(hào)，按照每個(gè)區(qū)間中浮點(diǎn)元素起始位置，對(duì)每個(gè)區(qū)間中的浮點(diǎn)元素進(jìn)行位置編號(hào)，編號(hào)為0,1,2,3，按照區(qū)間中每個(gè)浮點(diǎn)元素的位置編號(hào)，出每個(gè)區(qū)間中數(shù)值最大的浮點(diǎn)元素所對(duì)應(yīng)的位置編號(hào)，將每個(gè)區(qū)間的最大數(shù)值編號(hào)重新組合為長(zhǎng)度為512的數(shù)組，大小為：[1
×
512]，判斷該數(shù)組長(zhǎng)度是否為奇數(shù)，若該數(shù)組長(zhǎng)度為奇數(shù)則跳過，若該數(shù)組是長(zhǎng)度是偶數(shù)，則在數(shù)組最后添加一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)中的數(shù)值為0，至此得到位置特征標(biāo)記序列αn，此步操作設(shè)為函數(shù)a(xn)，此步驟數(shù)學(xué)表達(dá)為：a(xn)＝αn，其中：αn是位置特征標(biāo)記序列，xn表示原始圖像數(shù)據(jù)經(jīng)過最終網(wǎng)絡(luò)模型得到的特征序列；
[0037]
(3)參見圖2，構(gòu)造長(zhǎng)度為奇數(shù)的10階等比數(shù)組βn，10階矩陣的長(zhǎng)度與αn的長(zhǎng)度相同，該數(shù)組中間元素的值為1，數(shù)組中元素表示為β0,β1,β2……
βn，此操作的數(shù)學(xué)表達(dá)為將步驟(2)得到的位置特征標(biāo)記序列αn與10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維特征浮點(diǎn)信息δ；
[0038]
(4)可學(xué)習(xí)整數(shù)序列中的所有元素均為整數(shù)(為整數(shù)型可學(xué)習(xí)參數(shù)，可通過網(wǎng)絡(luò)的迭代進(jìn)行更新。)，整數(shù)取值范圍為0～9，且隨機(jī)取值，該序列長(zhǎng)度與步驟(3)中特征標(biāo)記奇序列長(zhǎng)度相同，該序列表示為εn，將εn與步驟(2)得到的10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維可學(xué)習(xí)浮點(diǎn)信息γ；
[0039]
(5)將高維可學(xué)習(xí)浮點(diǎn)信息與高維特征浮點(diǎn)信息相乘得到維度為一、量級(jí)為10
x
的超高維浮點(diǎn)特征信息，用符號(hào)表示為y，該信息由特征序列聚合而來，具有原始圖像數(shù)據(jù)的
超高層特征信息，且具有豐富的抽象語言信息；
[0040]
(6)對(duì)步驟(5)得到的超高維浮點(diǎn)特征信息y進(jìn)行解碼操作，得到長(zhǎng)度為為500的解碼序列μ，解碼序列中元素表示為μ0,μ1…
μ
n-1
,μn，此步操作設(shè)為函數(shù)b(y)，此步驟數(shù)學(xué)表達(dá)為此操作的數(shù)學(xué)表達(dá)為b(y)＝μ
[0041][0042]
其中：10
x
為超高維浮點(diǎn)特征信息y的量級(jí)。
[0043]
實(shí)施例3
[0044]
參見圖1，本發(fā)明的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的神經(jīng)元連接方法，包括以下步驟：
[0045]
(1)從水稻真菌病害圖像數(shù)據(jù)集中獲取原始圖像數(shù)據(jù)，選取現(xiàn)有的vgg16卷積神經(jīng)網(wǎng)絡(luò)模型，將模型的全連接層以及預(yù)測(cè)層去除后，得到最終網(wǎng)絡(luò)模型，將原始圖像數(shù)據(jù)直接輸入至所述最終網(wǎng)絡(luò)模型中進(jìn)行計(jì)算，經(jīng)過網(wǎng)絡(luò)中的卷積層、激活層以及池化層，通過卷積對(duì)圖像的特征進(jìn)行提取，得到由大量卷積核提取得到的特征序列；
[0046]
(2)對(duì)長(zhǎng)度為4096的特征序列進(jìn)行分區(qū)，每個(gè)區(qū)間的長(zhǎng)度為4，對(duì)每個(gè)區(qū)間按照起始位置進(jìn)行編號(hào)，按照每個(gè)區(qū)間中浮點(diǎn)元素起始位置，對(duì)每個(gè)區(qū)間中的浮點(diǎn)元素進(jìn)行位置編號(hào)，編號(hào)為0,1,2,3，按照區(qū)間中每個(gè)浮點(diǎn)元素的位置編號(hào)，出每個(gè)區(qū)間中數(shù)值最大的浮點(diǎn)元素所對(duì)應(yīng)的位置編號(hào)，將每個(gè)區(qū)間的最大數(shù)值編號(hào)重新組合為長(zhǎng)度為1024的數(shù)組，大小為：[1
×
1024]，判斷該數(shù)組長(zhǎng)度是否為奇數(shù)，若該數(shù)組長(zhǎng)度為奇數(shù)則跳過，若該數(shù)組是長(zhǎng)度是偶數(shù)，則在數(shù)組最后添加一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)中的數(shù)值為0，至此得到位置特征標(biāo)記序列αn，此步操作設(shè)為函數(shù)a(xn)，此步驟數(shù)學(xué)表達(dá)為：a(xn)＝αn，其中：αn是位置特征標(biāo)記序列，xn表示原始圖像數(shù)據(jù)經(jīng)過最終網(wǎng)絡(luò)模型得到的特征序列；
[0047]
(3)參見圖2，構(gòu)造長(zhǎng)度為奇數(shù)的10階等比數(shù)組βn，10階矩陣的長(zhǎng)度與αn的長(zhǎng)度相同，該數(shù)組中間元素的值為1，數(shù)組中元素表示為β0,β1,β2……
βn，此操作的數(shù)學(xué)表達(dá)為將步驟(2)得到的位置特征標(biāo)記序列αn與10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維特征浮點(diǎn)信息δ；
[0048]
(4)可學(xué)習(xí)整數(shù)序列中的所有元素均為整數(shù)(為整數(shù)型可學(xué)習(xí)參數(shù)，可通過網(wǎng)絡(luò)的迭代進(jìn)行更新。)，整數(shù)取值范圍為0～9，且隨機(jī)取值，該序列長(zhǎng)度與步驟(3)中特征標(biāo)記奇序列長(zhǎng)度相同，該序列表示為εn，將εn與步驟(2)得到的10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維可學(xué)習(xí)浮點(diǎn)信息γ；
[0049]
(5)將高維可學(xué)習(xí)浮點(diǎn)信息與高維特征浮點(diǎn)信息相乘得到維度為一、量級(jí)為10
x
的超高維浮點(diǎn)特征信息，用符號(hào)表示為y，該信息由特征序列聚合而來，具有原始圖像數(shù)據(jù)的超高層特征信息，且具有豐富的抽象語言信息；
[0050]
(6)對(duì)步驟(5)得到的超高維浮點(diǎn)特征信息y進(jìn)行解碼操作，得到長(zhǎng)度為為1000的解碼序列μ，解碼序列中元素表示為μ0,μ1…
μ
n-1
,μn，此步操作設(shè)為函數(shù)b(y)，此步驟數(shù)學(xué)表達(dá)為此操作的數(shù)學(xué)表達(dá)為b(y)＝μ
[0051][0052]
其中：10
x
為超高維浮點(diǎn)特征信息y的量級(jí)。
[0053]
以上所述，僅是本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制，任何未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
技術(shù)特征：
1.一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，包括以下步驟：(1)從圖像數(shù)據(jù)集中獲取原始圖像數(shù)據(jù)，選取現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型，將模型的全連接層以及預(yù)測(cè)層去除后，得到最終網(wǎng)絡(luò)模型，將原始圖像數(shù)據(jù)直接輸入至所述最終網(wǎng)絡(luò)模型中進(jìn)行計(jì)算，經(jīng)過網(wǎng)絡(luò)中的卷積層、激活層以及池化層，通過卷積對(duì)圖像的特征進(jìn)行提取，得到由大量卷積核提取得到的特征序列；(2)對(duì)長(zhǎng)度為length的特征序列進(jìn)行分區(qū)，每個(gè)區(qū)間的長(zhǎng)度為4，對(duì)每個(gè)區(qū)間按照起始位置進(jìn)行編號(hào)，按照每個(gè)區(qū)間中浮點(diǎn)元素起始位置，對(duì)每個(gè)區(qū)間中的浮點(diǎn)元素進(jìn)行位置編號(hào)，編號(hào)為0,1,2,3，按照區(qū)間中每個(gè)浮點(diǎn)元素的位置編號(hào)，出每個(gè)區(qū)間中數(shù)值最大的浮點(diǎn)元素所對(duì)應(yīng)的位置編號(hào)，將每個(gè)區(qū)間的最大數(shù)值編號(hào)重新組合為長(zhǎng)度為length/4的數(shù)組，大小為：[1
×
length/4]，判斷該數(shù)組長(zhǎng)度是否為奇數(shù)，若該數(shù)組長(zhǎng)度為奇數(shù)則跳過，若該數(shù)組長(zhǎng)度是偶數(shù)，則在數(shù)組最后添加一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)中的數(shù)值為0，至此得到位置特征標(biāo)記序列α
n
，此步操作設(shè)為函數(shù)a(x
n
)，此步驟數(shù)學(xué)表達(dá)為：a(x
n
)＝α
n
，其中：α
n
是位置特征標(biāo)記序列，x
n
表示原始圖像數(shù)據(jù)經(jīng)過最終網(wǎng)絡(luò)模型得到的特征序列；(3)構(gòu)造長(zhǎng)度為奇數(shù)的10階等比數(shù)組β
n
，10階矩陣的長(zhǎng)度與α
n
的長(zhǎng)度相同，該數(shù)組中間元素的值為1，數(shù)組中元素表示為此操作的數(shù)學(xué)表達(dá)為將步驟(2)得到的位置特征標(biāo)記序列α
n
與10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維特征浮點(diǎn)信息δ；(4)可學(xué)習(xí)整數(shù)序列中的所有元素均為整數(shù)，整數(shù)取值范圍為0～9，且隨機(jī)取值，該序列長(zhǎng)度與步驟(2)中特征標(biāo)記奇序列長(zhǎng)度相同，該序列表示為ε
n
，將ε
n
與步驟(3)得到的10階等比矩陣進(jìn)行內(nèi)積，將維度降低為一，得到高維可學(xué)習(xí)浮點(diǎn)信息γ；(5)將高維可學(xué)習(xí)浮點(diǎn)信息與高維特征浮點(diǎn)信息相乘得到維度為一、量級(jí)為10
x
的超高維浮點(diǎn)特征信息，用符號(hào)表示為y，該信息由特征序列聚合而來，具有原始圖像數(shù)據(jù)的超高層特征信息，且具有豐富的抽象語言信息；(6)對(duì)步驟(5)得到的超高維浮點(diǎn)特征信息y進(jìn)行解碼操作，得到長(zhǎng)度為為n的解碼序列μ，解碼序列中元素表示為μ0,μ1…
μ
n-1
,μ
n
，此步操作設(shè)為函數(shù)b(y)，此步驟數(shù)學(xué)表達(dá)為此操作的數(shù)學(xué)表達(dá)為b(y)＝μ其中：10
x
為超高維浮點(diǎn)特征信息y的量級(jí)。2.如權(quán)利要求1所述的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，其中：步驟(1)所述現(xiàn)有模型為分類網(wǎng)絡(luò)模型。3.如權(quán)利要求1所述的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，其中：步驟(1)中的圖像數(shù)據(jù)集為現(xiàn)有數(shù)據(jù)集或基于待提取圖像數(shù)據(jù)集。4.如權(quán)利要求3所述的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，其中：所述的現(xiàn)有數(shù)據(jù)集為imagenet圖像數(shù)據(jù)集。5.如權(quán)利要求1所述的一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，其中：步驟
(4)中所述的可學(xué)習(xí)整數(shù)序列中的整數(shù)為整數(shù)型可學(xué)習(xí)參數(shù)，可通過網(wǎng)絡(luò)的迭代進(jìn)行更新。
技術(shù)總結(jié)
本發(fā)明公開了一種基于離散序列浮點(diǎn)轉(zhuǎn)換的新型神經(jīng)元連接方法，包括通過對(duì)卷積對(duì)圖像的特征進(jìn)行提取，得到由大量卷積核提取得到的特征序列，對(duì)特征序列進(jìn)行位置標(biāo)記并分區(qū)，構(gòu)造10階等比數(shù)組與可學(xué)習(xí)整數(shù)序列，利用聚合的思路，對(duì)離散序列進(jìn)行浮點(diǎn)轉(zhuǎn)換，將特征序列的數(shù)據(jù)維度縮減為一。本發(fā)明能有效減少全連接層的參數(shù)，適應(yīng)模型輕量化要求。適應(yīng)模型輕量化要求。適應(yīng)模型輕量化要求。
