dnscrypt(dnscrypt error)

一、引言

惡意軟件如今已經(jīng)發(fā)展為威脅網(wǎng)絡(luò)安全的頭號(hào)公敵，為了逃避安全設(shè)施的檢測(cè)，其制作過(guò)程也越來(lái)越復(fù)雜，其中一個(gè)典型做法是在軟件中集成DGA（Domain Generation Algorithm）算法，產(chǎn)生速變域名，該方式作為備用或者主要的與C2服務(wù)器通信的手段，可以構(gòu)造更加魯棒的僵尸網(wǎng)絡(luò)，做到對(duì)感染肉雞的持續(xù)性控制。對(duì)應(yīng)地，針對(duì)DGA算法的研究現(xiàn)在也是安全圈討論的熱點(diǎn)話題，學(xué)術(shù)界和工業(yè)界也有大量DGA域名檢測(cè)的工作，但是在實(shí)際使用中存在誤報(bào)過(guò)多的現(xiàn)象。由于傳統(tǒng)DNS使用明文進(jìn)行數(shù)據(jù)傳輸，造成嚴(yán)重的用戶隱私泄露問(wèn)題，DoT（DNS-over-TLS）、DoH（DNS-over-http）協(xié)議陸續(xù)通過(guò)RFC標(biāo)準(zhǔn)，用于保護(hù)用戶隱私，但另一方面，加密DNS的使用將給DGA域名的檢測(cè)帶來(lái)新的挑戰(zhàn)。

本文首先對(duì)DGA域名的背景做簡(jiǎn)單介紹，然后對(duì)各種DGA域名檢測(cè)方法做梳理和匯總，并選擇其中一種方法用于實(shí)際產(chǎn)品測(cè)試，對(duì)結(jié)果進(jìn)行深入分析并給出相應(yīng)建議，接著簡(jiǎn)單介紹加密DNS給DGA檢測(cè)帶來(lái)的挑戰(zhàn)和檢測(cè)加密DGA流量方法，最后總結(jié)DGA域名檢測(cè)目前工作的不足和待解決的問(wèn)題。

近年來(lái)，惡意軟件的數(shù)量和復(fù)雜度持續(xù)增長(zhǎng)，催生了大量黑色產(chǎn)業(yè)鏈和網(wǎng)絡(luò)犯罪行為，據(jù)統(tǒng)計(jì)，網(wǎng)絡(luò)空間犯罪的資本市場(chǎng)到2018年止已經(jīng)高達(dá)1500億美元[1]，為了維持持續(xù)的經(jīng)濟(jì)效益或其他目的，攻擊者對(duì)肉雞的管理是僵尸網(wǎng)絡(luò)控制的重要問(wèn)題，對(duì)肉雞的進(jìn)行有效管理，不僅有利于各種攻擊類型的發(fā)起，更可以延長(zhǎng)攻擊被發(fā)現(xiàn)時(shí)間，并且實(shí)現(xiàn)攻擊者真實(shí)身份的隱藏。現(xiàn)代惡意軟件一般通過(guò)使用DGA算法與C2服務(wù)器建立通信，從而達(dá)到上述目的。

惡意軟件利用DGA算法與C2服務(wù)器進(jìn)行通信的原理如圖1[2]所示，客戶端通過(guò)DGA算法生成大量備選域名，并且進(jìn)行查詢，攻擊者與惡意軟件運(yùn)行同一套DGA算法，生成相同的備選域名列表，當(dāng)需要發(fā)動(dòng)攻擊的時(shí)候，選擇其中少量進(jìn)行注冊(cè)，便可以建立通信，并且可以對(duì)注冊(cè)的域名應(yīng)用速變IP技術(shù)，快速變換IP，從而域名和IP都可以進(jìn)行快速變化。

很顯然，在這種方式下，傳統(tǒng)基于黑名單的防護(hù)手段無(wú)法起作用，一方面，黑名單的更新速度遠(yuǎn)遠(yuǎn)趕不上DGA域名的生成速度，另一方面，防御者必須阻斷所有的DGA域名才能阻斷C2通信，因此，DGA域名的使用使得攻擊容易，防守困難[3]。

圖1 DGA域名工作原理

DGA算法由兩部分構(gòu)成，種子（算法輸入）和算法，可以根據(jù)種子和算法對(duì)DGA域名進(jìn)行分類，DGA域名可以表示為AGD（Algorithmically-Generated Domains）。

2.1 按照種子進(jìn)行分類

種子是攻擊者和客戶端惡意軟件共享的一個(gè)DGA算法的輸入?yún)?shù)之一，不同的種子得出的DGA域名是不一樣的。一般來(lái)說(shuō)，種子可按如下方式進(jìn)行分類：

1.基于時(shí)間的種子（Time dependence）。DGA算法將會(huì)使用時(shí)間信息作為輸入，如：感染主機(jī)的系統(tǒng)時(shí)間，http響應(yīng)的時(shí)間等。

2.是否具有確定性（Determinism）。主流的DGA算法的輸入是確定的，因此AGD可以被提前計(jì)算，但是也有一些DGA算法的輸入是不確定的，如：Bedep[4]以歐洲中央銀行每天發(fā)布的外匯參考匯率作為種子，Torpig[5]用twitter的關(guān)鍵詞作為種子，只有在確定時(shí)間窗口內(nèi)注冊(cè)域名才能生效。

根據(jù)種子的分類方法，DGA域名可以分為以下4類：

1.TID（time-independent and deterministic），與時(shí)間不相關(guān)，可確定；

2.TDD（time-dependent and deterministic），與時(shí)間相關(guān)，可確定；

3.TDN（time-dependent and non-deterministic），與時(shí)間相關(guān)，不可確定；

4.TIN（time-independent and non-deterministic），與時(shí)間不相關(guān)，不可確定；

2.2 按照生成算法進(jìn)行分類

現(xiàn)有DGA生成算法一般可以分為如下4類：

1.基于算術(shù)。該類型算法會(huì)生成一組可用ASCII編碼表示的值，從而構(gòu)成DGA域名，流行度最高。

2.基于哈希。用哈希值的16進(jìn)制表示產(chǎn)生DGA域名，被使用的哈希算法常有：MD5，SHA256。

3.基于詞典。該方式會(huì)從專有詞典中挑選單詞進(jìn)行組合，減少域名字符上的隨機(jī)性，迷惑性更強(qiáng)，字典內(nèi)嵌在惡意程序中或者從公有服務(wù)中提取。

4.基于排列組合。對(duì)一個(gè)初始域名進(jìn)行字符上的排列組合。

根據(jù)種子和生成算法的不同，DGA域名可以選擇不同種子類型和算法類型的組合方式，因此最終DGA域名的生成形式多樣性高。

Plohmann Daniel等人[3]對(duì)43個(gè)惡意軟件家族做逆向分析，實(shí)現(xiàn)了DGA算法并對(duì)超過(guò)1億個(gè)DGA域名做分析，結(jié)合WHOIS信息，統(tǒng)計(jì)出了不同DGA家族域名存活時(shí)間的分布。每個(gè)DGA家族的域名存活詳細(xì)信息不在此列出，感興趣的讀者可以直接閱讀原文。

總結(jié)來(lái)說(shuō)DGA域名的存活時(shí)間一般較短，大部分域名的存活時(shí)間為1-7天，因此DGA域名這種存活時(shí)間短的特性對(duì)防守方的檢測(cè)實(shí)時(shí)性提出了更高的要求，防守方需要在盡量短的時(shí)間內(nèi)對(duì)檢測(cè)出DGA域名，并作出相應(yīng)的處置措施，才能有效降低風(fēng)險(xiǎn)。

DGA域名自曝光以來(lái)，其檢測(cè)工作就在持續(xù)進(jìn)行，在不同場(chǎng)景、不同時(shí)期，檢測(cè)方法也呈現(xiàn)出一定區(qū)別，本節(jié)梳理相關(guān)工作并在實(shí)際產(chǎn)品中進(jìn)行測(cè)試，給出算法在實(shí)際場(chǎng)景中遇到的問(wèn)題和優(yōu)化建議。

按照檢測(cè)方法的不同，DGA域名檢測(cè)大致可以分為以下兩種：基于文本分析、基于行為分析。

基于文本分析的代表工作有[9][10][11]，[9]通過(guò)分析DGA域名與正常域名之間字符分布的差異，對(duì)IP產(chǎn)生的域名進(jìn)行批量分類，[10]通過(guò)LSTM算法分析DGA域名與正常域名之間的差異，可以判定每個(gè)域名是否為DGA域名, 由于DGA域名的請(qǐng)求過(guò)程中會(huì)產(chǎn)生大量NXDomain，[11]對(duì)NXDomain進(jìn)行分類，有效識(shí)別DGA域名。

基于行為分析的代表工作有[12][13]，[12]對(duì)同一主機(jī)產(chǎn)生的NXDomain進(jìn)行聚類和分類，可以發(fā)現(xiàn)感染主機(jī)，進(jìn)一步發(fā)現(xiàn)C2域名，[13]將檢測(cè)問(wèn)題轉(zhuǎn)為圖的推理問(wèn)題，從代理日志構(gòu)造主機(jī)與域名之間的關(guān)系圖，用一些真實(shí)信息作為種子作為圖的輸入，然后使用信念傳播算法估計(jì)域名為惡意的邊緣概率。

該部分分為兩部分，離線模型訓(xùn)練和線上產(chǎn)品檢測(cè)。我們利用深度學(xué)習(xí)技術(shù)，自動(dòng)化提取特征，對(duì)NXDomain進(jìn)行分類，找出其中的DGA域名[15]。

2.1 模型訓(xùn)練

數(shù)據(jù)集：我們從DGArchive[14]收集DGA域名，其中包含約4570萬(wàn)個(gè)DGA域名，包含62個(gè)DGA家族，另外收集收集了大量良性NXDomain，包含1530萬(wàn)個(gè)域名，以這些數(shù)據(jù)為原始輸入，進(jìn)行有監(jiān)督學(xué)習(xí)。

預(yù)處理：首先我們剔除良性NXDomain數(shù)據(jù)集中的少量噪聲和DGArchive中的噪聲，構(gòu)造更加純凈的數(shù)據(jù)集，然后對(duì)數(shù)據(jù)集中包含的字符進(jìn)行one-hot編碼，作為神經(jīng)網(wǎng)絡(luò)模型的輸入。

數(shù)據(jù)采樣：由于各個(gè)類別的數(shù)據(jù)量不一致，為了使分類結(jié)果不產(chǎn)生偏差，我們確定一個(gè)閾值，對(duì)高于該閾值的類別進(jìn)行下采樣，最終保證每個(gè)類別的域名數(shù)量一致。

模型選擇：選擇CNN、LSTM、BiLSTM三種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試，神經(jīng)網(wǎng)絡(luò)最后一層分別選擇：sigmod和sofmax兩種函數(shù)，實(shí)現(xiàn)二分類和多分類，并且進(jìn)行模型調(diào)參。

交叉驗(yàn)證：對(duì)數(shù)據(jù)集進(jìn)行5折交叉驗(yàn)證。

實(shí)驗(yàn)結(jié)果。圖2為3種神經(jīng)網(wǎng)絡(luò)模型的多分類統(tǒng)計(jì)結(jié)果，由于包含的DGA家族數(shù)量較多，多分類的實(shí)驗(yàn)效果總體表現(xiàn)不佳。我們查看每種DGA家族的分類情況，如圖3所示，我們隨機(jī)選擇33種DGA家族和良性域名進(jìn)行展示（34類），可以發(fā)現(xiàn)很多DGA家族幾乎可以做到100%的分類準(zhǔn)確率，尤其是基于字典的DGA家族，如：suppobox,banjori,volatile等。

圖2 不同神經(jīng)網(wǎng)絡(luò)模型的多分類統(tǒng)計(jì)結(jié)果

圖3 CNN多分類（34分類）的混淆矩陣

我們將多分類中所有DGA家族的類別合成一種類別，比較二分類與FANCI[11]的實(shí)驗(yàn)結(jié)果，如圖4所示，實(shí)驗(yàn)結(jié)果表明，我們?cè)诙诸惿暇哂泻芨叩臏?zhǔn)確率，并且優(yōu)于現(xiàn)有的基于NXDomain檢測(cè)DGA域名的方案。

圖4 二分類結(jié)果

2.2 產(chǎn)品測(cè)試

在離線模型中，我們發(fā)現(xiàn)各種深度學(xué)習(xí)算法的表現(xiàn)相差不大，挑選速度最快的CNN模型用于產(chǎn)品的日志檢測(cè)，檢測(cè)過(guò)程如下。

選取2019年產(chǎn)品DNS日志，挑選出其中的NXDomain進(jìn)行檢測(cè)，共計(jì)669萬(wàn)域名。經(jīng)過(guò)如下過(guò)濾手段：

本地白名單。我們構(gòu)建了本地白名單列表，二級(jí)域名如果能匹配上該列表則過(guò)濾該域名，過(guò)濾后剩余545萬(wàn)域名。

頂級(jí)域名合法。數(shù)據(jù)中存在大量頂級(jí)域名不存在的DNS請(qǐng)求，這些域名不是DGA域名，過(guò)濾后剩余463萬(wàn)域名。

Alexa_top_10000。Alexa top 10000的域名一般認(rèn)為都是對(duì)大型企業(yè)的訪問(wèn)，理論上不存在DGA域名，過(guò)濾后剩余444萬(wàn)域名。

將剩余的444萬(wàn)個(gè)域名通過(guò)保存的CNN模型進(jìn)行檢測(cè)，檢測(cè)結(jié)果顯示有42萬(wàn)DGA域名。

2.3 結(jié)果驗(yàn)證

2.3.1確定誤報(bào)

對(duì)檢測(cè)出的高可疑的DGA域名進(jìn)行分析，制定如下將誤報(bào)的策略：

1.去除二級(jí)域名為”afftb288.com”的域名，檢測(cè)結(jié)果中有38萬(wàn)主域名為“afftb288.com”，如“41959214.afftb288.com”、“34308479.afftb288.com”，雖然該域名屬于賭博網(wǎng)站，但經(jīng)判定該域名不符合DGA域名特征，過(guò)濾。

2.去除主域名長(zhǎng)度小于等于5的域名，由于DGA域名要避免與正常域名碰撞，被惡意軟件使用的DGA域名長(zhǎng)度一般也大于5，因此刪除此類域名，如“baidu.com”中，主域名“baidu”長(zhǎng)度 <=5,需要進(jìn)行過(guò)濾。

3.刪除正規(guī)機(jī)構(gòu)域名，檢測(cè)結(jié)果中有少量正規(guī)機(jī)構(gòu)的域名，如”ztmbec.com”，“speedy.com.ar”等。

經(jīng)過(guò)上述過(guò)濾手段，待確認(rèn)域名剩余2.7w

2.3.2確定DGA域名

根據(jù)公開(kāi)的威脅情報(bào)，我們發(fā)現(xiàn)兩類DGA域名，

第一類包含2572DGA域名，其中主域名有206個(gè)，如：

lhsjtcl.com

dfwpmpm.me

lzxemfc.com

tmhufuf.com

zccaotl.com

orahcre.org

eoerkfc.com

pycbumk.com

第二類為挖礦木馬C2，如：zeruuoooshfrohlo.su，大約110個(gè)，

2.3.3持續(xù)監(jiān)測(cè)

對(duì)于剩余2萬(wàn)多高可疑DGA域名，我們給出DGA域名的置信度評(píng)分和可能的惡意軟件家族信息，并進(jìn)行持續(xù)監(jiān)控、與惡意樣本關(guān)聯(lián)分析等后續(xù)操作。

DGA域名從最開(kāi)始的偽隨機(jī)字符串開(kāi)始進(jìn)入人們的視野，由于該方式產(chǎn)生域名的字符分布與正常域名的分布有明顯區(qū)別，易被檢測(cè)，攻擊者轉(zhuǎn)而使用基于字典的DGA域名算法，從字符分布上盡量擬合正常域名，極大地降低了字符的隨機(jī)性。近年來(lái)，隨著DNSCrypt、DoT、DoH等DNS加密協(xié)議的制定和部署，越來(lái)越多的惡意軟件使用加密流量逃脫監(jiān)控，并且有研究表明已經(jīng)發(fā)現(xiàn)使用DoH的惡意軟件[6]。

隨著加密DNS的進(jìn)一步部署，預(yù)計(jì)將來(lái)有更多DGA域名通過(guò)加密DNS協(xié)議進(jìn)行傳輸，針對(duì)使用DGA域名botnet的檢測(cè)將會(huì)更加困難，文章[7]利用pydig工具對(duì)DGA域名和正常域名發(fā)送請(qǐng)求，產(chǎn)生加密流量，做了進(jìn)一步分析，去除TLS握手等階段的無(wú)效信息，文章對(duì)數(shù)據(jù)包大小進(jìn)行分析，發(fā)現(xiàn)DGA域名與Alexa域名的的加密數(shù)據(jù)包大小分布存在明顯差異，圖5[7]表明，數(shù)據(jù)包大小可以在加密DNS流量中可以作為區(qū)分DGA域名的重要依據(jù)。

圖5 DGA域名與Alexa域名通過(guò)DoT協(xié)議傳輸?shù)臄?shù)據(jù)包大小分布

雖然文章沒(méi)有對(duì)加密協(xié)議、是否使用Padding技術(shù)、如何識(shí)別DoH流量等因素做深入討論，但這些因素對(duì)于數(shù)據(jù)包大小的影響很大，對(duì)檢測(cè)結(jié)果的影響有待進(jìn)一步研究。

DGA域名從2009年被曝光以來(lái)[5]，至今發(fā)展了整整10年，雖然有大量文獻(xiàn)研究DGA域名的性質(zhì)、檢測(cè)、防御、追蹤等一系列話題，也有大量機(jī)構(gòu)參與DGA域名的阻斷、sinkhole工作，但是DGA域名迄今為止仍然作為一種主流與C2服務(wù)器通信的手段被廣泛采用，由于筆者能力限制，無(wú)法給出產(chǎn)生這種現(xiàn)象的原因，到底是學(xué)術(shù)論文中的方法在實(shí)際使用中有效性弱，還是工業(yè)界的部署、處置方式不當(dāng)，需要進(jìn)一步進(jìn)行探索，總之我們對(duì)DGA域名的研究治理工作仍然任重而道遠(yuǎn)。