站長工具平臺“搜一搜”的設(shè)計(jì)與實(shí)現(xiàn)——基于Python+PHP+Elasticarch語

2024年2月5日發(fā)(作者：同仁是什么意思)

２０２０年１１月２５日第４卷第２２期DOI:10.19850/.2096-4706.2020.22.006現(xiàn)代信息科技Modern Information Technology

Nov.2020

Vol.4

No.22站長工具平臺“搜一搜”的設(shè)計(jì)與實(shí)現(xiàn)——基于Python+PHP+Elasticarch語言邱慧玲，王鷹漢（上饒職業(yè)技術(shù)學(xué)院，江西 上饒 334109）摘 要：個(gè)人站長是目前大學(xué)生創(chuàng)業(yè)的主流方法，使用站長工具是網(wǎng)站運(yùn)營的必備技能。文章著重探討了站長工具平臺——“搜一搜”的建設(shè)，在分析市面上已有站長工具缺點(diǎn)的基礎(chǔ)上，對“搜一搜”平臺進(jìn)行了具體的系統(tǒng)分析，最終設(shè)計(jì)并建立了一個(gè)更加適合高校學(xué)生使用的新平臺，旨在為新站長們節(jié)約學(xué)習(xí)成本，提供清晰的運(yùn)營流程，明確適合個(gè)人網(wǎng)站的優(yōu)化方向，助力大學(xué)生創(chuàng)業(yè)。關(guān)鍵詞：站長工具；Elasticarch；關(guān)鍵詞；PHP中圖分類號：TP393.092；TP391.3 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）22-023-04Ｄｅｓｉｇｎ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　Ｗｅｂｍａｓｔｅｒ　Ｔｏｏｌ　Ｐｌａｔｆｏｒｍ　“Ｓｏｕｙｉｓｏｕ”——Ｂａｓｅｄ　ｏｎ　Ｐｙｔｈｏｎ　＋　ＰＨＰ　＋　Ｅｌａｓｔｉｃｓｅａｒｃｈ　ＬａｎｇｕａｇｅQIU Huiling，WANG Yinghan（Shangrao Vocational & Technical College，Shangrao 334109，China）a necessary skill for website operation. This paper focus on the construction of the webmaster tool platform——“souyisou”，bad on

Abstract：Personal webmaster is the mainstream method for college students to start a business，and the u of webmaster tool is

the analysis of the shortcomings of the existing webmaster tools in the market，a specific systematic analysis of the “souyisou” platform

is carried out，a new platform which is more suitable for college students is designed and established，which aims to save learning costs

for new webmasters，provide a clear operation process，clarify the optimization direction for personal websites，and help college students

start their own ds：webmaster tool；Elasticarch；keyword；PHP0 引 言“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”的新時(shí)代開啟以來，高校紛紛建立創(chuàng)業(yè)學(xué)院，為學(xué)生創(chuàng)新創(chuàng)業(yè)提供資金、場地、學(xué)業(yè)等多方位支持及優(yōu)惠政策，極大激發(fā)了高校學(xué)生的創(chuàng)業(yè)積極性，并取得了一些成績。隨著互聯(lián)網(wǎng)時(shí)代的到來，網(wǎng)絡(luò)創(chuàng)業(yè)以其前期投入成本低，回報(bào)周期快等特點(diǎn)，備受大學(xué)生青睞。許多大學(xué)生在國家政策的支持下，涌入互聯(lián)網(wǎng)行業(yè)，成了個(gè)人站長。但是大部分學(xué)生對于如何提升初創(chuàng)網(wǎng)站的百度搜錄數(shù)量以及如何提升網(wǎng)站的搜索引擎排名是陌生的。而目前有效解決這一問題的方法是運(yùn)用站長工具。站長工具是幫助站長運(yùn)營網(wǎng)站的一類綜合性的工具的統(tǒng)稱，一般具有排名搜索，網(wǎng)站收錄查詢等功能。本院學(xué)生在使用過程中發(fā)現(xiàn)市面上成熟的站長工具系統(tǒng)存在著界面臃腫，流程冗余，對于新站長不友好，學(xué)習(xí)成本太高，并且商業(yè)廣告過多等缺點(diǎn)。為了支持學(xué)生創(chuàng)業(yè)，作者設(shè)計(jì)并開發(fā)了一個(gè)“傻瓜式”站長工具，取名為“搜一搜”，該系統(tǒng)在具備常用的功能外，增加了特色的個(gè)人網(wǎng)站監(jiān)控功能，實(shí)時(shí)引導(dǎo)學(xué)生如何對網(wǎng)站進(jìn)行優(yōu)化。1 系統(tǒng)分析對于個(gè)人網(wǎng)站的站長來說，網(wǎng)站推廣是網(wǎng)站運(yùn)營過程中最重要的問題。而免費(fèi)的SEO優(yōu)化就是網(wǎng)站流量的最大來源，如何高效并正確的對網(wǎng)站進(jìn)行搜索引擎優(yōu)化[1]是站長日常工作中面臨的首要困難。而因?yàn)閮?yōu)化方向錯(cuò)誤導(dǎo)致網(wǎng)站排名仍然不理想，也是困擾站長的巨大難題。本系統(tǒng)旨在幫助站長正確的選擇適合自己優(yōu)化的方向，提升站長日常工作的效率。結(jié)合對站長們需求的調(diào)研，將該平臺設(shè)計(jì)為下文所述的6個(gè)功能模塊，如圖1所示。“搜一搜”平臺收稿日期：2020-10-15基金項(xiàng)目：江西省教育廳科學(xué)技術(shù)研究項(xiàng)目（GJJ207803）；江西省高等學(xué)校教學(xué)改革研究課題（JXJG-19-77-2）綜合排名查詢關(guān)鍵詞查詢關(guān)鍵詞挖掘詞頻查詢網(wǎng)站監(jiān)控備案查詢圖1

“搜一搜”平臺功能模塊圖2020.1123

第22期現(xiàn)代信息科技使用作者設(shè)計(jì)的“搜一搜”平臺后，站長們不但能通過查詢本站指定關(guān)鍵詞在各搜索引擎的排名情況，還能查詢網(wǎng)站總共被收錄的所有關(guān)鍵詞，同時(shí)，也可以挖掘具有優(yōu)化潛力的關(guān)鍵詞，查詢并統(tǒng)計(jì)某個(gè)關(guān)鍵詞在網(wǎng)站中使用的頻率，查詢網(wǎng)站的備案情況等。最后通過注冊登錄添加自己的網(wǎng)站并經(jīng)過驗(yàn)證后，可以監(jiān)控自己的網(wǎng)站各關(guān)鍵詞的排名情況并生成報(bào)表。系統(tǒng)功能需求有以下幾個(gè)方面：（1）綜合排名查詢：綜合排名查詢提供站長單個(gè)或批量查詢網(wǎng)站指定關(guān)鍵詞在百度、搜狗、360搜索等搜索引擎中的排名數(shù)據(jù)。（2）關(guān)鍵詞查詢：關(guān)鍵詞搜索工具可查詢指定關(guān)鍵詞以及相似關(guān)鍵詞在搜索引擎中的搜索量，提供周平均搜索量，日平均搜索量等數(shù)據(jù)，讓站長們能夠更好地了解用戶的搜索習(xí)慣。（3）關(guān)鍵詞挖掘：關(guān)鍵詞挖掘工具通過工具挖掘功能，可以挖掘精準(zhǔn)的關(guān)鍵詞，為企業(yè)網(wǎng)站優(yōu)化提供參考，比如短關(guān)鍵詞，以及精準(zhǔn)度高的關(guān)鍵詞。（4）詞頻查詢：通過網(wǎng)站的地址，以及關(guān)鍵詞計(jì)算該網(wǎng)站關(guān)鍵詞在內(nèi)容中所占的權(quán)重，可分別計(jì)算主頁、內(nèi)頁。對于搜索引擎優(yōu)化來說這是一個(gè)非常重要的參數(shù)，在網(wǎng)頁中適當(dāng)增加關(guān)鍵詞的詞頻可提高在搜索引擎中的權(quán)重。（5）網(wǎng)站監(jiān)控：通過添加網(wǎng)站，可實(shí)時(shí)監(jiān)控網(wǎng)站被搜索引擎收錄的頁面數(shù)量以及相應(yīng)關(guān)鍵詞在搜索引擎中的排名變化，讓站長們對自己網(wǎng)站的優(yōu)化效果有一個(gè)直觀清晰的認(rèn)識。（6）備案查詢：查詢網(wǎng)站的ICP備案信息、個(gè)人備案信息、企業(yè)備案信息，可支持批量查詢[2]。PHP結(jié)合MySQL作為網(wǎng)站客戶端供客戶使用。L存儲數(shù)據(jù)抓取數(shù)據(jù)入庫Web讀取數(shù)據(jù)展示用戶使用PHP讀取并處理數(shù)據(jù)Elasticarch圖2 系統(tǒng)設(shè)計(jì)圖2.1 搜索引擎數(shù)據(jù)的抓取搜索引擎數(shù)據(jù)抓取是通過使用Python的Requests庫，模擬請求。Selenium庫模擬操作來抓取搜索引擎海量的數(shù)據(jù)。最后經(jīng)過初步的處理，以文檔的形式存入Elasticarch。2.2 Elasticarch部署本系統(tǒng)需要處理的大數(shù)據(jù)使用普通的數(shù)據(jù)庫是無法及時(shí)有效處理。為此，采用目前熱門的Elasticarch分布式全文搜索引擎技術(shù)[4]。該引擎支持海量的、PB級的大數(shù)據(jù)搜索，在面對海量數(shù)據(jù)的時(shí)候，搜索速度極快。我們下載并安裝Elasticarch，并進(jìn)行初始化配置，啟動Elasticarch后，新建文檔用以存儲數(shù)據(jù)。2.3 PHP Web網(wǎng)站的構(gòu)建本系統(tǒng)使用PHP7+ThinkPHP+MySQL作為網(wǎng)站的主體架構(gòu)。前端使用HTML+CSS3+jQuery+Layui框架的架構(gòu)做響應(yīng)式開發(fā)。2.4 網(wǎng)站界面的設(shè)計(jì)2.4.1 網(wǎng)站首頁網(wǎng)站首頁是網(wǎng)頁要表達(dá)的中心思想，是訪問者的最初印象。一個(gè)好的首頁能夠極大程度的提升網(wǎng)站訪問的留存率，并吸引他對網(wǎng)站的功能進(jìn)行更深入的了解。結(jié)合現(xiàn)在以移動端為主的瀏覽趨勢。“搜一搜”平臺運(yùn)用響應(yīng)式的前端開發(fā)技術(shù)，設(shè)計(jì)出簡潔明朗的首頁及內(nèi)頁風(fēng)格，同時(shí)還做到內(nèi)容翔實(shí)，功能齊全的優(yōu)點(diǎn)。幫助訪問者在非常短的時(shí)間里獲取自己想要的信息。首頁設(shè)計(jì)如圖3所示。2 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)本系統(tǒng)采用Pycharm、NetBeans作為開發(fā)工具，利用Python以及PHP作為開發(fā)語言，MySQL以及Elasticarch作為數(shù)據(jù)存儲工具。系統(tǒng)的設(shè)計(jì)如圖2所示。首先使用Python程序作為爬蟲，24小時(shí)不間斷的爬取大量搜索引擎數(shù)據(jù)以及生成相應(yīng)網(wǎng)站日志，接著將Elasticarch作為分布式全文搜索引擎，以文檔的形式存儲海量數(shù)據(jù)[3]。在使用圖3

“搜一搜”平臺首頁效果圖242020.11

邱慧玲，等：站長工具平臺“搜一搜”的設(shè)計(jì)與實(shí)現(xiàn)第22期2.4.2 會員登錄注冊頁會員登錄注冊界面主要提供注冊會員以及用戶登錄的功能，從而體驗(yàn)更高級的功能。本網(wǎng)站開通了微信登錄功能，減少客戶注冊流程，更快捷的登錄網(wǎng)站。界面如圖4所示。圖4

“搜一搜”平臺會員登錄界面效果圖2.5 MySQL數(shù)據(jù)庫的設(shè)計(jì)MySQL數(shù)據(jù)庫主要采用MyISAM引擎，提升搜索速度。包含的主要表有ur會員表、Website站點(diǎn)表、keywords關(guān)鍵詞表等。Website表的結(jié)構(gòu)語句為：1. CREATE TABLE `o_website` (2. `id` int(10) unsigned NOT NULL AUTO_INCREMENT,3. `website_url` varchar(255) DEFAULT NULL

COMMENT '網(wǎng)站域名',4. `start_time` datetime DEFAULT NULL COMMENT '域名注冊時(shí)間',5. `end_time` datetime DEFAULT NULL COMMENT '域名到期時(shí)間',6. `status_time` datetime DEFAULT NULL COMMENT '域名備案審核時(shí)間',7. `record_num` varchar(255) DEFAULT NULL

COMMENT '備案號',8. `nature` varchar(255) DEFAULT NULL COMMENT '備案性質(zhì)',9. `name` varchar(255) DEFAULT NULL COMMENT '備案名稱',10. `create_time` datetime DEFAULT NULL COMMENT '網(wǎng)站添加時(shí)間',11. PRIMARY KEY (`id`) USING BTREE,12. UNIQUE KEY `website_url` (`website_url`),13. KEY `status_time` (`status_time`),14. KEY `record_num` (`record_num`),15. KEY `name` (`name`) USING BTREE16.) ENGINE=MyISAM AUTO_INCREMENT=5159413

DEFAULT CHARSET=utf8;3

“搜一搜”系統(tǒng)開發(fā)的難點(diǎn)及創(chuàng)新點(diǎn)在系統(tǒng)開發(fā)過程的中，并不是一帆風(fēng)順，我們也遇到了各種困難，并且通過不斷的嘗試創(chuàng)新，探索出了解決問題的較好方法。主要難點(diǎn)及創(chuàng)新點(diǎn)有三點(diǎn)：（1）超數(shù)據(jù)不顯示問題及解決方法。使用PHP讀取Elasticarch數(shù)據(jù)進(jìn)行分頁時(shí)，發(fā)現(xiàn)使用普通查詢，超過一萬條數(shù)據(jù)時(shí)不會顯示。傳統(tǒng)的解決方案是通過修改_result_window參數(shù)改變限制的大小，但是這種方法治標(biāo)不治本，并不能從本質(zhì)上解決問題。而Elasticarch官方推薦是采用Scrolling游標(biāo)查詢。但游標(biāo)查詢因?yàn)槭峭ㄟ^查詢上一頁時(shí)保存的游標(biāo)來查詢下一頁數(shù)據(jù)，所以無法跳轉(zhuǎn)查詢。而網(wǎng)站用戶往往不僅僅需要順序的前往下一頁，有時(shí)也需要跳轉(zhuǎn)分頁。此時(shí)用游標(biāo)查詢的話，需要經(jīng)過多次循環(huán)滾動計(jì)算跳轉(zhuǎn)頁的游標(biāo)地址，速度將會非常慢，對用戶體驗(yàn)來說將會是災(zāi)難性的。經(jīng)過團(tuán)隊(duì)不懈的討論和研究，本系統(tǒng)突破性地解決了這個(gè)問題。具體的處理方案為：當(dāng)用戶訪問時(shí)，一萬條以內(nèi)的數(shù)據(jù)采用普通查詢，并且在用戶第一次訪問時(shí)，將該請求存入后臺計(jì)劃任務(wù)，由計(jì)劃任務(wù)去查詢該條件下的數(shù)據(jù)，在一萬條以后的每一條游標(biāo)存入Redis。當(dāng)客戶前臺分頁跳轉(zhuǎn)超過一萬條數(shù)據(jù)時(shí)，直接讀取Redis中的游標(biāo)數(shù)據(jù)獲取當(dāng)頁內(nèi)容。采用這種方式便可以完美的解決這個(gè)問題。而這里使用Redis緩存技術(shù)的原理是該數(shù)據(jù)可能需要頻繁的進(jìn)行修改與讀取，所以通過Redis存入內(nèi)存能夠極大地提高效率。（2）使用PHP分析Elasticarch數(shù)據(jù)難題及解決方法。通過研究，我們總結(jié)出可以通過PHP聚合查詢Elasticarch中數(shù)據(jù)，例如統(tǒng)計(jì)聚合（Stats Aggregation），它屬于multi-value，基于文檔的某個(gè)值，計(jì)算出一些統(tǒng)計(jì)信息（min、max、sum、count、avg5個(gè)值）。詞聚合（Terms Aggregation）基于某個(gè)field，該field內(nèi)的每一個(gè)“唯一詞元”為一個(gè)桶，同時(shí)計(jì)算每個(gè)桶內(nèi)文檔個(gè)數(shù)，默認(rèn)返回順序是按照文檔個(gè)數(shù)多少排序，它屬于multi-bucket，當(dāng)不返回所有buckets時(shí)（返回個(gè)數(shù)由size控制），文檔個(gè)數(shù)可能就不準(zhǔn)確。過濾聚合（Filter Aggregation），在一個(gè)條件的（下轉(zhuǎn)29頁）2020.1125

劉載興：基于App Inventor積木式編程API調(diào)用的設(shè)計(jì)與實(shí)現(xiàn)第22期圖6 設(shè)置“標(biāo)簽_天氣數(shù)據(jù)”的屬性“文本”的值當(dāng)輸入城市名，點(diǎn)擊“查詢”按鈕時(shí)，設(shè)置Web客戶端的網(wǎng)址并向京東萬象平臺API發(fā)送數(shù)據(jù)請求服務(wù)。調(diào)用語音合成器來將查詢結(jié)果（文本）轉(zhuǎn)換成語音，通過設(shè)備的揚(yáng)聲器進(jìn)行播報(bào)，Web客戶端獲得文本事件的完整代碼塊如圖7所示。圖7 Web客戶端獲得文本事件的完整代碼塊7 結(jié) 論從本文介紹的基于App Inventor積木式編程API調(diào)用的天氣預(yù)報(bào)APP系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)可以看出，其結(jié)構(gòu)簡單，操作便捷，體現(xiàn)出App Inventor積木式編程軟件編寫簡易的特點(diǎn)。2017年7月國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》，強(qiáng)調(diào)“在中小學(xué)階段設(shè)置人工智能相關(guān)課程，逐步推廣編程教育”，而本系統(tǒng)的程序設(shè)計(jì)在互聯(lián)網(wǎng)環(huán)境下，App

Inventor積木式編程作為編程入門的課程在初級中學(xué)普及開展，學(xué)生利用積木式編程開發(fā)手機(jī)APP，更好地提升自身的信息技術(shù)素養(yǎng)，適應(yīng)新時(shí)代的發(fā)展。參考文獻(xiàn)：[1] 金從軍.App Inventor開發(fā)訓(xùn)練營 [M].北京：人民郵電出版社，2018.[2] 廣州市教育研究院.信息技術(shù) 小學(xué)：第2冊 [M].廣東：廣東教育出版社，2015.[3] 白乃遠(yuǎn)，曾奕霖.App Inventor 2 Android應(yīng)用開發(fā)實(shí)戰(zhàn)

[M].北京：電子工業(yè)出版社，2017.[4] 魯?shù)ぃ钚溃惤饌?基于API技術(shù)的數(shù)字人文基礎(chǔ)設(shè)施的構(gòu)建 [J].圖書館學(xué)研究，2019（13）：42-46+57.[5] 魏曉風(fēng)，蔣家傅，鐘紅，等.我國中小學(xué)編程教育發(fā)展的路徑思考 [J].中國教育信息化，2018（24）：1-4+9.作者簡介：劉載興（1963—），男，漢族，廣東廣州人，中學(xué)高級教師，碩士研究生，研究方向：計(jì)算機(jī)技術(shù)教育、中小學(xué)信息技術(shù)教育、人工智能。（上接25頁）基礎(chǔ)下對當(dāng)前的文檔進(jìn)行過濾的聚合等。通過這些聚合查詢方式，實(shí)現(xiàn)類似于MySQL中g(shù)roup having的查詢效果。（3）部分?jǐn)?shù)據(jù)庫更新頻繁，使用MySQL存儲會導(dǎo)致鏈接數(shù)過多。針對這一現(xiàn)象，我們引入了Redis緩存系統(tǒng)解決這個(gè)問題。將頻繁更新的數(shù)據(jù)保存進(jìn)Redis里，提升了網(wǎng)站的負(fù)載能力。析Elasticarch數(shù)據(jù)這一難題，成功運(yùn)用PHP聚合查詢攻克；最后，引入了Redis緩存系統(tǒng)解決使用MySQL存儲會導(dǎo)致鏈接數(shù)過多問題。參考文獻(xiàn)：[1] 趙路路.基于用戶反饋的空間關(guān)鍵字個(gè)性化語義查詢方法

[D].遼寧：遼寧工程技術(shù)大學(xué)，2019.[2] 林迅.基于流量分析實(shí)現(xiàn)網(wǎng)站備案監(jiān)控系統(tǒng)的架構(gòu)設(shè)計(jì)

[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2015（9）：60+62.[3] 魏俊博.基于全文搜索引擎的大規(guī)模軌跡數(shù)據(jù)高效查詢統(tǒng)計(jì)研究 [D].西安：長安大學(xué)，2019.[4] 曹芳芳.基于海量數(shù)據(jù)的實(shí)時(shí)查詢處理 [D].武漢：武漢理工大學(xué)，2013.作者簡介：邱慧玲（1991—），女，漢族，江西上饒人，助教，碩士，研究方向：人工智能、網(wǎng)頁設(shè)計(jì)與制作。4 結(jié) 論本系統(tǒng)平臺設(shè)計(jì)基于Python+PHP+Elasticarch技術(shù)，從系統(tǒng)分析到系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，最后成功完成“搜一搜”平臺的開發(fā)。在開發(fā)過程中，提出了異步分類分頁法，解決了使用PHP讀取Elasticarch數(shù)據(jù)進(jìn)行分頁時(shí)，使用普通查詢超過一萬條數(shù)據(jù)不會顯示問題；而針對如何使用PHP分2020.1129