?4月底的北京移動化培訓后，我們認識了藝龍SEO負責人劉明，他認為很多SEOer是只看整體數(shù)據(jù)判斷網(wǎng)站是否有問題，而站點應該做的是每周出具一份詳細科學的體檢報告，能最早從很多細節(jié)指標上發(fā)現(xiàn)問題——學堂感覺這個內容非常有價值，于是請劉明做了分享

本篇文章的意義之一，很多站長對自己網(wǎng)站健康狀況沒有頭緒：在百度舉辦的活動上，有不少的站長會向百度工作人員提出一些根本無法回答的問題：收錄掉了，怎么辦？抓取掉了，怎么辦？流量掉了，怎么辦？排名掉了，怎么辦？收錄不及時，怎么辦？這些問題太籠統(tǒng)了，即使把百度所有后臺數(shù)據(jù)完全開放，也無法解答

提問的人肯定是連網(wǎng)站的基本結構都沒有清晰的認識

好的問題是怎樣的？耐心看完就有答案了

本篇文章的意義之二，產(chǎn)品改版對SEO造成毀滅性打擊SEO最嚴重的問題，往往不是SEO問題，而是產(chǎn)品問題，或技術問題

有些大型網(wǎng)站每次大改版都是這樣的

1，會更換一套Url pattern

2，由于數(shù)據(jù)的不兼容，舊版本pattern無法301到最新版

3，即使數(shù)據(jù)兼容，也忘了做301

我問過一個產(chǎn)品經(jīng)理，這個產(chǎn)品的URL換過多少pattern， 答案是3到4個

但是我從WEB.archive.org上看，最少8個

平均每年換一個

稍微有一點搜索引擎基本常識的人應該能意識到，這種網(wǎng)站是典型的no zuo no die

本篇文章的意義之三，長期的迭代開發(fā)流程中，SEO的需求可能被逐步改錯在產(chǎn)品，技術和測試的思維中，往往是沒有URL的清晰定義的，只要頁面能訪問，內容是對的就合格了.以下幾種URL都是被認為沒問題的，更不要提SEO的其他基本規(guī)范了

也就是說，事實上除了SEO沒有人關心這些東西，每個開發(fā)環(huán)節(jié)都可能遺漏或者搞錯一些東西

1，http://www.hecch.cn//product(category)/2，http://www.hecch.cn//product.html/3，http://www.hecch.cn//product/？channel=123&category=abc&brand=def&tracking=other_website曾經(jīng)有一個產(chǎn)品，本來谷歌收錄量達到了3000萬，百度收錄2000萬，流量也不錯，精力挪到別的產(chǎn)品上去了

過了1個月發(fā)現(xiàn)流量有所下滑，以為是季節(jié)因素，沒有在意，又過了2個月，流量下降非常多

仔細檢查了一下發(fā)現(xiàn)一個驚人的變化

1，本來收錄的地址是http

//http://www.hecch.cn//product/item100.html2，在沒有被告知的情況下，被技術同事加了一個301跳轉，到http://www.hecch.cn//search/？product=a&item=1003，其中/search/目錄在robots.txt中是Disallow的4，在隨后的2周內，收錄量最低降到了300萬左右

我希望能有個系統(tǒng)自動的幫我梳理這些問題，讓我不再每天擔憂SEO的需求又不知道被誰弄掉了，如果有問題，能讓開發(fā)測試的同事馬上就收到警報，讓“擦屁股”的事情不再占用我太多時間

內容思維導圖，元信息，頁面單元測試，蜘蛛日志監(jiān)控鑒于前邊幾點，我的解決方案是

? 內容思維導圖? 元信息? 頁面單元測試? 蜘蛛日志監(jiān)控這些方案5年前就構思好了，并且小規(guī)模試用，但是由于復雜度和開發(fā)成本較高，到過很多坑

直到最近兩年才逐步啟用

絕對不適用于小公司，請廣大SEO從業(yè)者慎重決策

? 內容思維導圖從產(chǎn)品的角度看是這樣由各類功能組成的，有合理流程關系的(流程不展開討論)，符合用戶體驗的，但可能不符合搜索引擎體驗

從SEO的角度看，網(wǎng)站的結構是這樣由各類用戶搜索需求組成的，也是有合理層級關系的：不同的網(wǎng)站會有截然不同的思維導圖，因為他可能基本取決于技術架構

因此建議SEO從業(yè)者深入了解網(wǎng)站的技術架構之后再來繪制導圖

具體的細節(jié)暫不展開

但是最起碼自己要保證這幾點

1，網(wǎng)站有哪些內容節(jié)點2，哪些命中了用戶的需求3，哪些是毫無檢索意義的4，缺少哪些節(jié)點5，應該如何部署層級關系思維導圖絕對不是一勞永逸的，每當產(chǎn)品有新的pattern上線，或者舊的pattern下線，需要及時更新

每當你發(fā)現(xiàn)新的用戶搜索習慣，也應該更新，并且推送給產(chǎn)品同事知道

? 元信息我這里說的不是， 而是一切SEO相關的，有規(guī)律的(最好是可以用正則表達的)，可量化的信息

包括

標題，關鍵詞，描述，H1，等等

從SEO的角度看，某網(wǎng)站的URL是這樣的，符合“思維導圖”層次的

首頁： http://www.hecch.cn//首頁-頻道1： http://www.hecch.cn//channel/首頁-頻道1-維度1： http://www.hecch.cn//channel/abc/首頁-頻道1-維度1-維度2： http://www.hecch.cn//channel/abc/xyz/首頁-頻道1-詳細頁： http://www.hecch.cn//channel/item12345/從產(chǎn)品，開發(fā)，測試的角度看URL可能是這樣無序的：? http://www.hecch.cn//channel/？category=abc&brand=xyz&tracking=other_website? http://www.hecch.cn//channel/？item=12345如果下一版改成這樣也沒問題的：http://www.hecch.cn//？channel=123&category=abc&brand=def&tracking=other_website如果沒有清晰的規(guī)則定義，幾乎是無法知道現(xiàn)在的網(wǎng)站還是不是你優(yōu)化過的那個樣子的

根據(jù)SEO內容思維導圖，我們得到如下的元信息表格(僅列出幾個字段給大家參考)

? 頁面單元測試這個“單元測試”是借用了一個研發(fā)的術語，原本是測試某一個函數(shù)或類的

我是用來測試SEO的一個具體的細節(jié)定義

工具也是借用了“Rspec”來二次開發(fā)的

這個模塊可以分為兩個環(huán)境來運行，production和testing

其中production的測試，我們叫“回歸測試”，目的是保證之前已經(jīng)上線的seo需求，依然好好的呆在那里，如果報警需要及時修復

testing環(huán)境中，是為了給研發(fā)人員做類似TDD(測試驅動開發(fā))用的

它包含了production的回歸測試也包含了testing中新的需求，可以被當做是需求文檔

只要研發(fā)人員把這個測試都跑通，就說明你的需求完成了

當這些需求上線后，把測試合并到production一起做回歸測試，這樣就圓滿了

測試的內容可以涵蓋

元信息中的所有細節(jié)，已知鏈接的錨文本， 站內URL， 站外URL， 面包屑， alt， 響應時間， 頁面尺寸，等等

? 蜘蛛日志監(jiān)控有了“元信息”的定義

做蜘蛛日志監(jiān)控易如反掌

親身經(jīng)歷的一些現(xiàn)象

1，全站85%的訪問，response code都是301

2，蜘蛛抓取量的50%都是抓異步請求(ajax，iframe)的URL

3，某些類別的頁面平均響應時間超過10秒/次

4，response code 200的訪問中60%的請求都不是SEO需要的URL

附圖僅展示一些字段給大家做參考

針對本文開頭的問題，比較靠譜的提問方式是， “我的某某pattern頁面每天抓取量多少，其中response200的有多少，平均響應時間是多少，主要的內容，SEO元素都正常，沒有作弊的行為，但是這個pattern最近抓取掉了，收錄掉了”

其實能問這種問題的人，也基本不用提這類問題了

大多數(shù)的問題只要足夠細化，就已經(jīng)迎刃而解了

各位同學還有什么問題問劉明的么？歡迎來到【學堂同學匯】討論專帖進行留言討論

來源

百度搜索資源平臺 百度搜索學堂