?SEO網站優化SEOER，每天都要時刻關注百度蜘蛛有沒有來抓取網站，抓取了網站哪些內容，沒有抓取網站哪些內容，再沒有抓取的頁面上觀察調整網站的問題

想要提高爬蟲抓取頻率可以從幾個方面著手，簡單介紹提高spider抓取網站的策略

提高spider抓取策略有哪些？一、抓取友好性

抓取壓力調配降低對網站的訪問壓力帶寬造成訪問壓力大，會直接影響網站的正常用戶訪問，為了不影響網站的正常用戶訪問，又能讓spider抓取有價值性的頁面

1、IP壓力控制如果一個域名下存在多個IP，或者是多個域名下對應同一個IP，需要根據IP和域名多種條件進行壓力調配控制

也可以在站長平臺中使用壓力反饋工具，人工調配對網站的抓取壓力，這樣spider會優先根據站長的要求進行抓取壓力控制

2、站點的抓取速度如果在同一個站點，抓取速度控制有兩類

第一類，一段時間內的抓取頻率；第二類，一段時間內的抓取流量

同一個站點在不同的時間內抓取的速度是不同的，根據站點的類型來設置

二、常用抓取返回碼示意1、404

“NOT FOUND”，表示該網頁已經失效，通常在庫中刪除，spider如果發現這條Url是不會抓取的

2、503

“Service Unavailable”，表示該網頁暫時不能訪問

網頁返回503狀態碼，百度spider不會直接刪除這條URL，再訪問多次的情況下，網頁如果恢復正常，就能正常抓取

如果繼續返回503，才會認為是失效鏈接，從庫中刪除

3、403

“Forbidden”， 表示該網頁目前禁止訪問

如果生成的是新的URL，spider是暫時不會抓取，也是會再訪問多次；如果是被收錄的URL，不會直接刪除，短期內同樣反復訪問幾次

如果網頁正常訪問，則正常抓取；如果仍然禁止訪問，那么這條URL也會被認為是失效鏈接，從庫中刪除

4、301

“Moved Permanently”， 表示該網頁重定向到新的URL

如果站點需要更換域名、站點改版的情況下，需要設置301重定向，也可以在站長平臺上網站改版工具提交，有效減少網站的流量損失

來源

搜外網