?功能說明提交sitemap工具可以向頭條搜索提交網站的sitemap文件,幫助頭條spider更好的抓取您的網站
您可以在此工具下選擇已經驗證的站點,進行驗證站點的sitemap文件提交
sitemap提交后,頭條搜索會根據sitemap了解網站中數據情況
sitemap要求sitemapindex文件要求sitemapindex文件根節點必須是
sitemapindex文件編碼必須為UTF-8,第一行為
sitemapindex文件禁止使用命名空間,禁止使用規定之外的屬性
sitemapindex文件大小不得超過5M,sitemap節點數量不超過1W
必須保證sitemap中所有URL可訪問,且內容符合XML數據文件規范
1.XML數據文件規范數據XML文件的根節點必須為
數據XML文件禁止使用命名空間,禁止使用規定之外的屬性
數據XML單個文件大小不得超過10M(必須滿足),item數目不得超過1W
除根節點之外的其它節點,標簽名建議采用英文小寫字母及下劃線‘_’數據節點中包含轉義字符,請使用CDATA對于數組型的節點,請在只有一個子節點時保證和多個節點時的結構相同2.Txt格式規范Txt文件編碼必須為UTF-8Txt文件大小不得超過10M,每個文本文件最多可包含5w個網址Txt文件每行都必須有一個網址,網址中不能有換行Txt文件中不能包含網址列表以外的任何信息- 必須書寫完整的網址,包含http/HTTPS- 必須保證Txt文件中所有URL 可訪問,且內容符合Txt數據規范注意事項提交的sitemap有作弊嫌疑的url,頭條將進行嚴厲的處罰措施并取消相關權限頭條spider有自身的爬取規則,sitemap只是幫助頭條spider更好的收錄您的網站,提交sitemap并不會決定網站收錄或者排名
工具使用方法1. sitemap索引格式
//http://www.hecch.cn//1.xml
Sitemap文件地址與提交站點不是包含關系,請確認提交的地址屬于已驗證的站點相同的Sitemap文件地址已經添加過,請勿重新添加
提交的Sitemap格式不規范,請檢查該數據格式,修改后重新提交
sitemap異常原因解釋sitemap異常原因解釋解決方法爬蟲被封禁可能是您的網站對Bytespider的UA或IP進行封禁建議您根據我們公布的UA和IP進行解封,第二天重新抓取之后會恢復正常sitemap文件數據量過大可能是您的sitemap節點數量超過了5w個建議您拆分為幾個小的sitemap文件sitemap地址非法可能是您的sitemap地址不可訪問或者存在xml和txt混合模式的數據建議您按照我們的要求提交sitemap地址站點服務不可用我們請求您的網站3次后發現您的網站仍舊不可訪問會暫時停止抓取,則返回該原因請您檢查服務器是否可正常運轉,如果正常,等正常調度后正常抓取sitemap地址不存在可能是您的地址無法訪問,返回404,我們獲取不了任何信息請您排查sitemap地址鏈接,等正常調度后可恢復正常抓取txt文件未發現有效鏈接可能是您的txt文件鏈接并非按照要求提供html鏈接請您按照我們的規范格式提交xml文件數據量過大可能是您的xml文件大小超過10M,item數目超過1W個建議您拆分幾個小的xml文件Sitemap相關QASitemap文件支持什么格式提交?目前頭條搜索sitemap支持xml、txt格式提交,不支持單條鏈接提交
我提交時填寫的周期是什么含義?ByteSpider會參考設置周期抓取Sitemap文件,因此請根據Sitemap文件內容的更新(比如增加新url)來設置
請注意如果url不變僅是url對應的頁面內容更新(比如UGC回答有新內容),不在此更新范圍內,Sitemap工具不能解決頁面更新問題
Sitemap提交后,多久能被頭條搜索處理?Sitemap數據提交后,一般在1小時內頭條搜索就會開始處理,但抓取時間會以Sitemap文件大小決定,如果遇到狀態“等待”時間較長,可以觀察一下
提交的Sitemap都會被頭條搜索抓取并收錄嗎?頭條搜索對網站提交的數據,無法保證一定會抓取且收錄所有網址,數據鏈接能否被收錄與頁面質量相關,可盡量避免低質內容提交
Sitemap的url鏈接可以包含中文嗎?不要有,“中文”無法解碼
為什么我提交的sitemap返回異常?封禁
如果返回狀態為請求異常,請務必確認是否封禁頭條搜索的出口ip和ua格式有誤:請確認您的sitemap是否嚴格按照提交幫助中的格式生成,sitemapindex里面包含的xml也應以.xml結尾解析失敗:解析失敗只存在于xml格式,如果因為解析失敗返回異常,請檢查您的xml是否符合標準sitemap格式規范創建Sitemap時有哪些注意事項sitemapindex文件大小不得超過5M,sitemap節點數量不超過1W個
如果您的Sitemap超過了這些限值,請將其拆分為幾個小的Sitemap
數據量限制有助于確保您的網絡服務器不會因提供大文件而超負荷;站點支持提交的sitemap文件個數必須少于1w個,多于1w個后會不再處理,并顯示“sitemap文件數據量過大”提示sitemap數據能幫助頭條搜索改進抓取策略,不能承諾收錄,也不能決定收錄量級,不能決定搜索排名
來源
頭條搜索站長平臺
請立即點擊咨詢我們或撥打咨詢熱線: 18942620423,我們會詳細為你一一解答你心中的疑難。項目經理在線