gid、fid、tid、uid排序間斷是否影響蜘蛛搜索和收錄?

百科知道評論3,935閱讀模式

米粒在線分享記錄一篇關于gid、fid、tid、uid的說明。來源于DZ論壇。

為了動態了解網站的變化情況,經常在后臺關注蜘蛛爬行的情況,在蜘蛛爬行記錄中,經常出現gid、fid、tid、uid網頁打不開。
大家知道,gid=x代表分區編號為x,
fid=x代表板塊編號為x,
tid=x代表主題編號為x,
uid=x代表用戶(會員)編號為x。
理論上來說,這些編號,應該是按順序自動編號的,除非網站結構和內容調整,每個部分的編號順序應該是連貫的。但這幾天我發現,蜘蛛爬行到不存在的gid、fid時,就會彈出“抱歉,指定的版塊不存在”的對話框。當爬行到不存在的tid時,就彈出“抱歉,指定的主題不存在或已被刪除或正在被審核”。當爬行到不存在的用戶id(uid)時,就彈出“抱歉,您指定的用戶空間不存在”的對話框。

為追根溯源,我將蜘蛛爬行到而打不開的地址,輸入瀏覽器中,并按順序更換每一項的編號,測試的結果是,凡是打不開并彈出對話框的網頁,實際上是不存在的,這些不存在的網頁地址,都是中間間斷的編號部分。按編號順序查下去,如果id存在,則一定能夠打開。但蜘蛛的搜索記錄是,遇到打不開的情況后,似乎就沒有再按編號順序爬下去。

這種情況,已驗證與論壇合并有關,例如,合并后,我們最明顯可以知道的就是,會員編號順序發生紊亂,中間總是出現間斷的空號。通過上述驗證,實際上,不僅僅是UID出現間斷的空號,gid、fid、tid同樣出現間斷的空號。而蜘蛛爬行,一遇到間斷的空號,就會彈出打不開的“抱歉...”對話框。從這一點,似乎可以判斷,蜘蛛搜索是按順序,有規則的爬行的,那么,當蜘蛛爬行到不存在的id后,相當于爬行受阻,還會不會繼續往下按順序爬行呢?如果是,則無足輕重。如果不再繼續按編號順序往下爬行,而是調轉方向或者跳出,那結果會是怎樣呢?豈不是嚴重影響網頁收錄?甚至嚴重影響蜘蛛對網站的信任?我雖然如此分析,但畢竟不了解蜘蛛搜索和抓取網頁的規則和規律,因此發帖向行家求助。

 
  • 本文由 米粒 發表于 2013年12月18日23:53:00
  • 轉載請務必保留本文鏈接:http://www.bjmhhq.com/15280.html

發表評論

匿名網友
:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:
確定

拖動滑塊以完成驗證