一、可以看出網(wǎng)站頁(yè)面有哪些搜索引擎的蜘蛛抓取
       東莞SEO優(yōu)化員分析從網(wǎng)站日志里面可以看出網(wǎng)站被哪些蜘蛛所抓取，每個(gè)類(lèi)型的蜘蛛也都屬于自己的特殊標頭，各大搜索引擎的標頭特征：
百度蜘蛛:baiduspider
谷歌蜘蛛：Googlebot
360蜘蛛：360Spider
SOSO蜘蛛：Sosospider
雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!
有道蜘蛛：YoudaoBot，YodaoBot
搜狗蜘蛛：Sogou News Spider
MSN蜘蛛：msnbot，msnbot-media
必應蜘蛛：bingbot
提醒：網(wǎng)站的日志里面也有可能會(huì )出現一些其它私人開(kāi)發(fā)的抓取器所抓取，由此我們可能會(huì )發(fā)現一些奇怪的蜘蛛抓取痕跡。另外百度也有屬于自己的匿名蜘蛛，我們也要注意區分注意。
二、可以統計網(wǎng)站目錄蜘蛛抓取的總量
通過(guò)抓取總量的分析可以對比出網(wǎng)站哪個(gè)目錄更受搜索引擎的關(guān)注，一般來(lái)說(shuō)蜘蛛抓取越頻繁的目錄，site網(wǎng)站此目錄的排名會(huì )相對靠前，我們也可通過(guò)目錄的蜘蛛訪(fǎng)問(wèn)量來(lái)適當調整目錄的結構，對于那些抓取壓力較大但是不怎么重要的目錄也可適當縮減鏈接入口，以免阻礙給其它重要目錄的抓取。
三、網(wǎng)站頁(yè)面的抓取
可以從中看出哪個(gè)頁(yè)面蜘蛛是否抓取了一些沒(méi)有被收錄價(jià)值的頁(yè)面，或者老是重復的抓取了這些頁(yè)面等，那么同理要先采取措施予以頻閉，要么是運用到nofollow標簽，要么是robots文件等，這樣就會(huì )降低因為搜索引擎抓取到大量相關(guān)性低或者質(zhì)量度差的頁(yè)面而影響到頁(yè)面的權重傳遞這樣的不利影響。
四、蜘蛛平均抓取頁(yè)面的次數、頁(yè)面平均停留時(shí)間以及抓取的數量
（1）、平均每次抓取頁(yè)面數=總抓取量/訪(fǎng)問(wèn)次數
（2）、單頁(yè)抓取停留時(shí)間
（3）、頁(yè)面平均停留時(shí)間=總停留時(shí)間/訪(fǎng)問(wèn)次數
從以上的分析能夠很清晰的看出蜘蛛是否頻繁關(guān)注自己的網(wǎng)站，而且抓取的頁(yè)面越多，深度越足也能反映出網(wǎng)站的活躍度高，而且在停留的時(shí)間上面也能初步看出網(wǎng)站的頁(yè)面和文章是否新穎或者原創(chuàng )，這是頁(yè)面質(zhì)量度的一個(gè)體現。
五、了解網(wǎng)站日志蜘蛛的來(lái)訪(fǎng)時(shí)間
對網(wǎng)站日常日志分析總結中，可以很直觀(guān)的看出每天具體是哪個(gè)時(shí)間段是蜘蛛訪(fǎng)問(wèn)的高峰時(shí)期，我們?yōu)榱擞纤阉饕?，也可以相應調整網(wǎng)站的更新時(shí)間，爭取在蜘蛛活躍度最高的時(shí)間段更新文章，這樣對自己網(wǎng)站的收錄會(huì )有非常大的幫助，甚至還有可能達到秒收的效果！以上信息均由朝陽(yáng)網(wǎng)絡(luò )提供,東莞網(wǎng)站推廣了解更多此方面信息的朋友們請來(lái)這里http://m.8o7uey.cn/