robots文件存在于網(wǎng)站根目錄，是用來(lái)告訴百度蜘蛛那些應該抓取，那些不應該抓取，正確使用robots文件有助于做好seo優(yōu)化，robots文件的核心詞匯就是allow和disallow用法，百度官網(wǎng)是認可這個(gè)文件的，在百度站長(cháng)平臺上也有robots這個(gè)欄目，點(diǎn)擊進(jìn)入，就可以看到你網(wǎng)站robots文件是否編寫(xiě)正確了。
百度robots文件使用說(shuō)明
      1、robots.txt可以告訴百度您網(wǎng)站的哪些頁(yè)面可以被抓取，哪些頁(yè)面不可以被抓取。
      2、您可以通過(guò)Robots工具來(lái)創(chuàng )建、校驗、更新您的robots.txt文件，或查看您網(wǎng)站robots.txt文件在百度生效的情況。
      3、Robots工具暫不支持https站點(diǎn)。
      4、Robots工具目前支持48k的文件內容檢測，請保證您的robots.txt文件不要過(guò)大，目錄最長(cháng)不超過(guò)250個(gè)字符。以上信息均由朝陽(yáng)網(wǎng)絡(luò )提供,東莞網(wǎng)站推廣了解更多此方面信息的朋友們請來(lái)這里http://m.8o7uey.cn/