Aug 27
Google的爬虫每过一段时间，才更新它爬下来的网页，但是如果你的整站大部分网页都更新了内容和地址，它要过几个星期才能更新好。怎么加快这个速度呢？
理论上，我们可以歪用Google Adsense来加快这个更新速度。Adsense在决定投放哪些广告的时候，是要sense一下的，这个过程，就是通知Google你的哪些网页访问用户多，需要更高的抓取优先级。当然也就间接提高了网页被更新的速度。
同样的道理，也适用于baidu，利用百度联盟来加快网页的收录和更新速度。
以上是理论设想，尚没有验证。:D
最新评论