新浪博客屏蔽百度爬虫
今天逛论坛,看到IT新闻说新浪博客已经在robots.txt文件中设置相关命令,屏蔽百度的蜘蛛爬虫,禁止百度蜘蛛获取网页信息。(具体见http://blog.sina.com.cn/robots.txt,语句:User-agent: Baiduspider Disallow: / )
有人猜测说可能是因为新浪博客因为权重高,收录快,被许多站长用来做网站的外链推广,新浪博客为了解决软文和垃圾内容量过大的问题,采取了屏蔽百度爬虫的方法。我认为这种说法是没有依据而且也是可笑的。首先就是为什么只是屏蔽了百度的爬虫而不屏蔽谷歌的呢!其次,新浪博客就是一BSP,新浪博客不会为内容质量负责,他们关注的只是用户量和点击率,况且新浪博客垃圾内容多了去了,各种广告,各种软文,各种无聊的东东,新浪博客团队也没有采取什么措施,新浪怎么又会专门对外链的问题采取这种杀敌一百,自损二百的办法呢。







现在已经没看到这句话了。
哦,看到了,原来拆开来写的。我收回刚才那句话。
嗯嗯。
coeus的最新文章新浪博客屏蔽百度爬虫
我除了rss韩寒等人的博客外,从不去看那些墙内博客
世道有点郁闷,什么好就什么麻烦,我的网站还傻傻的和人家屏蔽的博客交换链接