07

血性的淘宝,屏蔽了百度的爬虫…

今天偶亲自去看了下淘宝的Robots文件才相信,淘宝这个上亿级别网页,上亿级别流量的站点,真的屏蔽了百度的爬虫,虽然百度并不一定遵守robots文件协议,目前来看,百度依然收录着淘宝2270万的网页。详见图:

 淘宝屏蔽百度爬虫的robots截图

淘宝屏蔽百度爬虫的robots截图

百度对淘宝的收录数量截图

百度对淘宝的收录数量截图

由于个人所在的职位,以及个人经历和喜好,我是绝对挺淘宝的,百度是个难以以德服人的公司,尤其在Google这样的竞争对手对比下。淘宝只是个开始吧,诸多网站已经厌倦了百度的惟利是图,当然,不能否认,还是很多愿意趋炎附势追逐利益的。(感觉像小学生在练习用成语,哈)

有句古话:得人心者得天下….做不到公正、客观、不自私的话,不会成为受人喜爱的搜索引擎。 

关于作者
孙波, 携程旅行网, Senior Manager
资深互联网民工,供职携程旅行网,网络市场部高级经理,曾就职于阿里巴巴、5173等。产品、市场、BI、站长,这么个圈子,基本都混过。业余关注TMT投资领域。

1 条评论了已经

发表评论

名字(必须)
邮箱(不会被公布)(必须)
网址

字体为 粗体 是必填项目,邮箱地址 永远不会 公布。

允许部分 HTML 代码:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>
URLs(网站链接)必须完整有效 (比如: http://www.sunbo.name),所有标签都必须完整的关闭。

超出部分系统将会自动分段及换行。

请保证评论内容是与日志或 Blog 内容相关的,灌水、攻击性或不恰当的评论 可能 会被编辑或删除。