咨询我们，获得专业的服务和报价
联系我们，免费获取项目方案及报价，或只是聊一聊您的项目？ 在收到您的需求留言后我们将由专业人员于24小时内与您取得联系，请您保持电话畅通！
- 科研院所解决方案
- 外贸出海解决方案
- 协会学会解决方案
- 集团上市公司解决方案
- 生物医药解决方案
- 制造业解决方案
- 高校教育解决方案
- 信创网站改造解决方案
更多服务咨询，请联系尚品
010-60259772
浅谈百度抓取淘宝那点事
2012-02-06
5480
分享至：
大家都知道大概是“百度有啊”上线之前，淘宝网为了避免百度恶意抓取，直接屏蔽了百度蜘蛛，也就是当时闹得沸沸扬扬的robots.txt协议 。
就算是现在打开淘宝的robots.txt协议，依然可以看到淘宝还在屏蔽百度的蜘蛛。
可是事实上真的如此么
事实证明淘宝的robots.txt文件根本对百度蜘蛛起不到任何作用。
小弟推测百度之所以这么做是因为百度考虑到战略方向的问题，因为查询了一下发现一些知名店铺在百度的排名都很不错。足以证明百度对淘宝这种店铺的重要性。更加戏曲化的是天猫网（淘宝商城）也是使用robots.txt协议的。同样屏蔽了百度蜘蛛。
还有一种可能就是淘宝网以及天猫网的权重太高了，导致了百度蜘蛛不遵循搜索引擎协议而进行的抓取。不过对于这种事情可以联想到前些日子，一淘网恶意抓取京东商城以及新蛋网等的商品数据，也是不遵循搜索引擎规则的。
直到现在京东商城等也在屏蔽一淘网的蜘蛛，
小编想说的是现在的搜索引擎为了自身利益而不遵循互联网协议的规则，是值得反思的，呼吁这种互联网大公司能在整个IT行业树立标榜。
来源声明：
本文章系尚品中国编辑原创或采编整理，如需转载请注明来自尚品中国。以上内容部分(包含图片、文字)来源于网络，如有侵权，请及时与本站联系（010-60259772）。
