百度究竟是否遵守robot.txt里的规定?
源于该条新闻,“百度电子商务事业部总经理李明远昨日接受本报记者专访时表示,针对淘宝全面禁止百度爬虫抓取页面,百度准备开辟绿色通道,让卖家直接向百度索引库提交网店页面链接地址,而不再需要百度爬虫过去抓取”。
在卖家向百度提交网店页面链接地址后,百度抓取的网店内容不是用爬虫的话,难道是人工抓取?在服务器上已设置不允许抓取,百度却无视该设置,自行处理,那么这个百度的话,把没把robot.txt文件放在眼中?
标签:百度, 淘宝
相关日志
无法让人正常使用的淘宝搜索功能 (0)
Also tagged 淘宝
