国内主流爬虫大全

这几天重新整理站点的时候,发现站点没有设置robots.txt,于是重新设置了搜索引擎的抓取规则,并理出国内主流的爬虫数据。

百度系爬虫:

 Baiduspider-image 
 Baiduspider
 Baiduspider-news
 Baiduspider-video

搜狗系爬虫:

 Sogou web spider
 sogou spider
 Sogou spider2
 Sogou News Spider
 Sogou Orion spider
 Sogou blog
 Sogou inst spider

360系爬虫:

 HaosouSpider 
 360Spider

必应系爬虫:

 Bingbot
 MSNBot

中国搜索爬虫:

 chinasospider

阿里系爬虫:

 yisouspider
 smspider 
 EtaoSpider

搜搜爬虫:

 Sosospider

有道爬虫:

 YoudaoBot
 OutfoxBot

雅虎爬虫:

 Yahoo!  Slurp

宜搜爬虫:

 EasouSpider

即刻爬虫:

 JikeSpider

豌豆荚爬虫:

 wandoujia Spider 

头条爬虫:

 ByteSpider

惠惠爬虫:

 HuihuiSpider 

购物党爬虫:

 GwdangSpider 

我查查爬虫:

 WochachaSpider

爬虫

2019-08-17 08:00 +0800