国内主流爬虫大全
这几天重新整理站点的时候,发现站点没有设置robots.txt,于是重新设置了搜索引擎的抓取规则,并理出国内主流的爬虫数据。
百度系爬虫:
Baiduspider-image
Baiduspider
Baiduspider-news
Baiduspider-video
搜狗系爬虫:
Sogou web spider
sogou spider
Sogou spider2
Sogou News Spider
Sogou Orion spider
Sogou blog
Sogou inst spider
360系爬虫:
HaosouSpider
360Spider
必应系爬虫:
Bingbot
MSNBot
中国搜索爬虫:
chinasospider
阿里系爬虫:
yisouspider
smspider
EtaoSpider
搜搜爬虫:
Sosospider
有道爬虫:
YoudaoBot
OutfoxBot
雅虎爬虫:
Yahoo! Slurp
宜搜爬虫:
EasouSpider
即刻爬虫:
JikeSpider
豌豆荚爬虫:
wandoujia Spider
头条爬虫:
ByteSpider
惠惠爬虫:
HuihuiSpider
购物党爬虫:
GwdangSpider
我查查爬虫:
WochachaSpider