这家爬虫完全不会遵守robots协议，在他们的网站上您可以看到，禁止此爬虫的协议文本为？User-Agent: *Disallow: /User-Agent: Googlebot Allow: / Disallow: /private/Does ImageSiftBot follow Robots.txt rules?Standard directives in robots.txt that ...