许多人认为爬虫的工作和代理IP是不可或缺的，爬虫必须使用代理。但事实并非如此，爬虫无需代理即可。爬虫程序只是模仿访问网站的用户，对于服务器来说，这种特殊的用户往往不遵守规则，增加服务器的压力，所以网站总是以各种方式被发现和禁止。有时候，你可以不用代理也可以爬取数据。
第一，业务量小
小型爬虫工作无需使用代理IP即可完成。例如，爬上数百篇文章，可以在列车头轻松解决，或者对工作效率的要求不高，可以模拟人工正常访问速度慢慢爬行。