大家用爬虫采集数据，想必大家手上ip地址不太够用。在节省资源的情况下，我们可以去找寻一些获取ip的办法，这样我们在爬取数据的时候速度也能有一个提升。
很多网站都有反爬虫机制，只用一个ip去频繁访问网站的话，很容易引起网站管理员的注意，如果管理员将这个ip加入黑名单，那么这个爬虫就废掉了。所以，想要做大型的爬虫的话，基本上是必须要面对ip的问题。