网络爬虫实质便是http请求，浏览器是用户主动使用随后进行HTTP请求，而爬虫技术需要自动进行http请求，爬虫技术需要一整套整体构架进行工作。最先url管理器添加了新的url到待抓取集合中，判断了待添加的url是否在容器中、是不是有待抓取的url，并且获取待抓取的url，将url从待抓取的url集合移动到已抓取的url集合。