pip install scrapy
Scrapy 爬虫框架的具体使用步骤如下:
Scrapy
创建项目
scrapy startproject mySpider
指定目标网站,生产一个爬虫
scrapy genspider baidu "www.baidu.com"
编写提取数据的spider
执行spider,获取数据
数据存储