Scrapy 爬虫框架入门教程
May 30th, 2022

安装方式:

pip install scrapy

使用步骤

Scrapy 爬虫框架的具体使用步骤如下:

  1. 选择目标网站
  2. 定义要抓取的数据(通过Scrapy Items来完成的)
  3. 编写提取数据的spider
  4. 执行spider,获取数据
  5. 数据存储

实际代码操作步骤:

  1. 创建项目

    scrapy startproject mySpider
    
  2. 指定目标网站,生产一个爬虫

    scrapy genspider baidu "www.baidu.com"
    
  3. 编写提取数据的spider

  4. 执行spider,获取数据

  5. 数据存储

项目结构

Subscribe to 晨辰bk
Receive the latest updates directly to your inbox.
Verification
This entry has been permanently stored onchain and signed by its creator.
More from 晨辰bk

Skeleton

Skeleton

Skeleton