Scrapy示例项目教程

Scrapy示例项目教程

scrapy_exampleThis repository store some example to learn scrapy better项目地址:https://gitcode.com/gh_mirrors/sc/scrapy_example

1. 项目的目录结构及介绍

scrapy_example/
├── scrapy_example/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       └── example_spider.py
├── scrapy.cfg
└── README.md

目录结构说明

• scrapy_example/: 项目的主目录。
  • __init__.py: 初始化文件，使目录成为一个Python包。
  • items.py: 定义项目中使用的数据结构。
  • middlewares.py: 定义自定义的中间件。
  • pipelines.py: 定义数据处理管道。
  • settings.py: 项目的配置文件。
  • spiders/: 存放爬虫文件的目录。
    • __init__.py: 初始化文件，使目录成为一个Python包。
    • example_spider.py: 示例爬虫文件。
• scrapy.cfg: Scrapy项目的配置文件。
• README.md: 项目的说明文档。

2. 项目的启动文件介绍

启动文件

项目的启动文件是 scrapy.cfg，它包含了项目的配置信息。

[settings]
default = scrapy_example.settings
 
[deploy]
#url = http://localhost:6800/
project = scrapy_example

启动文件说明

• [settings]: 指定默认的配置文件路径。
• [deploy]: 用于部署项目的配置，可以指定部署的URL和项目名称。

3. 项目的配置文件介绍

配置文件

项目的配置文件是 scrapy_example/settings.py，它包含了项目的各种配置选项。

BOT_NAME = 'scrapy_example'
 
SPIDER_MODULES = ['scrapy_example.spiders']
NEWSPIDER_MODULE = 'scrapy_example.spiders'
 
ROBOTSTXT_OBEY = True
 
ITEM_PIPELINES = {
    'scrapy_example.pipelines.ScrapyExamplePipeline': 300,
}

配置文件说明

• BOT_NAME: 定义项目的名称。
• SPIDER_MODULES: 指定包含爬虫模块的目录。
• NEWSPIDER_MODULE: 指定新爬虫模块的目录。
• ROBOTSTXT_OBEY: 是否遵守 robots.txt 规则。
• ITEM_PIPELINES: 定义数据处理管道及其优先级。

以上是 scrapy_example 项目的目录结构、启动文件和配置文件的详细介绍。希望这份文档能帮助你更好地理解和使用该项目。

scrapy_exampleThis repository store some example to learn scrapy better项目地址:https://gitcode.com/gh_mirrors/sc/scrapy_example