Scrapy-Splash 项目教程
scrapy-splashScrapy+Splash for JavaScript integration项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-splash
1. 项目的目录结构及介绍
Scrapy-Splash 项目的目录结构如下:
scrapy-splash/
├── scrapy_splash/
│ ├── __init__.py
│ ├── dupefilter.py
│ ├── middleware.py
│ ├── request.py
│ ├── response.py
│ ├── __pycache__/
│ └── utils.py
├── tests/
│ ├── __init__.py
│ ├── test_dupefilter.py
│ ├── test_middleware.py
│ ├── test_request.py
│ ├── test_response.py
│ └── test_utils.py
├── .gitignore
├── LICENSE
├── README.md
├── requirements.txt
└── setup.py
目录结构介绍
scrapy_splash/
: 包含 Scrapy-Splash 的核心代码文件。__init__.py
: 初始化文件。dupefilter.py
: 去重过滤器。middleware.py
: 中间件。request.py
: 请求处理。response.py
: 响应处理。utils.py
: 工具函数。
tests/
: 包含测试文件。__init__.py
: 初始化文件。test_dupefilter.py
: 去重过滤器测试。test_middleware.py
: 中间件测试。test_request.py
: 请求处理测试。test_response.py
: 响应处理测试。test_utils.py
: 工具函数测试。
.gitignore
: Git 忽略文件。LICENSE
: 许可证文件。README.md
: 项目说明文档。requirements.txt
: 依赖包列表。setup.py
: 安装脚本。
2. 项目的启动文件介绍
Scrapy-Splash 项目的启动文件主要是 setup.py
。该文件用于安装 Scrapy-Splash 库。
setup.py 文件介绍
setup.py
文件内容如下:
from setuptools import setup, find_packages
setup(
name='scrapy-splash',
version='0.7.2',
description='Scrapy+Splash for JavaScript integration',
long_description=open('README.md').read(),
long_description_content_type='text/markdown',
author='Scrapinghub',
author_email='info@scrapinghub.com',
url='https://github.com/scrapy-plugins/scrapy-splash',
license='BSD',
packages=find_packages(exclude=['tests']),
install_requires=[
'scrapy>=1.0',
'Twisted>=16.0',
'requests>=2.17',
],
classifiers=[
'Development Status :: 5 - Production/Stable',
'License :: OSI Approved :: BSD License',
'Intended Audience :: Developers',
'Operating System :: OS Independent',
'Programming Language :: Python',
'Programming Language :: Python :: 2',
'Programming Language :: Python :: 2.7',
'Programming Language :: Python :: 3',
'Programming Language :: Python :: 3.4',
'Programming Language :: Python :: 3.5',
'Programming Language :: Python :: 3.6',
'Programming Language :: Python :: 3.7',
'Programming Language :: Python :: 3.8',
'Programming Language :: Python :: 3.9',
'Framework :: Scrapy',
'Topic :: Internet :: WWW/HTTP',
'Topic :: Software Development :: Libraries :: Python Modules',
],
)
启动文件介绍
name
: 项目名称。version
: 项目版本。description
: 项目描述。long_description
: 详细描述,通常从README.md
文件读取。author
: 作者。author_email
: 作者邮箱。url
: 项目主页。license
: 许可证。packages
: 包含的包。install_requires
: 依赖包列表。
scrapy-splashScrapy+Splash for JavaScript integration项目地址:https://gitcode.com/gh_mirrors/sc/scrapy-splash