使用scrapy入门教程

随笔2个月前发布 郑晨
52 0 0

创建项目

scrapy startprogect demo

创建爬虫

scrapy genspider myDomain madomian.com

直接创建文件也可以

运行爬虫

scrapy crawl myDomain

或者使用py文件运行

from scrapy import cmdline
# 方式一:注意execute的参数类型为一个列表
cmdline.execute('scrapy crawl spidername'.split())
# 方式二:注意execute的参数类型为一个列表
cmdline.execute(['scrapy', 'crawl', 'spidername'])

 以上是简单的一个爬虫的操作流程

如何使用爬虫

初始爬虫有两种方案

1,start_urls = [‘http://www.2717.com/’]

2,start_request(response) 方法

默认情况下他们都会调用parse() 方法

 

转载于:https://www.cnblogs.com/jack-jt-z/p/10486231.html

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...