创建项目
scrapy startprogect demo
创建爬虫
scrapy genspider myDomain madomian.com
直接创建文件也可以
运行爬虫
scrapy crawl myDomain
或者使用py文件运行
from scrapy import cmdline # 方式一:注意execute的参数类型为一个列表 cmdline.execute('scrapy crawl spidername'.split()) # 方式二:注意execute的参数类型为一个列表 cmdline.execute(['scrapy', 'crawl', 'spidername'])
以上是简单的一个爬虫的操作流程
如何使用爬虫
初始爬虫有两种方案
1,start_urls = [‘http://www.2717.com/’]
2,start_request(response) 方法
默认情况下他们都会调用parse() 方法
转载于:https://www.cnblogs.com/jack-jt-z/p/10486231.html
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...