从品牌网站建设到网络营销策划,从策略到执行的一站式服务
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商,新人活动买多久送多久,划算不套路!
河源ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联公司的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:028-86922220(备注:SSL证书合作)期待与您的合作!这篇文章将为大家详细讲解有关什么是scrapy框架,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
一、安装scrapy框架
pip install scrapy
二、创建一个scrapy项目
安装完成后,python会自动将 scrapy命令添加到环境变量中去,这时我们就可以使用 scrapy命令来创建我们的第一个 scrapy项目了。
打开命令行,输入如下命令
scrapy startproject yourproject
这里的 startproject 命令将会在当前目录下创建一个 scrapy项目,后面跟着的参数是需要创建的项目的名称。
比如这里我们会创建一个名为 yourproject 的项目,项目结构如下:
yourproject/ scrapy.cfg yourproject/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ...
这些文件分别是:
scrapy.cfg: 项目的配置文件
yourproject/: 该项目的python模块。该项目的所有代码都在这个目录下
yourproject/items.py: 项目中的item文件,我们在这个文件里定义要爬取的数据,有点类似于 Django的 model。
yourproject/pipelines.py:项目中的pipelines文件(我把这个称为通道文件,意思就是数据处理的通道),对爬取到的数据进行处理(如:储存)
yourproject/settings.py: 项目的设置文件,设置全局变量的值、通道的开启和关闭以及多个通道和爬虫的执行优先级
yourproject/spiders/: 爬虫的主要逻辑都在这个文件夹里,包括页面请求、数据提取、反爬措施等。
关于什么是scrapy框架就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图