Python Scrapy爬虫框架安装和创建

2023-09-24 6 0

1、检查Win环境 python版本

python

 2、whl方式安装 twisted

     twisted异步网络框架,可加快下载速度。优点是用少量的代码实现快速的抓取。

    由于scrapy需要twisted的环境,我们直接去下载whl文件根据自己的Python版本选择

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 2、将这个文件存放到python安装路径下的script文件夹中。如下:

3、在当前目录下,并执行安装

 pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl

 3 、安装scrapy框架

pip install scrapy

 4、安装pywin32

 pip install pywin32

5、检查是否安装成功

scrapy 

 

 6、手动创建爬虫项目

scrapy startproject  项目名称

 说明:

(1)需要切换到爬虫项目中:cd 项目名称
(2)需要输入命令去创建一个爬虫任务: scrapy genspider example(爬虫任务名称) example.com(范围域名)

代码编程
赞赏

相关文章

小议怎么保证系统线上安全
JMS 与 AMQP 区别
数据库优化之innodb_flush_log_at_trx_commit参数性能优化
java代码优化的小建议
SpringCloud 链路追踪应用
各种文件系统特性说明以及对比