admin 管理员组

文章数量: 887007

scrapy是Python开发的一个爬虫框架，很多情况下都是基于Linux系统安装，本篇将介绍windows环境下安装scrapy框架，亲测有效。

1.安装依赖

直接pip install scrapy会报错，原因是与scrapy相关的一些依赖包没有安装，而且依赖包的版本和操作系统不一致也会导致安装报错。常见的错误是Twisted和pywin32这两个模块安装失败。因此需要手动安装上述两个模块，下面将介绍安装的具体步骤。
cmd打开命令窗口，输入命令python -m pip install --upgrade pip更新pip版本为最新版本。

  1. 安装wheel模块
    命令行输入pip install wheel，等待安装完成
  2. 安装lxml模块
    命令行输入pip install lxml，等待安装完成
  3. 安装Twisted模块
    Twisted模块和下方的pywin32模块手动安装，需要下载和Python版本、操作系统位数一致的wheel文件，否则手动安装也会失败，这里分享一个网址：
    https://www.lfd.uci.edu/~gohlke/pythonlibs/
    网页进去Ctrl+ F查找自己的模块，根据自己的Python和系统位数下载对应的版本即可，这里我的Python版本是3.7，系统位数为64，若跟我使用的环境一样，则省略下载步骤。模块链接：
    链接：https://pan.baidu/s/1XDdDWuqoUJghvV1Lndg5nA
    提取码：jms4
    链接内容如下图：

    cp37表示3.7版本，amd64表示64位。
    下载到本地后，进入到下载文件所在的目录，如我的在桌面下的安装依赖文件夹下，在地址栏输入cmd，回车打开命令行窗口。

    输入命令pip install Twisted-19.2.1-cp37-cp37m-win_amd64.whl，回车等待安装完成。上述文件名太长，手动输入耗时长，容易打错，因此输入前几个字母，按tab键则会自动补全。
  4. 安装pywin32模块
    方法和Twisted一样。

2.安装scrapy

所有依赖安装完成且没有任何报错的情况下，pip install scrapy安装scrapy就不会报错。

本文标签： 环境 Windows scrapy

版权声明：本文标题：Windows环境下安装scrapy 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1731982911h1515465.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。