Python3 Scrapy 安装方法 (一脸辛酸泪)

Python3 Scrapy 安装方法 (一脸辛酸泪)写在前面最近在学习爬虫,在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。没想到啊,这坑太深了。。。看了看相关介绍后选择了Scrapy框架,然后兴高采烈的打开了控制台,pipinstallScrapy坑出现了。。。。运行报错error:Unabletofindvcvarsall.bat开始上网查解决方法。。看了大多数方法,基本上的解决方法就是下载版本对

大家好,欢迎来到IT知识分享网。

写在前面

最近在学习爬虫,在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。
没想到啊,这坑太深了。。。

看了看相关介绍后选择了Scrapy框架,然后兴高采烈的打开了控制台,

pip install Scrapy

这里写图片描述

坑出现了。。。。

运行报错

error: Unable to find vcvarsall.bat

开始上网查解决方法。。
看了大多数方法,基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊。。。

最后花费了将近一天的时间,终于找到了解决方法。

使用wheel安装。

这个网站里边是编译好的各种库的
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

同时,推荐一篇我的Scrapy入门实例博客:

scrapy爬虫框架入门实例

希望可以帮到刚接触python和scrapy的同学。

安装方法

首先安装wheel

pip install wheel

安装完成后验证是否成功

wheel

安装成功是这样
这里写图片描述

然后去上边的网站下载Scrapy库,
进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)
然后在控制台进入该地址
在该地址下输入

pip install [whl]

注:[whl]表示你的.whl文件,一定要全名,XXXX.whl

然后,并没有结束。。。。。

安装过程还是有可能失败

可能会出现

Failed to build XXXX 

之类的提示一闪而过(比如说我提示的 twisted),最后安装失败还是提示

error: Unable to find vcvarsall.bat

为什么会这样那,因为Scrapy框架基于Twisted

所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。

最后终于成功了。
建个项目测试一下

scrapy startproject pyjy

注:pyjy为项目名

成功了,撒花~~

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/23148.html

(0)
上一篇 2023-12-12 22:33
下一篇 2023-12-14 19:15

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信