大家好，欢迎来到IT知识分享网。
爬虫的框架：
scrap ：
1.
An open source and collaborative framework for extracting the data you need from websites.
In a fast, simple, yet extensible way.
1.开源的爬虫框架
2.快速、简单、高效的方式
2.安装部署
3.基本使用
1.创建一个项目
scrapy startproject test_scrapy
1.项目目录：
1.scrapy.cfg 【项目的配置文件】
2.settings.py 【项目的配置文件】
3. spiders/ 【防止 爬虫代码的目录】
2.编写爬虫代码
1.创建一个 爬虫代码
scrapy genspider [options] <name> <domain>
scrapy genspider python01 www.xxx.com
”’
name:
1.不能重复
2.爬虫文件的名字
”’
name = ‘python01’
”’
scrapy 允许爬取的 url
”’
allowed_domains = [‘www.baidu.com’]
”’
scrapy 去爬取的 url 列表
”’
start_urls = [‘http://www.baidu.com/’,’https://www.sougou.com’]
3.启动爬虫项目
1.启动命令
scrapy runspider [options] <spider_file>
scrapy runspider ./test_scrapy/spiders/python01.py
scrapy crawl python01
scrapy crawl python01 –nolog 【使用命令 不显示日志信息】
2.数据解析：
1.标签定位：
返回 selector(xpath,data[xpath表达式 结果])
2.数据解析
返回 selector(xpath,data[xpath表达式 结果])
3.取值
.get()
.getall()
3.存储数据【持久化数据】
scrapy crawl python01 -o ./sanguo.txt 【不支持txt格式】
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/11128.html
