校花网爬取校花照片

大家好，欢迎来到IT知识分享网。

"""
今天我们开始尝试,第一次学习爬虫的第一个案例,去校花网上爬取一些校花的照片

"""
from requests_html import HTMLSession
##首先导入这个包

# 然后定义一个类,将这个功能封装起来,将我们所要实现的功能,都封装到这个类中
# 在以后的编程中,尽量将实现同一功能的函数,都封装到一个类中,这样比较方便


class Spider(object):
 def __init__(self):
 self.session = HTMLSession() ##先 生成一个这样的对象

 def get_index_url(self):
 ##获取需要爬取的url路由
 for i in range(1, 4):
 ##分页处理,由于第一个路由没有规律,所以第一个需要特殊处理.
 ##这里我们的校花网图片只有三页,以后爬取其他网站,我们也要找到
 # 分页的url的规律,然后生成这样一个生成器,然后逐个返回
 if i == 1:
 yield 'http://www.xiaohuar.com/meinv/'
 #这是一个生成器对象 ,每次返回一个元素 下次继续从这里执行
 else:
 yield 'http://www.xiaohuar.com/meinv/index_%s' % i

 #当我们得到了要爬取图片的url之后,就要去找图片的具体的位置路径了.
 def get_img_url(self, index_url):###将页面的url传进来
 r = self.session.get(url=index_url)
 ###这个就是通过那个路由,模拟路由器向这个URL发送请求,得到那个返回的html
 for element in r.html.find('.items'): ##现在就是利用那个css选择器从那个返回的结果中筛选
 ##这里使用的是类选择器,凡是有 class = 'items'的都会被筛选出来
 img_element = element.find('img', first=True)##first=True 表示获取列表中的第一个元素
 ##然后继续在这个刚才筛选出来的结果中继续筛选,就标签选择器
 title_element = element.find('.p_title a', first=True)
 ##这个是获取图片的名称的那个a标签
 yield "http://www.xiaohuar.com" + img_element.attrs.get('src'), title_element.text
 ###将这两个标签对象返回出去,由于第一个路径不是绝对路径是一个相对路径,所以这里需要做一个拼接

 def save_img(self, img_url, img_name): ###保存图片到本地,并且命名
 img_name = img_name.replace('/', '').replace("\\", "") + ".jpg"
 ###因为我们之前获取的文件名中 可能会有 \ 或者 / 这种特殊符号,存成文件名会被识别成文件夹名称
 ##所以这里我们需要替换一下 双\\ 表示转义之后的 \
 r = self.session.get(url=img_url) ##根据图片的资源地址 获取资源
 with open(img_name, 'wb') as f:
 f.write(r.content)
 # r.content 就是那个图片的二进制数据流
 print("%s下载完成" % img_name)

 def run(self): ##执行函数
 for index_url in self.get_index_url():
 for img_url, img_name in self.get_img_url(index_url):
 self.save_img(img_url, img_name)


if __name__ == '__main__':
 xiaohua = Spider()
 xiaohua.run()