Python爬虫:如何模拟登录一个网站?简单易学,爬取某网站的登录

Python爬虫:如何模拟登录一个网站?简单易学,爬取某网站的登录模拟登陆模拟登陆流程:对点击登陆按钮对应的请求进行发送(post请求)处理请求参数:用户名密码验证码其他的防伪参数1. 模拟某诗文网站登陆url

大家好,欢迎来到IT知识分享网。

模拟登陆

模拟登陆流程:

  • 对点击登陆按钮对应的请求进行发送(post请求)
  • 处理请求参数:
    • 用户名
    • 密码
    • 验证码
    • 其他的防伪参数

1. 模拟某诗文网站登陆

url = https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx

不急,我们先来登陆一下获取网页的请求的参数(自行注册先哦):

Python爬虫:如何模拟登录一个网站?简单易学,爬取某网站的登录

点击登陆成功后,我们看下源代码:

Python爬虫:如何模拟登录一个网站?简单易学,爬取某网站的登录

我们看到,请求传递了 from email pwd code 等参数。我们来写下请求的代码:

logging_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx' data = { '__VIEWSTATE': 'TYrcSZVBcsrK06o1w3zD9LM9zKm2tkckwnArGUc/bevM7LJgxzZZBzrDm7OFiUftVmdPWjlgAPQck3od+jCovr/m48jr816FNS/X/AG1QxQrJZh5VMFiw8k4Q6s=', '__VIEWSTATEGENERATOR': 'C93BE1AE', 'from': 'http://so.gushiwen.cn/user/collect.aspx', 'email': 'xxx.com', 'pwd': 'xxx', 'code': 'UDSS', # 验证码 'denglu': '登录' }

我们知道,验证码是动态变化的,所以我们定义个变量,改下这句代码:

'code': code_text, # 验证码动态变化

这样,我们就简单地写了模拟登陆的开始代码.


2. 验证码识别

这里,我们利用之前学习的验证码识别课程代码进行识别:

上节课网址:验证码识别

如何识别古诗文网登陆的验证码呢?

(1) 我们先要获取验证码图片

先来分析下登录页:

Python爬虫:如何模拟登录一个网站?简单易学,爬取某网站的登录

我们看到了验证码图片所在的标签,直接右键复制xpath,写进代码里

# 登录页的网址 url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx' page_text = requests.get(url=url, headers=headers).text # 解析验证码图片的地址. tree = etree.HTML(page_text) img_src = 'https://so.gushiwen.cn' + tree.xpath('//*[@id="imgCode"]/@src')[0] # 这里我们可以利用浏览器工具复制xpath # 将验证码图片保存到本地 img_data = requests.get(url=img_src, headers=headers).content with open('./code.jpg', 'wb') as f: f.write(img_data)

(2) 识别验证码

code_text = tranformImgCode('./code.jpg', 1902) print(code_text)

(3) 验证码可以识别了,现在我们就来登陆试试:

# 对点击登陆按钮发起请求:获取了登录成功后对应的页面源码数据
page_text_login = requests.post(url=logging_url, data=data, headers=headers).text

# 保存网页
with open('./gushiwen.html', 'w', encoding='utf-8') as f:
    f.write(page_text_login)
Python爬虫:如何模拟登录一个网站?简单易学,爬取某网站的登录

额,我们发现,代码运行后并没有登陆成功,这是什么原因呢?


3. 携带cookie登陆

前面课程我们学习过了cookie,可能猜到这个网站设置了cookie反爬!那我们带上cookie来试试看

Cookie:课程

分析:

模拟登陆失败的两种情况:

cookie

验证码

验证码我们刚才获取过了,所以不可能是验证码问题。我们考虑下cookie:

session = requests.Session()

### 中间代码省略

# 对点击登陆按钮发起请求:获取了登录成功后对应的页面源码数据
page_text_login = session.post(url=logging_url, data=data, headers=headers).text
with open('./gushiwen.html', 'w', encoding='utf-8') as f:
    f.write(page_text_login)

现在我们发现,用session后,登陆成功了

Python爬虫:如何模拟登录一个网站?简单易学,爬取某网站的登录


4. 完整代码如下:

import requests
from lxml import etree
from hashlib import md5

### 验证码识别平台 代码省略

headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
}

# 定义一个session对象
session = requests.Session()

url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = session.get(url=url, headers=headers).text

# 解析验证码图片的地址.
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn' + tree.xpath('//*[@id="imgCode"]/@src')[0]  # 这里我们可以利用浏览器工具复制

# 将验证码图片保存到本地
img_data = session.get(url=img_src, headers=headers).content
with open('./code.jpg', 'wb') as f:
    f.write(img_data)

# 识别验证码
code_text = tranformImgCode('./code.jpg', 1902)
print(code_text)

logging_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data = {
    '__VIEWSTATE': 'TYrcSZVBcsrK06o1w3zD9LM9zKm2tkckwnArGUc/bevM7LJgxzZZBzrDm7OFiUftVmdPWjlgAPQck3od+jCovr/m48jr816FNS/X/AG1QxQrJZh5VMFiw8k4Q6s=',
    '__VIEWSTATEGENERATOR': 'C93BE1AE',
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': 'xxx@163.com',
    'pwd': 'xxx',
    'code': code_text,  # 动态变化
    'denglu': '登录'
}

# 对点击登陆按钮发起请求:获取了登录成功后对应的页面源码数据
page_text_login = session.post(url=logging_url, data=data, headers=headers).text
with open('./gushiwen.html', 'w', encoding='utf-8') as f:
    f.write(page_text_login)

5.扩展知识

在请求参数中如果看到了一组乱序的请求参数,最好去验证这组请求参数是否为动态变化的。

例如上述代码的:

'__VIEWSTATE': 'TYrcSZVBcsrK06o1w3zD9LM9zKm2tkckwnArGUc/bevM7LJgxzZZBzrDm7OFiUftVmdPWjlgAPQck3od+jCovr/m48jr816FNS/X/AG1QxQrJZh5VMFiw8k4Q6s=', '__VIEWSTATEGENERATOR': 'C93BE1AE',

虽然这次登陆成功了,但并不确定它们是否就是登陆的必要参数。所以,遇到此类参数,最好验证。

如何验证呢?

方式1:常规来讲 一般动态变化的请求参数会被因此在前台页面中,那么我们要从前台源码去查找

方式2:如果前台页面没有的话,我们就可以基于抓包工具进行全局搜索。(后续详解,JS逆向分析哦亲)

关注 Python涛哥,学习更多Python知识!

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/50565.html

(0)
上一篇 2024-08-24 22:26
下一篇 2024-08-25 10:26

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信