大家好,欢迎来到IT知识分享网。
- Request的会话对象
s = requests.session()
Python2 S = requests.Session()
所有一次会话的信息都保存在s中,只需要对s进行操作就可以了。 s.get(url) Requests通过会话信息来获取cookie信息
Cookie的五要素:Name value domain path expires
Cookie常用的一些属性:
1. Domain 域
2. Path 路径
3. Expires 过期时间
4. name 对应的key值
5. value key对应的value值
cookie中的domain代表的是cookie所在的域,默认情况下就是请求的域名,例如请求http://www.server1.com/files/hello, 那么响应中的set-Cookie默认会使用www.server1.com作为cookie的domain,在浏览器中也是按照domain来组织cookie的。 我们可以在响应中设置cookie的domain为其他域,但是浏览器并不会去保存这些domain为其他域的cookie。
cookie中的path能够进一步的控制cookie的访问,当path=/; 当前域的所有请求都可以访问到这个cookie。 如果path设为其他值,比如path=/test,那么只有/test下面的请求可以访问到这个cookie。
使用已知cookie信息,如何访问网站: url = ‘http://httpbin.org/cookies’
r = requests.get(url, cookies={‘key1’: ‘value1’, ‘key2’: ‘value2’})
print(r.text)
结果:
{
“cookies”: {
“key1”: “value1”,
“key2”: “value2”
}
}
代理访问:
采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性。import requests def save_cookie(): s = requests.session() s.get('https://www.hao123.com/') print(s.cookies) print(s.cookies.keys()) print(s.cookies.values()) for i in s.cookies: print(i) print(i.name, i.value, i.domain, i.path, i.expires) if __name__ == '__main__': save_cookie() print(s.cookies.keys()) print(s.cookies.values()) for i in s.cookies: print(i) print(i.name, i.value, i.domain, i.path, i.expires) if __name__ == '__main__': save_cookie()
import requests proxies = { "http": "http://182.108.5.246:8118", # "https": "http://112.117.184.219:9999", } r1 = requests.get("http://2017.ip138.com/ic.asp", proxies=proxies) r2 = requests.get("http://2017.ip138.com/ic.asp") print(r1.text) print(r2.text)输出 [182.108.5.246] [106.38.115.34] 如果代理需要账户和密码,则需这样: proxies = { "http": "http://user:pass@10.10.1.10:3128/",}
requests的中文乱码问题:
import requests
param = {“key1”: “hello”, “key2”: “world”}
url = ‘https://www.baidu.com/’
r = requests.get(url=url)
print(r.encoding) #ISO-8859-1默认使用的是这个
r.encoding = “utf-8”
print(r.text)这样就可以正常显示了
Requests给你提供的所有接口,在传输数据的时候,都可以以key:value的形式进行传输,相对来说比较好用。
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/10435.html