大家好,欢迎来到IT知识分享网。
一、 代理
1使用代理发送requests请求
import requests
proxies = {
'http': '112.14.47.6:52024',
}
# 180.164.66.7
respone=requests.get('https://www.cnblogs.com/',proxies=proxies)
print(respone.status_code)
# django---》部署到云服务器上---》客户端ip --request.META.get('REMOTE_ADDR')
2正向代理和反向代理
二、 代理池
为什么使用代理访问?
# 可能会被封ip,根据ip限制频率---》突破限制---》每次发送请求使用代理ip---》服务端封ip,只会限制代理ip
# 池子---》有很多代理ip---》每次随机从里面取出一个ip使用
# 免费的:不稳定
# 收费的:花钱
# 基于网上别人开源的代理池的python代码,自己搭建(本质是爬取的免费代理,验证)
-基于flask搭建的服务端:提供一些接口,只要向接口发送请求,就能随机返回一个代理
-爬虫程序:爬取免费代理,验证通过放到redis中
搭建代理池
第一步:clone代码
git clone git@github.com:jhao104/proxy_pool.git
第二步:安装依赖
pip3.8 install -r requirements.txt
第三步:配置配置文件
# settings.py
DB_CONN = 'redis://127.0.0.1:6379/1'
第四步:启动项目
# 爬虫程序
python38 proxyPool.py schedule
# web服务程序
python38 proxyPool.py server
# 第五步:获取代理
http://127.0.0.1:5010/get/
django后端获取客户端的ip
# django 返回访问者ip,部署在服务器上
# 客户端使用搭建的代理池访问我们自己的djnago
-正常会返回代理的ip地址
import requests
res1 = requests.get('http://127.0.0.1:5010/get/').json()
print(res1['proxy'])
if res1['https']:
h = 'https'
else:
h = 'http'
proxies = {
h: res1['proxy'],
}
res = requests.get('http://101.133.225.166/get_ip/',proxies=proxies)
print('---',res.text)
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/34184.html