爬虫篇：代理池搭建

大家好，欢迎来到IT知识分享网。

一、 代理

1使用代理发送requests请求

import requests
proxies = {
    'http': '112.14.47.6:52024',
}
# 180.164.66.7
respone=requests.get('https://www.cnblogs.com/',proxies=proxies)
print(respone.status_code)

# django---》部署到云服务器上---》客户端ip --request.META.get('REMOTE_ADDR')

2正向代理和反向代理

二、 代理池

为什么使用代理访问？

# 可能会被封ip，根据ip限制频率---》突破限制---》每次发送请求使用代理ip---》服务端封ip，只会限制代理ip
# 池子---》有很多代理ip---》每次随机从里面取出一个ip使用

# 免费的:不稳定
# 收费的：花钱

# 基于网上别人开源的代理池的python代码，自己搭建（本质是爬取的免费代理，验证）
	-基于flask搭建的服务端：提供一些接口，只要向接口发送请求，就能随机返回一个代理
    -爬虫程序：爬取免费代理，验证通过放到redis中

搭建代理池

第一步：clone代码
git clone git@github.com:jhao104/proxy_pool.git
    
第二步：安装依赖
pip3.8 install -r requirements.txt

第三步：配置配置文件
# settings.py
DB_CONN = 'redis://127.0.0.1:6379/1'

第四步：启动项目
# 爬虫程序
python38 proxyPool.py schedule
# web服务程序
python38 proxyPool.py server

# 第五步：获取代理
http://127.0.0.1:5010/get/  

django后端获取客户端的ip

# django 返回访问者ip，部署在服务器上
# 客户端使用搭建的代理池访问我们自己的djnago
	-正常会返回代理的ip地址
    import requests
    res1 = requests.get('http://127.0.0.1:5010/get/').json()
    print(res1['proxy'])
    if res1['https']:
        h = 'https'
    else:
        h = 'http'

    proxies = {
       h: res1['proxy'],
    }
    res = requests.get('http://101.133.225.166/get_ip/',proxies=proxies)
    print('---',res.text)