动态数据爬取的方法,你都知道吗!

动态数据爬取的方法,你都知道吗!看到We're sorry but safe-cactus-v2 doesn't work properly without J

大家好,欢迎来到IT知识分享网。

网络爬虫,是当前一个灰产项目,俗话说爬虫用的好,捞饭吃的饱!

个人爬一些公开数据用来自己研究分析,不用于商业用途,倒是没有什么风险!

部门项目定制版本众多,又经常重叠发布,导致在测试过程中出现了低级错误,就是页面404的错误!

不要问为啥不接口测试,其实之前也有做,包括通过流量跑接口比较、还有浏览器获取HAR文件解析自动生成自动化用例等;但是项目大多是定制版本,然后每个版本都有差别,而且工期紧任务急,导致这些系统都没怎么用上,最近大版本要进行发布,领导说之前版本有404的低级bug,我就再想能不能通过爬取页面的URL然后请求进行实现!

想到就做,于是乎被狠狠打脸了!

首先我想到的是使用scrapy进行爬取系统的所有URL,然后进行请求解析,把异常的页面通过管道写入到CSV文件中,当我完成登录第一步进入到首页时,发现了些问题,就是访问的页面获取到的数据都是一样的:

动态数据爬取的方法,你都知道吗!

看到We’re sorry but safe-cactus-v2 doesn’t work properly without JavaScript enabled. Please enable it to continue.提示时,以为是javascript没有开启,于是乎就折腾了好长时间。

先是查询前端vue的路由模式,在确定是hash模式后,又查询nginx配置;确认一切无误后开始启用首选方案:

通过 Splash 集成 Scrapy 和 JavaScript

  • github: https://github.com/scrapy-plugins/scrapy-splash
  • 安装:pip install scrapy-splash
  • 运行:docker run -p 8050:8050 scrapinghub/splash
  • scrapy项目settings.py文件配置
  1. settings.py像这样将 Splash 服务器地址添加到您的 Scrapy 项目;
  2. 将 Splash 中间件添加到DOWNLOADER_MIDDLEWARES ,并更改HttpCompressionMiddleware 优先级来启用它;
  3. 添加中间件SplashDeduplicateArgsMiddleware到 SPIDER_MIDDLEWARES;
  4. 设置自定义DUPEFILTER_CLASS;
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
SPLASH_URL = 'http://10.16.53.17:8050'
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'

DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
    }

SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
    }
  • 项目应用

在业务请求时,只需要更换SplashRequest类进行请求就可以了,是不是很简单!

from scrapy_splash import SplashRequest
def parse_login(self, response):
    result = response.body.decode('utf-8')
    result = json.loads(result) if isinstance(result, str) else result
    if result.get("errno") != 0:
        logger.info("登录失败,用户名或密码错误")
        exit(0)
    else:
        logger.info(f"用户:{self.data['username']}, 登录成功!")
    _cookie = response.headers['Set-Cookie']
    self.headers["Cookie"] = _cookie
  
    for url in self.start_urls:
        yield SplashRequest(url, self.parse_page, headers=self.headers, 
                            cookies=_cookie, dont_filter=True)  
# dont_filter=True 忽略allowed_domains的过滤
  • splash启动页面
动态数据爬取的方法,你都知道吗!

  • 爬虫获取的数据

通过调用splash返回的数据竟然是乱码,乱码,由于时间关系,碰到这个问题,就只能放弃这个方案了。

动态数据爬取的方法,你都知道吗!

使用scrapy_Playwright和scrapy_selenium进行获取动态数据

playwright、selenium都是模拟浏览器行为渲染数据,然后把获取的页面元素通过scrapy进行解析;但是配置完也不得行。

  • 首先配置playwright

安装:pip install scrapy-playwright/scrapy-selenium

settings.py配置

DOWNLOADER_MIDDLEWARES = {
    'spider_projects.downloadermiddlewares.PlaywrightMiddleware': 543,
}
GERAPY_PLAYWRIGHT_HEADLESS = True #无头、浏览器不弹窗
GERAPY_PLAYWRIGHT_PRETEND = True
GERAPY_PLAYWRIGHT_PROXY = 'http://vpn:3333' # 代理设置
GERAPY_PLAYWRIGHT_PROXY_CREDENTIAL = {  'username': 'xxx',  'password': 'xxxx'}
  • 运行结果

执行爬虫时才发现,playwright竟然不支持windows环境,这是一个悲剧哇,然后配置服务器环境测试,发现获取到的数据依然是vue配置的全局的index页面;于是改成scrapy_selenium配置。本质上playwright和selenium是相同的,所以结果也是相同的。

最后的绝招:selenium

既然scrapy搭配Splash、playwright和selenium不得行,那就单独使用selenium,这个一定是可行的。于是开始写selenium;

def main():
    driver = webdriver.Chrome(executable_path=CHROME_DRIVER_PATH)
    driver.get("http://10.20.21.185:8081/dist/#/login")
    driver.maximize_window()
    driver.implicitly_wait(3)

    driver.find_element_by_xpath("*//input[@class='el-input__inner'][1]").send_keys('admin')
    driver.find_element_by_xpath("*//input[@type='password']").send_keys("Admin@123456")
    driver.find_element_by_xpath("*//button[contains(@class,'el-button btn-login')]").click()
    driver.implicitly_wait(3)

    elem = driver.find_element_by_xpath("*//div[text()=' 数据总览 ']")
    all_href = driver.find_elements_by_xpath("(//div[@class='overflow-hidden']//ul)[1]/li/a")

    urls = [i.get_attribute('href') for i in all_href[1:]]
    print(urls)
    titles = driver.find_elements_by_xpath("//p[@class='title']")
    for i in titles:
        spans = i.find_elements_by_xpath("span")
        if len(spans) == 3:
            print(f'菜单:{spans[1].text}')
            spans[2].click()
            for t in spans[2].find_elements_by_xpath():
                pass
        else:
            print(f'按钮:{spans[1].text}')
            spans[1].click()
        driver.forward()
动态数据爬取的方法,你都知道吗!

虽然selenium可以行,但是工作量却很大,每一个元素都需要识别验证,工作量大,成果小,感觉得不偿失,尤其是在时间紧急的情况下。

但是工作还需要做,答应了的事情,哭着也得完成,于是通过浏览器操作生成har文件,然后通过系统解析生成接口测试用例,总算把这个工作搞定;

HAR解析生成接口用例

  • 上传har文件
动态数据爬取的方法,你都知道吗!

  • 解析文件
动态数据爬取的方法,你都知道吗!

  • 生成代码
动态数据爬取的方法,你都知道吗!

  • 上传执行

然后上传到服务器进行执行结果,然后把报告发送出去!

动态数据爬取的方法,你都知道吗!

工作需要调研,不经过调研就承诺,到时候还是要被打脸,赤果果的例子,多么生动,幸好有备选方案可以使用!

#头条创作挑战赛##python#

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/51204.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信