大家好,欢迎来到IT知识分享网。
网络爬虫,是当前一个灰产项目,俗话说爬虫用的好,捞饭吃的饱!
个人爬一些公开数据用来自己研究分析,不用于商业用途,倒是没有什么风险!
部门项目定制版本众多,又经常重叠发布,导致在测试过程中出现了低级错误,就是页面404的错误!
不要问为啥不接口测试,其实之前也有做,包括通过流量跑接口比较、还有浏览器获取HAR文件解析自动生成自动化用例等;但是项目大多是定制版本,然后每个版本都有差别,而且工期紧任务急,导致这些系统都没怎么用上,最近大版本要进行发布,领导说之前版本有404的低级bug,我就再想能不能通过爬取页面的URL然后请求进行实现!
想到就做,于是乎被狠狠打脸了!
首先我想到的是使用scrapy进行爬取系统的所有URL,然后进行请求解析,把异常的页面通过管道写入到CSV文件中,当我完成登录第一步进入到首页时,发现了些问题,就是访问的页面获取到的数据都是一样的:
看到We’re sorry but safe-cactus-v2 doesn’t work properly without JavaScript enabled. Please enable it to continue.提示时,以为是javascript没有开启,于是乎就折腾了好长时间。
先是查询前端vue的路由模式,在确定是hash模式后,又查询nginx配置;确认一切无误后开始启用首选方案:
通过 Splash 集成 Scrapy 和 JavaScript
- github: https://github.com/scrapy-plugins/scrapy-splash
- 安装:pip install scrapy-splash
- 运行:docker run -p 8050:8050 scrapinghub/splash
- scrapy项目settings.py文件配置
- settings.py像这样将 Splash 服务器地址添加到您的 Scrapy 项目;
- 将 Splash 中间件添加到DOWNLOADER_MIDDLEWARES ,并更改HttpCompressionMiddleware 优先级来启用它;
- 添加中间件SplashDeduplicateArgsMiddleware到 SPIDER_MIDDLEWARES;
- 设置自定义DUPEFILTER_CLASS;
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
SPLASH_URL = 'http://10.16.53.17:8050'
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
- 项目应用
在业务请求时,只需要更换SplashRequest类进行请求就可以了,是不是很简单!
from scrapy_splash import SplashRequest
def parse_login(self, response):
result = response.body.decode('utf-8')
result = json.loads(result) if isinstance(result, str) else result
if result.get("errno") != 0:
logger.info("登录失败,用户名或密码错误")
exit(0)
else:
logger.info(f"用户:{self.data['username']}, 登录成功!")
_cookie = response.headers['Set-Cookie']
self.headers["Cookie"] = _cookie
for url in self.start_urls:
yield SplashRequest(url, self.parse_page, headers=self.headers,
cookies=_cookie, dont_filter=True)
# dont_filter=True 忽略allowed_domains的过滤
- splash启动页面
- 爬虫获取的数据
通过调用splash返回的数据竟然是乱码,乱码,由于时间关系,碰到这个问题,就只能放弃这个方案了。
使用scrapy_Playwright和scrapy_selenium进行获取动态数据
playwright、selenium都是模拟浏览器行为渲染数据,然后把获取的页面元素通过scrapy进行解析;但是配置完也不得行。
- 首先配置playwright
安装:pip install scrapy-playwright/scrapy-selenium
settings.py配置
DOWNLOADER_MIDDLEWARES = {
'spider_projects.downloadermiddlewares.PlaywrightMiddleware': 543,
}
GERAPY_PLAYWRIGHT_HEADLESS = True #无头、浏览器不弹窗
GERAPY_PLAYWRIGHT_PRETEND = True
GERAPY_PLAYWRIGHT_PROXY = 'http://vpn:3333' # 代理设置
GERAPY_PLAYWRIGHT_PROXY_CREDENTIAL = { 'username': 'xxx', 'password': 'xxxx'}
- 运行结果
执行爬虫时才发现,playwright竟然不支持windows环境,这是一个悲剧哇,然后配置服务器环境测试,发现获取到的数据依然是vue配置的全局的index页面;于是改成scrapy_selenium配置。本质上playwright和selenium是相同的,所以结果也是相同的。
最后的绝招:selenium
既然scrapy搭配Splash、playwright和selenium不得行,那就单独使用selenium,这个一定是可行的。于是开始写selenium;
def main():
driver = webdriver.Chrome(executable_path=CHROME_DRIVER_PATH)
driver.get("http://10.20.21.185:8081/dist/#/login")
driver.maximize_window()
driver.implicitly_wait(3)
driver.find_element_by_xpath("*//input[@class='el-input__inner'][1]").send_keys('admin')
driver.find_element_by_xpath("*//input[@type='password']").send_keys("Admin@123456")
driver.find_element_by_xpath("*//button[contains(@class,'el-button btn-login')]").click()
driver.implicitly_wait(3)
elem = driver.find_element_by_xpath("*//div[text()=' 数据总览 ']")
all_href = driver.find_elements_by_xpath("(//div[@class='overflow-hidden']//ul)[1]/li/a")
urls = [i.get_attribute('href') for i in all_href[1:]]
print(urls)
titles = driver.find_elements_by_xpath("//p[@class='title']")
for i in titles:
spans = i.find_elements_by_xpath("span")
if len(spans) == 3:
print(f'菜单:{spans[1].text}')
spans[2].click()
for t in spans[2].find_elements_by_xpath():
pass
else:
print(f'按钮:{spans[1].text}')
spans[1].click()
driver.forward()
虽然selenium可以行,但是工作量却很大,每一个元素都需要识别验证,工作量大,成果小,感觉得不偿失,尤其是在时间紧急的情况下。
但是工作还需要做,答应了的事情,哭着也得完成,于是通过浏览器操作生成har文件,然后通过系统解析生成接口测试用例,总算把这个工作搞定;
HAR解析生成接口用例
- 上传har文件
- 解析文件
- 生成代码
- 上传执行
然后上传到服务器进行执行结果,然后把报告发送出去!
工作需要调研,不经过调研就承诺,到时候还是要被打脸,赤果果的例子,多么生动,幸好有备选方案可以使用!
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/51204.html