大家好,欢迎来到IT知识分享网。
Java也能做爬虫。
现在提到爬虫人第一个想到的就是python,其实使用Java编写爬虫也是很好的选择,Java成熟的爬虫框架很多,下面给大家展示一个使用Java基础语言编写的爬取小说的案例:
实现功能:
爬取目标网站全本小说
代码编写环境:
JDK:1.8.0_191
Eclipse:2019-03 (4.11.0)
素材:
网站:http://www.shicimingju.com(如有侵权,请联系我删除,谢谢)
小说:三国演义
案例实现用到的技术:
正则表达式
Java网络通信:URL
IO流
Map—HashMap
字符串操作
异常处理
代码思路:
- 根据小说存放位置创建file对象
- 根据网页结构编写正则,创建pattern对象
- 编写循环,创建向所有小说章节页面发起网络请求的url对象
- 网络流BufferReader
- 创建输入流
- 循环读取请求得到的内容,使用正则匹配其中的内容
- 将读取到的内容写入本地文件,知道循环结束
- 注意代码中的异常处理
案例代码:
案例代码:
package com.qianfeng.text;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class GetText {
public static void main(String[] args) {
// 1、 根据小说存放位置创建file对象
File file = new File("D:\\File\\three_guo.txt");
// 2、 根据网页结构编写正则,创建pattern对象
String regex_content = "<p.*?>(.*?)</p>";
String regex_title = "<title>(.*?)</title>";
Pattern p_content = Pattern.compile(regex_content);
Pattern p_title = Pattern.compile(regex_title);
Matcher m_content;
Matcher m_title;
// 3、 编写循环,创建向所有小说章节页面发起网络请求的url对象
for (int i = 1; i <= 120; i++) {
System.out.println("第" + i + "章开始下载。。。");
try {
// 创建每一个页面的url对象
URL url = new URL("http://www.shicimingju.com/book/sanguoyanyi/" + i + ".html");
// 创建网络读取流
BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream(),"utf8"));
// 4、读取网络内容网络流BufferReader
String str = null;
// 5、 创建输入流
BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file,true)));
while ((str = reader.readLine()) != null) {
m_title = p_title.matcher(str.toString());
m_content = p_content.matcher(str.toString());
// 获取小说标题并写入本地文件
Boolean isEx = m_title.find();
if (isEx) {
String title = m_title.group();
// 清洗得到的数据
title = title.replace("<title>", "").replace("</title>", "");
System.out.println(title);
writer.write("第" + i + "章:" + title + "\n");
}
while (m_content.find()) {
String content = m_content.group();
// 清洗得到的数据
content = content.replace("<p>", "").replace("</p>", "").replace(" ", "").replace("?", "");
// 把小说内容写入文件
writer.write(content + "\n");
}
}
System.out.println("第" + i + "章下载完成.........");
writer.write("\n\n");
writer.close();
reader.close();
} catch (Exception e) {
System.out.println("下载失败");
e.printStackTrace();
}
}
}
}
运行效果:
![Java原生代码实现爬虫(爬取小说)插图1 Java原生代码实现爬虫(爬取小说)](https://yundeesoft.com/wp-content/uploads/2022/11/2022112316405970.jpg)
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/55395.html