零基础写Java知乎爬虫之将抓取的内容存储到本地
零基础写Java知乎爬虫之将抓取的内容存储到本地
发布时间:2016-12-28 来源:查字典编辑
摘要:说到Java的本地存储,肯定使用IO流进行操作。首先,我们需要一个创建文件的函数createNewFile:复制代码代码如下:publics...

说到Java的本地存储,肯定使用IO流进行操作。

首先,我们需要一个创建文件的函数createNewFile:

复制代码 代码如下:

public static boolean createNewFile(String filePath) {

boolean isSuccess = true;

// 如有则将""转为"/",没有则不产生任何变化

String filePathTurn = filePath.replaceAll("", "/");

// 先过滤掉文件名

int index = filePathTurn.lastIndexOf("/");

String dir = filePathTurn.substring(0, index);

// 再创建文件夹

File fileDir = new File(dir);

isSuccess = fileDir.mkdirs();

// 创建文件

File file = new File(filePathTurn);

try {

isSuccess = file.createNewFile();

} catch (IOException e) {

isSuccess = false;

e.printStackTrace();

}

return isSuccess;

}

然后,我们需要一个写入文件的函数:

复制代码 代码如下:

public static boolean writeIntoFile(String content, String filePath,

boolean isAppend) {

boolean isSuccess = true;

// 先过滤掉文件名

int index = filePath.lastIndexOf("/");

String dir = filePath.substring(0, index);

// 创建除文件的路径

File fileDir = new File(dir);

fileDir.mkdirs();

// 再创建路径下的文件

File file = null;

try {

file = new File(filePath);

file.createNewFile();

} catch (IOException e) {

isSuccess = false;

e.printStackTrace();

}

// 写入文件

FileWriter fileWriter = null;

try {

fileWriter = new FileWriter(file, isAppend);

fileWriter.write(content);

fileWriter.flush();

} catch (IOException e) {

isSuccess = false;

e.printStackTrace();

} finally {

try {

if (fileWriter != null)

fileWriter.close();

} catch (IOException e) {

e.printStackTrace();

}

}

return isSuccess;

}

我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。

接着我们回到知乎爬虫中。

我们需要给知乎的Zhihu封装类加个函数,用来格式化写入到本地时的排版。

复制代码 代码如下:

public String writeString() {

String result = "";

result += "问题:" + question + "rn";

result += "描述:" + questionDescription + "rn";

result += "链接:" + zhihuUrl + "rn";

for (int i = 0; i < answers.size(); i++) {

result += "回答" + i + ":" + answers.get(i) + "rn";

}

result += "rnrn";

return result;

}

OK,这样就差不多了,接下来吧mian方法中的System.out.println改成

复制代码 代码如下:

// 写入本地

for (Zhihu zhihu : myZhihu) {

FileReaderWriter.writeIntoFile(zhihu.writeString(),

"D:/知乎_编辑推荐.txt", true);

}

运行,便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里:

零基础写Java知乎爬虫之将抓取的内容存储到本地1

大体一看没什么问题,仔细看看发现问题:存在太多的html标签,主要是<b>和<br>。

我们可以在输出的时候对这些标记进行处理。

先把<br>换成io流里面的rn,再把所有的html标签都删除,这样看起来便会清晰很多。

复制代码 代码如下:

public String writeString() {

// 拼接写入本地的字符串

String result = "";

result += "问题:" + question + "rn";

result += "描述:" + questionDescription + "rn";

result += "链接:" + zhihuUrl + "rn";

for (int i = 0; i < answers.size(); i++) {

result += "回答" + i + ":" + answers.get(i) + "rnrn";

}

result += "rnrnrnrn";

// 将其中的html标签进行筛选

result = result.replaceAll("<br>", "rn");

result = result.replaceAll("<.*");

return result;

}

这里的replaceAll函数可以使用正则,于是所有的<>标签在最后就都被删除了。

推荐文章
猜你喜欢
附近的人在看
推荐阅读
拓展阅读
相关阅读
网友关注
最新Java学习
热门Java学习
编程开发子分类