HttpClient抓取网页的两种方式
HttpClient抓取网页的两种方式
发布时间:2016-12-26 来源:查字典编辑
摘要:一、利用NodeFilter对网页进行分析1、生成一个Parsera.通过url提取网络上的网页复制代码代码如下:Parserparser=...

一、利用NodeFilter对网页进行分析

1、生成一个Parser

a.通过url提取网络上的网页

复制代码 代码如下:

Parser parser = new Parser();

parser.setURL("http://www.yahoo.com.cn");

b.提取本地网页文件

通过读文件把网页文件转化成字符串;

复制代码 代码如下:

Parser parser=Parser.createParser(html,charset);

2、利用NodeFilter做一个filter

a.利用Tag Name

NodeFilter filter=new TagNameFilter("IMG");

b.利用Tag Class

NodeFilter filter = new NodeClassFilter(ImageTag.class);

3、通过匹配filter,得到所有符合条件的Tag

NodeList list=parser.extractAllNodesThat(filter);

for(int i=0;i String content=list.elementAt(i).toHtml();//得到符合条件的Tag 内容

如果针对具体情况进行更加详细的处理,则:

复制代码 代码如下:

ImageTag imageTag=(ImageTag)list.elementAt(i);

…………

}

然后根据需要做相应的处理。

二、利用Visitor对网页进行分析

1、生成一个Parser

a.通过url提取网络上的网页

复制代码 代码如下:

Parser parser = new Parser();

parser.setURL("http://www.yahoo.com.cn");

b.提取本地网页文件

通过读文件把网页文件转化成字符串;

复制代码 代码如下:

Parser parser=Parser.createParser(html,charset);

2、用visitor访问页面

复制代码 代码如下:

ex:ObjectFindingVisitor visitor=new ObjectFindingVisitor();

parser.visitAllNodesWith(visitor);

3、通过特定的visitor得到符合条件的Tag

复制代码 代码如下:

Node[] nodes=visitor.getTags();

for(int i=0;i ImageTag imageTag=(ImageTag)nodes[i];

…………

//根据需要做特定处理

}

推荐文章
猜你喜欢
附近的人在看
推荐阅读
拓展阅读
相关阅读
网友关注
最新应用技巧学习
热门应用技巧学习
网页设计子分类