C# 实现抓取网站页面内容的实例方法
C# 实现抓取网站页面内容的实例方法
发布时间:2016-12-29 来源:查字典编辑
摘要:抓取新浪网的新闻栏目,如图所示:使用谷歌浏览器的查看源代码:通过分析得知,我们所要找的内容在以下两个标签之间:复制代码代码如下:内容。。。。...

抓取新浪网的新闻栏目,如图所示:

C# 实现抓取网站页面内容的实例方法1

使用 谷歌浏览器的查看源代码: 通过分析得知,我们所要找的内容在以下两个标签之间:

复制代码 代码如下:

<>

内容。。。。

<>

如图所示:

C# 实现抓取网站页面内容的实例方法2

内容。。。。

C# 实现抓取网站页面内容的实例方法3

使用VS建立一个如图所示的网站:

C# 实现抓取网站页面内容的实例方法4

我们下载网络数据主要通过 WebClient 类来实现。

使用下面源代码获取我们选择的内容:

复制代码 代码如下:

protected void Enter_Click(object sender, EventArgs e)

{

WebClient we = new WebClient(); //主要使用WebClient类

byte[] myDataBuffer;

myDataBuffer = we.DownloadData(txtURL.Text); //该方法返回的是 字节数组,所以需要定义一个byte[]

string download = Encoding.Default.GetString(myDataBuffer); //对下载的数据进行编码

//通过查询源代码,获取某两个值之间的新闻内容

int startIndex = download.IndexOf("<>");

int endIndex = download.IndexOf("<>");

string temp = download.Substring(startIndex, endIndex - startIndex + 1); //截取新闻内容

lblMessage.Text = temp;//显示所截取的新闻内容

}

效果如图:

C# 实现抓取网站页面内容的实例方法5

最后: 除了把下载的数据保存为文本以外,还可以保存为 文件类型 和 流 类型。

复制代码 代码如下:

WebClient wc = new WebClient();

wc.DownloadFile(TextBox1.Text, @"F:test.txt");

Label1.Text = "文件下载完成";

复制代码 代码如下:

WebClient wc = new WebClient();

Stream s = wc.OpenRead(TextBox1.Text);

StreamReader sr = new StreamReader(s);

Label1.Text = sr.ReadToEnd();

推荐文章
猜你喜欢
附近的人在看
推荐阅读
拓展阅读
相关阅读
网友关注
最新asp.net教程学习
热门asp.net教程学习
编程开发子分类