SiteServer CMS信息采集概述
SiteServer CMS信息采集概述
发布时间:2015-10-28 来源:查字典编辑
摘要:Web是一个巨大的资源宝库,目前页面数目已超过400亿,每小时还以惊人的速度增长,里面有你需要的大量有价值的信息,例如潜在客户的列表与联系信...

Web是一个巨大的资源宝库,目前页面数目已超过400亿,每小时还以惊人的速度增长,里面有你需要的大量有价值的信息,例如潜在客户的列表与联系信息,竞争产品的价格列表,实时金融新闻,供求信息,论文摘要等等。 可是由于关键信息都是以半结构化或自由文本形式存在于大量的HTML网页中,很难直接加以利用。

SiteServer CMS 信息采集功能的主要目标就是解决网络信息的采集问题,系统通过一些定制的采集逻辑,自动从指定网站或数据库中获取内容并保存到网站中。

一、主要功能

SiteServer CMS 提供强大的信息采集功能模块,用户只需要告诉系统目标网页并简单地设置页面规则,很快就可以直接得到所需要的数据了。

SiteServer CMS信息采集概述1

除了典型的Web页面信息采集外,系统还提供数据库信息采集与单文件页采集功能:

Web页面信息采集用于自动从指定网站中获取内容;

数据库信息采集用于自动从指定数据库中获取内容;

单文件页采集用于将指定网页采集到本地的对应文件中。

二、系统特点

结果数据高度准确

对目标网站进行信息自动抓取,支持HTML页面内各种数据的采集,如文本信息、图片、附件、日期等

用户对每类信息自定义来源与分类

可以下载图片与各类文件

支持定时任务,可以与SiteServer CMS 定时模块相配合,定期抽取目标网站

支持记录唯一索引,避免相同信息重复入库

支持智能替换功能,可以将内容中嵌入的所有的无关部分如广告去除

支持下一页自动浏览功能

支持数据的多种后期处理方式

数据直接进入数据库而不是文件中,因此与利用这些数据的网站程序或者桌面程序之间没有任何耦合

支持数据库表结构完全自定义,充分利用现有数据库结构

支持多个栏目的信息采集可用同一配置一对多处理

保证信息的完整性与准确性,绝不会出现乱码

三、运用行业

通过信息采集功能,用户将在信息来源,资源整合方面节约大量的人力与资金。

广泛应用于门户网站,新闻媒体,科研单位、企业网站等领域。

推荐文章
猜你喜欢
附近的人在看
推荐阅读
拓展阅读
相关阅读
网友关注
最新CMS教程学习
热门CMS教程学习
建站子分类