情报科学 ›› 2019, Vol. 37 ›› Issue (3): 88-92.

• 论文 • 上一篇    下一篇

基于重复模式识别的网页信息抽取研究

  

  • 出版日期:2019-03-05

  • Online:2019-03-05

摘要: 【目的/意义】随着Web网页的爆炸式增长和网页噪声不断增多,企业竞争情报系统和智能化网站的开发 以及移动终端的阅读都急需一种可以高效精确抽取网页信息的方法。【方法/过程】本文提出了基于重复模式识别 的信息提取新方法,通过页面解析、相似度计算、聚类并形成群组、删除横幅广告和导航链接等步骤,提取到了详情 页面的标题和主要内容。【结果/结论】对于结构稳定的页面,本文实现了较高质量的信息抽取。不足之处是聚类和 相似度的计算量较大,时间较长。