网上有不少关于正文提取的算法,有基于dom树,文字长度,投票,视觉信息的,这些都可以简单了解一下,不过对于国内主要搜索引擎百度,我们就得尽量找找他有没有这方面的专利.

　　百度专利<<一种用于对页面进行主体识别的方法与设备>>申请于2011年,里面是这样识别主体的

　　1.对页面进行分块,分块就是对一些标签进行合并,html标签中一般来讲p,span,font等是常见的用于文本的标签,div,table,td等是用于块的标签,通过合并,可以简化页面的结构,便于分析.

　　2.对块进行合并,当属于同一层级,并且是属于可合并类型(这里类型不限于图片,文本,链接等)的块进行合并,可以简单理解为段落的合并.

　　3.对合并后的块进行字体格式信息,行数,宽度,位置进行识别

　　4.对主体进行识别,这里有相应的投票机制和算法,举例:如果块位于网页的中部,行数和宽度大于预设阈值,标题字号和文本字号不同,就识别为主体.

　　上面是这篇专利主要讲的方法,但要明白,不同的行业其实是有不同的识别规则的,有些行业由于数据结构的特殊性,所以并不是字数多就是主体,比如商品页,字段最多的可能是评论区块.所以对于不同行业要做不同的分析。