摘 要：通过实验对网页结构和特点进行综合分析，给出对网页分块的原则和方法，在分块的基础上根据网页中噪音的出现规则提出了一种消除网页噪音的方法，使搜索引擎对网页的预处理阶段有效消除网页中的无关项和间接项的超连接，从而大大提高了搜索引擎的检索质量。
    关键词：检索质量；分块模型；搜索引擎

    随着Internet的快速发展，大量的信息呈现在用户面前，据统计，国内Web网页数量达3亿以上^[1]，上网用户总人数达8 700万，将获取信息作为上网最主要目的网民所占比例最多，达到42.3%^[2]。数据表明，Internet已成为人们获取信息的重要资源，而Google、Yahoo、百度、新浪、天网等中英文搜索引擎是人们徜徉信息海洋、获取信息的工具。然而，人们面对如此丰富的Web资源，使用搜索引擎发现自己真正需要的信息却并非容易。一方面，各搜索引擎不断改进检索技术来提高返回结果的精度，在一定程度上解决了人们获取信息的问题；另一方面，由于搜索引擎自身的问题，返回的结果与用户的要求仍有一定的距离，用户对搜索引擎的满意度不太高。主要表现为查询结果中普遍存在大量的无关项和不含具体内容的间接项，造成搜索结果数量大、结果不精确、有用的结果淹没在无用的结果之中的局面。用户不得不花费大量的时间在查询结果中寻找相关项，使得用搜索引擎来查找信息的目的难以达到。这种结果的原因之一是目前的搜索引擎没有对网页进行处理或只做了简单的处理。
    目前的搜索引擎采用以关键字检索为基础的检索技术^[3-4]，即搜索引擎按关键字对整个网页进行索引和检索。在这种处理方法中，所有出现在网页中的字词都被用作索引项，但实际的网页中常常包含大量的与网页主题无关的文字。例如，图1和图2是以“河北人民出版社”为关键字的检索结果。图1所示网页的主要内容是关于2004十大印象图书介绍，其中包括上海人民出版社出版的《达芬奇密码》，在网页中注明的出处是新华网河北频道。在这个网页中包含了“河北”和“人民出版社”，搜索引擎误把它当做“河北人民出版社”的相关项。图2所示网页的主要内容是一些图书的介绍，在左边的导航栏中出现了河北人民出版社的连接，真正提供具体信息的应该是它指向的那个页面，而那个页面也应该能被检索到，因此，图2所示网页是多余的间接项。

    如果搜索引擎在对网页标引时，把整个网页上不同主题、不同作用的文字混合在一起进行处理，那么，在检索过程中根本无法排除如图1所示的无关项。使用站点聚类技术，把出现在同一个站点上的结果项进行合并，虽然可以排除大部分如图2所示的间接项，但是耗费了查询时间。本文提出一种在标引前对网页进行预处理的方法，能够排除上述的无关项和间接项。
    目前的搜索引擎对网页的预处理较简单，几乎保留了HTML网页上所有的文字，这样固然可以保证查全率，但从目前的网络资源巨大丰富的角度来看，提高查准率对用户更具有实际意义。在研究领域里，有人提出了基于HTML标记结构的规律对特定网站进行信息抽取^[5]，但不满足搜索引擎对多种多样的网站进行处理的要求；有人提出“语义块”的概念对网页内容分层，但没有具体的实现方案^[6]；对于超连接的研究主要集中在对它所指向的页面在检索中的作用[7]，但很少有人研究超连接对网页的负面影响。
1 HTML网页的块结构模型和解析方法
1.1 HTML网页的块结构模型
    通过对大量的网页进行分析，发现人们在设计网页时通常是把网页设计成几个区域，把不同主题、不同作用的文字安排在不同的区域。结合HTML标记的特点，认为网页是由块组成的，块中可以再嵌套块。因此，HTML网页的块结构模型是：{<块起始标记><块内容><块结束标记>[，<块起始标记><块内容><块结束标记>，…]}。其中，块内容中可以再包含块。实际的网页大多是由多层的块嵌套构成的。
1.2 分块原则及算法
    HTML块标记有