基于MapReduce编程模型的TFIDF算法研究
所属分类:技术论文
上传者:aet
文档大小:381 K
所需积分:0分积分不够怎么办?
文档介绍:随着Internet等技术的飞速发展,信息处理已经成为人们获取有用信息不可或缺的工具,如何在海量信息中高效地获得有用信息至关重要,因此自动文本分类技术尤为重要。现有的文本分类算法在时间复杂性和空间复杂性上遇到瓶颈,不能满足人们的需求,为此提出了基于Hadoop分布式平台的TFIDF算法,给出了算法实现的具体流程,通过MapReduce编程实现了该算法,并在单机和集群模式下进行了对比实验,同时与传统串行算法进行了对比。实验证明,使用TFIDF文本分类算法可实现对海量数据的高速有效分类。
现在下载
VIP会员,AET专家下载不扣分;重复下载不扣分,本人上传资源不扣分。