基于xml的文本预处理技术的研究与实现

《基于xml的文本预处理技术的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华南理工大学硕士学位论文基于XML的文本预处理技术的研究与实现姓名：阳剑峰申请学位级别：硕士专业：软件工程指导教师：彭宏;朱国麟20041030摘要摘要本文就互联网上数据挖掘的需求，提出了一种以XML技术为中心的文本预处理方法。在分析网页结构的时候，忽略了对结构分析贡献小的标一记，并引入了有效字一长的概念，通过计算内容单元有效字长的大小来确定网页主题内容的所在。该方法有效的提高了网页结构分析的速度。在进行文本预处理的时候，本文使用了XML标准格式输出，用户可根据应用的需要将结果导入数据库中进行再处理，再分析。最后本研究实现了一套XML文本预处理系统的原型(XPS)，并将预处理的结

2、果应用于文本分类中，实验结果表明，该方法有效可靠，且系统具有良好的可扩展性。本文的创新点在于:有效的利用了XML接fa技术;另外在对web数据进行预处理中，对网页中的标签进行分类，仅选择布局标签来做网页结构分析，然后通过计算内容单元的相对有效字长的大小来获取主题内容单元，从而有效的避免了噪音的干扰、提高了网页分析效率。关键字:文本预处理;XML;SAX;XPS;文本分类华南理I大学硕十学位论文ABSTRACTInthispaper,textpre-processingmethodbasedonXMLtechnologywaspromotedaccordingtodemandofw

3、ebmining.Whileparsingwebpagestructure,thetagsthatcontributelittletostructure-parsingwereignoredandtheconceptofactualstring-lengthwasinducted,thusthepositionofprimarycontentofwebpagewasconfirmedbycalculatingthevalueofactualstring-lengthofcontentunit.Thespeedofstructure-parsingtowebpagestructur

4、ewasimprovedeffectively.Whentheresultofpre-processingwasprocessed,theresultwasoutputtedasnormalXMLformatandexportedtothedatabaseaccordingtothedemandofapplicationthentheresultwasre-retreatedandre-analyzed.Finally,thestudycarriedouttextpre-processingsystem(XPS)andtheresultofpre-processingwasapp

5、liedtothetextclassification.Theresultsofexperimentationshowedthatthismethodiseffectiveandreliableandthissystemisextensible.Innovationsofthisstudy:XMLinterfacetechnologywasutilizedeffectively;furthermore,whenwebdatawerepre-processed,thetagsofwebpagewereclassifiedandsimplythelayouttagswereselec

6、tedtoanalyzewebpagestructure;Finally,thedisturbanceofnoisewaseliminatedbycalculatingrelativeactualstringlengthofcontentunitthereforetheefficiencyofwebpageanalyseswasimproved.Keyword:textpre-processing;XML;SAX;XPS;textclassificationif华南理工大学学位论文原创性声明本人郑重声明:所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加

7、以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名:}"A日期:)1}4-年“月夕日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描