基于html的web就业信息抽取技术研究

《基于html的web就业信息抽取技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级基于HTML的WEB就业信息抽取技术研究研究生姓名：戴慧敏指导教师姓名、职称：朱艳辉教授学科专业：计算机应用技术研究方向：智能信息处理湖南工业大学二零一三年五月三十一日万方数据万方数据万方数据摘要随着计算机的普及和互联网的发展，网络已成为人们查找信息的重要渠道。Web作为巨大的数据源，从Web中抽取信息是当前信息研究的热点之一。随着我国高校招生规模逐年扩大，给高校学生的培养及就业带来了诸多压力。我们希望从互联网上获得大量的就业信息，对专业建设和就业有一定的指导意义。互联网的这些海量信息中，大多都是半结构化的HTML格式。HTML结构的文本并不严格，语义也不清晰，人们无法快

2、速准确地找到需要的信息，所以如何快速准确地获取这些数据是亟待解决的问题。因此，我们分析了就业信息网站中HTML网页的特点，提出一种新的基于HTML结构的Web就业信息抽取模型。该模型由HTML结构预处理模块、表格定位模块和信息抽取模块三个模块组成。首先我们利用JTidy对获取的Web页代码进行清洗并转化为XML文档。再经过XML解析获取Web页的DOM树。最后通过大量的观察，我们形成启发规则来定位“真”表格，设计实现了算法；考虑到表格的跨多行、跨多列的布局会导致各个数据单元和相应属性无法一一对应，本文对表格进行标准化处理，使每一行或列都具有相同数目对齐的单元格。在多个网站进行实验的

3、结果表明，本文提出的Web信息抽取方法能够有效地抽取网页中的就业信息数据。对于Web就业信息抽取和指导今后进一步的研究方向等方面都有着重要的意义。关键词：信息抽取，HTML，DOM树，WEB表格I万方数据ABSTRACTWiththeincreasingubiquityofthecomputerandInternet,ithasbeenbecominganimportantchannelforPeopletoseareehforinformation.Asanenormousdatasource,retrivinginformationfromWebisoneofthehotpoi

4、ntsintheinformationstudyfieldnow.Withthecollegeenrollmentinourcountryhasbeenexpandingeachyears,whichgivesthestudenteducationandemploymentmanypressures.Wehopetoobtainalargeamountaboutemploymentinformationfrominternet,whichhasbeenprovidedguidingsignifieancetospecialtyconstructionandstudentemploy

5、ment.ThemostofthismasswebdataofinternetarebasedonthesemistructuredHTMLformat.ThetextbaseonHTMLstructureisnotstrictlyandthesemanticsisnotclear.Peoplecan'tfindtherequireddataquicklyandaccuratelyfromthewebdata,howtoquicklyandaccuratelyobtainthesedataisaurgentproblemneedtoresolve.Sointhispaperitpr

6、esentsanewmodelbasedonHTMLstructurethatextractsinformationfromwebemploymentinformation.ItiscomposedofHTMLstructurepretreatmentmodule,tablepositioningmoduleandinformationextractionmodule.Thefirst,JtidyisusetocleantheWebPagecodewhichisconvertedintoXMLdocuments.ThentheDOMtreeofWebinformationisfou

7、ndintheanalysisofXML.Inthelast,Throughalargenumberofobservation,weobtaintheheuristicrulesaboutlocatethepositonofthegenuinetableandalgorithmsaredesignedandimplemented.Thispaperconsiderssuchlayouttypeasthecross-rowandcross-columninstance,