基于网络资源未登录词扩展的研究

《基于网络资源未登录词扩展的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要汉语文本都是由一个个词语构成的，从而对中文词语的处理是中文信息领域最为基础性的研究课题n3。随着互联的不断普及和发展，日常生活中不停地涌现出一些词典里面未曾收录的新词，也称为未登录词，从语料库中发现并提取出这些未登录词，可以丰富人类的语言词典，同时也可以提高计算机识别汉语的能力。未登录词本身没有一定的规律，也没有统一的标准来定义它，因此，能够较准确地识别未登录词已经是中文分词领域的一大重点研究课题，同时也是至今难以突破一大难点。本文是借助网络资源对筛选的未登录词再一次进行递归扩展，从而获得不限长度、语义更加完整的未登录词，提高了中文分词中未登录词识别的效率。主要研究内容有以

2、下几个方面：(1)系统地介绍了中文分词的研究背景、研究意义以及国内外的研究现状，而且对目前国内外极具代表性的几种中文分词系统进行简单的阐述。(2)对中文分词领域常用的几种分词算法进行详细阐述，包括基于字符串统计的算法、基于统计的算法以及基于规则的算法雎1，并分别对这几种算法进行了流程分析，介绍了中文分词中几种分词系统的评价标准以及目前中文分词领域所面临的困难。(3)未登录词的识别算法。介绍未登录词识别的常用的几种算法，即基于统计的算法、基于规则的算法以及基于统计和规则相结合的算法日1，重点阐述了基于统计和规则相结合的算法的中心思想，并对其进行流程分析，给出了统计模型和规则模型，

3、最后通过相关语料进行了实验并对实验结果进行了分析。(4)未登录词的扩展。介绍了未登录词扩展的相关信息，根据互信息和对数似然比的概念，将两者进行融合，根据一种抽取算法口3，计算公式的值，对二元候选未登录词进行筛选，然后借助网络资源识别出二元候选未登录词的最频繁左邻比以及最频繁右邻比，以这两者的值为基准，对筛选出的候选未登录词种子进行网络递归扩展，从而获得长度不限、带有修饰词的、语义更加完整的未登录词，与传统未登录词进行比较，该算法提高了未登录词的效率。关键词：中文分词，未登录词，识别算法，网络资源，扩展AbstractChinesetextismadeupofmanywords，

4、andChinesewordisthemostbasicresearchonChineseinformationprocessing．WithIntemetpopularizationanddevelopment，dailylifeconstantlyemergesomewordswhicharenotincludedintheworddictionary,alsoknownaSunknownwords，andextracttheunknownwordfromthecorpus，canenrichhumanlanguagedictionary,butalsocanimprove

5、thecomputerrecognitionofChineseability．Unknownworditselfhasnocertainlaw,thereisnouniformstandardtodefineit，therefore，CanaccuratelyidentifyunknownwordsisthekeyresearchprojectsintheChinesewordsegmentationfield，butalsodifficulttobreakthrough．Thispaperistheuseofcybersourceforrecursiveexpandingun

6、knownwordagainwhichisthescreening，therebyobtainingnolengthlimitunknownwordswhosemeaningismorecomplete，improvingrecognitionefficiencyofChinesewordsegmentationinunknownword．Themainresearchingcontentsincludethefollowing：(1)SystematicallyintroducestheChinesewordsegmentationresearchbackground，res

7、earchsignificanceandresearchstatusathomeandabroad，andsimplydiscussedseveraldomesticandforeignrepresentativewordsegmentationsystem．(2)GivedescribeindetailtoseveralwordsegmentationalgorithmwhichareusedfrequentlyontheChinesewordsegmentationdomain，incl