经典资料

计算机研究与发展

JournalofComputerResearchandDevelopmentISSN100021239ΠCN1121777ΠTP

43(6):1122～1128,2006

现代汉语通用分词系统中歧义切分的实用技术

罗智勇

12

1,2

　　宋　柔

2

(北京工业大学计算机学院　北京　100022)(北京语言大学信息科学学院　北京　100083)(luozy@blcu1edu1cn)

DisambiguationinaModernChineseGeneral2PurposeWordSegmentationSystem

LuoZhiyong1,2andSongRou2

12

(CollegeofComputerScience,BeijingUniversityofTechnology,Beijing100022)

(CollegeofInformationScience,BeijingLanguageandCultureUniversity,Beijing100083)

Abstract　DisambiguationisoneofthemostimportantpartsofsegmentsystemsinChinese1AChinese

general2purposewordsegmentation(GPWS)systemdemandshighercapacityofdisambiguationtechniquesparticularly,becauseithasfunctionssuchasallowinguserstocreateownandemployingmultipleuser’sdictionariestowordsegmentationandcharacteristicsofambiguityfragments(especially2scalerealcor2pus,animprovedforwarddetection,aswellasapracti2cal“rules+proposedinthispaper1Anexhaustiveextractionhasbeenmadeofsections(about214millionoccurrences)fromaPeople’sDailycor2pusof100millioncharacters(234MBapproximately),andopen2endedexperimentsontheabovestrategyrandomlywerecarriedout,whichachievedaccuracyaverageof99%1

Keywords　Chineseinformationprocessing;general2purposewordsegmentationsystem;disambiguation

摘　要　歧义切分技术是中文自动分词系统的关键技术之一1特别是在现代汉语通用分词系统(GPWS)

中,允许用户动态创建词库、允许多个用户词库同时参与切分,这给歧义切分技术提出了更高的实用性要求1从大规模的真实语料库中,考察了歧义(特别是交集型歧义)的分布情况和特征;提出了一种改进的正向最大匹配歧义字段发现算法;并根据GPWS的需求,提出了一种“规则+例外”的实用消歧策略1对1亿字《人民日报》语料(约234MB)中的交集型歧义字段进行了穷尽式的抽取,并随机的对上述策略进行了开放性测试,正确率达99%1

关键词　中文信息处理;通用分词系统;歧义切分中图法分类号　TP391112

1　引　　言

分词系统是深层次中文信息处理的基础1在现

　收稿日期:2005-01-11;修回日期:2005-10-31

有的中文自动分词方法中,基于词表的分词方法占

有主导地位1中文分词的主要的困难不在于词表中词条的匹配,而是在于切分歧义消解和未登录词语的识别[1,2]1实际上,切分歧义现象不仅仅由词表中

　基金项目:国家自然科学基金项目(60272055);国家“八六三”高技术研究发展计划基金项目(2001AA114111);教育部科学技术研究重点基

金项目(00128);教育部人文社会科学重点研究基地重大项目(02JAZJD740007)