采用并行遗传算法的文本分割研究

赵煜 1; 蔡皖东 1; 樊娜 1; 刘念 2

您当前的位置：

首页 >

文章列表页 >

采用并行遗传算法的文本分割研究

更新时间：2025-07-09

- 采用并行遗传算法的文本分割研究
- Research of Text Segmentation Based on Parallel Genetic Algorithm
- 西安交通大学学报 2009年43卷第12期页码：40-44
- 作者机构：
  
  西北工业大学计算机学院,西安,710072
- 作者简介：
- 基金信息：
  
  : 2009-06-22. 作者简介: 赵煜(1981-),男,博士生;蔡皖东(联系人),男,教授,博士生导师. 基金项目: 国家“863计划”资助项目(2009AA01Z424);教育部高等学校博士学科点专项科研基金资助项目(200806990030)
- DOI：
  中图分类号： TP39
- 网络首发：2009-12-10，
  
  纸质出版：2009
- 稿件说明：
移动端阅览
赵煜 1, 蔡皖东 1, 樊娜 1, 等. 采用并行遗传算法的文本分割研究[J]. 西安交通大学学报, 2009,43(12):40-44.

Research of Text Segmentation Based on Parallel Genetic Algorithm[J]. 2009, 43(12): 40-44.
赵煜 1, 蔡皖东 1, 樊娜 1, 等. 采用并行遗传算法的文本分割研究[J]. 西安交通大学学报, 2009,43(12):40-44. DOI：

Research of Text Segmentation Based on Parallel Genetic Algorithm[J]. 2009, 43(12): 40-44. DOI：

摘要

针对短篇幅文本数据稀疏的特性

提出了一种利用外部语料库知识提高短篇幅文本分割准确率的方法.该方法分2个步骤完成:① 利用Gibbs采样方法估计语料库对应的潜在狄利克雷分配(LDA)模型

并利用该模型推断目标文本的潜在语义结构信息; ② 通过定义语义段落内凝聚性和语义段落间发散性2个目标函数

将文本分割问题转化为多目标优化问题.采用一种针对文本分割的并行遗传算法

获得全局最优解.通过实验

在文本数据稀疏的情况下

该算法在准确率方面优于多元判别分析(MDA)方法和基于LDA的文本分割方法

对于提高文本分割的准确率是可行和有效的.

Abstract

Focusing on the data sparseness of short texts

an algorithm based on knowledge from external corpus is proposed to improve the accuracy of text segmentation

which contains two steps: Gibbs sampling is adopted to estimate the LDA model; corresponding to the corpus and the latent semantic structure information of the text is inferred based on the LDA model. Two objective functions of internal cohesion and external dissimilarity are then defined to transform text segmentation into a multi-objective optimization problem. A parallel genetic algorithm based on the objective functions is emloyed to obtain the global optimal solution for text segmentation. According to the experiments

the proposed algorithm achieves higher accuracy than the MDA and LDA-based methods in the case of data sparseness.

关键词

Keywords

references

朱靖波, 叶娜, 罗海涛. 基于多元判别分析的文本分割模型 [J]. 软件学报, 2007, 18(3): 555-564.

ZHU Jingbo, YE Na, LUO Haitao. Text segmentation model based on multiple discriminant analysis [J]. Journal of Software, 2007, 18(3): 555-564.

石晶, 胡明, 石鑫, 等.基于LDA模型的文本分割 [J]. 计算机学报, 2008, 31(10): 1865-1873.

SHI Jing, HU Ming, SHI Xin, et al. Text segmentation based on model LDA [J]. Chinese Journal of Computers, 2008, 31(10): 1865-1873.

BRANTS T, CHEN F, TSOCHANTARIDIS I. Topic-based document segmentation with probabilistic latent semantic analysis [C]∥Proceedings of the 11th International Conference on Information and Knowledge Management. McLean, Virginia, USA: ACM Press, 2002: 211-218.

石晶, 戴国忠. 基于PLSA模型的文本分割 [J]. 计算机研究与发展, 2007, 44(2): 242-248.

SHI Jing, DAI Guozhong. Text segmentation based on PLSA model [J]. Journal of Computer Research and Development, 2007, 44(2): 242-248.

BLEI D M, ANDREW Y N, JORDAN M I. Latent Dirichlet allocation [J]. Journal of Machine Learning Research, 2003(3): 993-1022.

GRIFFITHS T, STEYVERS M. Finding scientific topics [C]∥Proceedings of the National Academy of Sciences.Washington, USA:National Academy of Sciences,2004: 5228-5235.

ZITZLER E. Evolutionary algorithms for multiobjective optimization: methods and applications [D]. Zurich, Swiss: Swiss Federal Institute of Technology Zurich, 1999.

雷英杰, 张善文, 李续舞,等. 遗传算法工具箱及应用 [M]. 西安: 西安电子科技大学出版社, 2005.

WITTEN I H, FRANK E. Data mining: practical machine learning tools and techniques [M]. Singapore: Elsevier, 2005.

JUNG Y. Design and evaluation of clustering criterion for optimal hierarchical agglomerative clustering [D]. Twin Cities,USA: University of Minnesota, 2001.

PEVZNER L, HEARST M. A critique and improvement of an evaluation metric for text segmentation [J]. Computational Linguistics, 2002(28): 1-19.

BEEFERMAN D, BERGER A, LAFFERTY J. Text segmentation using exponential models [C]∥Proceedings of the 2nd Conference on Empirical Methods in Natural Language Processing. Rhode Island, USA: EMNLP, 1997: 35-46.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

氘氘中子源超热中子场优化设计

石化设备故障率分布参数和维修效果参数估计

基于遗传算法的复合式贴片机贴装过程优化

面向Pareto最优遗传算法的服务组合方法