Hadoop框架下的多标签传播算法

孙霞 1; 张敏超 1; 冯筠 1; 张蕾 1; 何绯娟 2

doi:10.7652/xjtuxb201505021

您当前的位置：

首页 >

文章列表页 >

Hadoop框架下的多标签传播算法

更新时间：2025-07-09

- Hadoop框架下的多标签传播算法
- A Label Propagation Algorithm for Multi-Label Classification Using Hadoop Technology
- 西安交通大学学报 2015年49卷第5期页码：134-139
- 作者机构：
  
  西北大学信息科学与技术学院,西安,710127
- 作者简介：
- 基金信息：
  
  : 2014-11-18。作者简介: 孙霞(1977—),女,副教授。基金项目: 国家自然科学基金资助项目(61202184,61100166);陕西省教育厅资助项目(2013JK1152)
- DOI：10.7652/xjtuxb201505021
  中图分类号： TP391
- 网络首发：2015-05-10，
  
  纸质出版：2015
- 稿件说明：
移动端阅览
孙霞 1, 张敏超 1, 冯筠 1, 等. Hadoop框架下的多标签传播算法[J]. 西安交通大学学报, 2015,49(5):134-139.

A Label Propagation Algorithm for Multi-Label Classification Using Hadoop Technology[J]. 2015, 49(5): 134-139.
孙霞 1, 张敏超 1, 冯筠 1, 等. Hadoop框架下的多标签传播算法[J]. 西安交通大学学报, 2015,49(5):134-139. DOI： 10.7652/xjtuxb201505021.

A Label Propagation Algorithm for Multi-Label Classification Using Hadoop Technology[J]. 2015, 49(5): 134-139. DOI： 10.7652/xjtuxb201505021.

摘要

标签传播算法的主要思想是利用已标注数据的标签信息预测未标注数据的标签信息。然而

传统传播算法没有区别对待未标注数据与已标注数据相互之间的转移信息

导致算法的收敛速度较慢

影响了算法的性能。针对传统算法的不足

提出了差异权重标签传播算法

算法按标注信息的重要性赋予不同的权重。在解决了大规模特征矩阵相乘问题之后

将提出的差异权重标签传播算法应用到Hadoop框架下

采用分布式计算

实现了能够处理大规模数据的多标签分类算法(HSML)

并将提出的HSML算法与现有主流多标签分类算法进行了性能比较。实验结果表明

HSML算法在多标签分类的各项性能评测指标和执行速度上都是有效的。

Abstract

A method of label propagation using Hadoop technology

named HSML

is proposed

to cope with the challenge of exponential-sized output space learning from multi-label data. Label propagation algorithms are graph-based semi-supervised learning methods

and use the label information of labeled data to predict the label information of unlabeled data. Traditional label propagation algorithms do not consider the posterior probability and distinguish information between labeled data and unlabeled data during the label propagation process

hence

the performance of traditional label propagation algorithms is affected. Therefore

a label propagation algorithm with different weights is proposed. After the multiplication problem of large-scale feature matrices is solved

the proposed algorithm is applied to the framework of Hadoop to deal with the problem of multi-label classification learning from big data. Experimental results and comparisons with some well-established multi-label learning algorithms

show that the performance of HSML is superior

and that the bigger test set is the faster HSML runs.

关键词

Keywords

references

ZHANG Minling, ZHOU Zhihua. A review on multi-label learning algorithms [J]. IEEE Transactions on Knowledge & Data Engineering, 2014, 26(8): 1-59.

XU Miao, LI Yufeng, ZHOU Zhihua. Multi-label learning with pro loss [C]∥Proceedings of the 27th AAAI Conference on Artificial Intelligence. Palo Alto, California, USA: AAAI, 2013: 998-1004.

SUN Y Y, ZHANG Y, ZHOU Z H. Multi-label learning with weak label [C]∥24th AAAI Conference on Artificial Intelligence. Palo Alto, California, USA: AAAI, 2010:593-598.

孔祥南, 黎铭, 姜远, 等. 一种针对弱标记的直推式多标记分类方法 [J]. 计算机研究与发展, 2010, 47(8): 1392-1399.

KONG Xiangnan, LI Ming, JIANG Yuan, et al. A transductive multi-label classification method for weaklabeling [J]. Journal of Computer Research and Development, 2010, 47(8): 1392-1399.

BOUTELL M R, LUO J, SHEN X, et al. Learning multi-label scene classification [J]. Pattern Recognition, 2004, 37(9): 1757-1771.

TSOUMAKAS G, VLAHAVAS I. Random k-labelsets: an ensemble method for multilabel classification [C]∥18th European Conference on Machine Learning. Berlin, Germany: Springer, 2007: 406-417.

ZHANG Minling, ZHOU Zhihua. ML-kNN: a lazy learning approach to multi-label learning [J]. Pattern Recognition, 2007, 40(7): 2038-2048.

ZHANG Minling, ZHOU Zhihua. Multilabel neural networks with applications to functional genomics and text categorization [J]. IEEE Transactions on Knowledge and Data Engineering, 2006, 18(10): 1338-1351

ELISSEEFF A, WESTON J. A kernel method for multi-labelled classification [C]∥Advances in Neural Information Processing Systems. Cambridge, MA, USA: MIT, 2002: 681-687.

ZHU X J, GHAHRAMANI Z. Learning from labeled and unlabeled data with label propagation, CMU-CALD-02-107 [R]. Pittsburghers, USA: Carnegie Mellon University, 2002.

http:∥hadoop.apache.org.

http:∥blog.csdn.net/liou825/article/details/9320745.

http:∥www.datatang.com/data/list.

http:∥cse.seu.edu.cn/people/zhangml/Publication.htm.

马莉,唐善成,王静,等.云计算环境下的动态反馈作业调度算法.2014,48(7):77-82.[doi:10.7652/xjtuxb201407014]

陈秀真,李生红,凌屹东,等.面向拒绝服务攻击的多标签IP返回追踪新方法.2013,47(10):13-17.[doi:10.7652/xjtuxb 201310003]

刘光辉,任庆昌,孟月波,等.自适应先验马尔可夫随机场模型的图像分割算法.2013,47(10):62-67.[doi:10.7652/xjtuxb201310011]

杜友田,辛刚,郑庆华.融合异构信息的网络视频在线半监督分类方法.2013,47(7):96-101.[doi:10.7652/xjtuxb201307 018]

艾波,胡军,张早校,等.含缺陷蒸汽发生器管道爆破压力预测的遗传-神经网络算法.2011,45(9):84-89.[doi:10.7652/xjtuxb201109016]

徐胜军,韩九强,赵亮,等.用于图像分割的局部区域能量最小化算法.2011,45(8):7-12.[doi:10.7652/xjtuxb201108 002]

温超,耿国华,李展.构建新包空间的多示例学习方法.2011,45(8):62-66.[doi:10.7652/xjtuxb201108011]

余思,桂小林,黄汝维,等.一种提高云存储中小文件存储效率的方案.2011,45(6):59-63.[doi:10.7652/xjtuxb201106 011]

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

采用资源划分的云环境下Hadoop资源许可调度方法

采用机器学习的大规模并行程序I/O性能建模与预测方法

超临界水异常区域热力学特性研究

多工况下离心压气机叶轮-机匣一体联合设计优化

张角凹坑气膜孔对双层壁气膜冷却特性的影响