一种具有容错机制的MapReduce模型研究与实现

史椸 1; 耿晨 2; 齐勇 1

doi:10.7652/xjtuxb201402001

您当前的位置：

首页 >

文章列表页 >

一种具有容错机制的MapReduce模型研究与实现

更新时间：2025-07-09

- 一种具有容错机制的MapReduce模型研究与实现
- A MapReduce System with Fault-Tolerant Mechanism
- 西安交通大学学报 2014年48卷第2期页码：1-7
- 作者机构：
  
  西安交通大学电子与信息工程学院,西安,710049
- 作者简介：
- 基金信息：
  
  : 2013-09-17。作者简介: 史椸(1975—),女,讲师。基金项目: 国家自然科学基金资助项目(60933003);教育部高等学校博士学科点专项科研基金资助项目(20120201110010)
- DOI：10.7652/xjtuxb201402001
  中图分类号： TP311
- 网络首发：2014-02-10，
  
  纸质出版：2014
- 稿件说明：
移动端阅览
史椸 1, 耿晨 2, 齐勇 1. 一种具有容错机制的MapReduce模型研究与实现[J]. 西安交通大学学报, 2014,48(2):1-7.

A MapReduce System with Fault-Tolerant Mechanism[J]. 2014, 48(2): 1-7.
史椸 1, 耿晨 2, 齐勇 1. 一种具有容错机制的MapReduce模型研究与实现[J]. 西安交通大学学报, 2014,48(2):1-7. DOI： 10.7652/xjtuxb201402001.

A MapReduce System with Fault-Tolerant Mechanism[J]. 2014, 48(2): 1-7. DOI： 10.7652/xjtuxb201402001.

摘要

针对传统MapReduce模型的容错机制对错误的处理效率低下等问题

提出了一种基于多核虚拟机的具有容错机制的MapReduce模型。该模型使用检查点机制进行错误恢复

并只对中间结果和必要的状态信息进行保存; 利用虚拟机在隔离内存中保存中间结果; 根据用户的需要及系统的负载情况动态调整系统中工作节点的个数。通过在SUN的32核、主频为2.38 GHz、内存为128 GB服务器上的测试

结果表明:与传统MapReduce模型相比

改进MapReduce模型降低了通信上的开销

提高了MapReduce运行过程的可靠性和错误恢复的性能

虚拟机监控器可以完全控制和管理多核平台的内存

使操作系统无法直接访问隔离的内存

数据恢复不会受到操作系统内部各种错误的影响

保证了恢复数据的安全性。

Abstract

A MapReduce with fault-tolerant mechanism based on multi-core virtual machine is proposed to solve the problem that the simple fault-tolerant mechanism in traditional MapReduce is prone for duplicate calculation in error processing. The system uses checkpoint mechanism to perform error recovery and only saves intermediate results and necessary state information. It stores the intermediate results in isolated memory through virtual machine. The number of worker nodes is dynamically adjusted according to the user's need and the system load. Experiments are conducted on 32-core

2.38 GHz

128 GB SUN server and the results show that the proposed MapReduce reduces communication cost

and improves system reliability and error recovery performance. Virtual Machine Monitor can entirely control and manage the memory of a multi-core system and disable OS to visit the isolated memory directly. The security of data recovery is guaranteed by avoiding affection of errors occurring inside the OS.

关键词

Keywords

references

DEAN J, GHEMAWAT S. MapReduce: a flexible data processing tool[J]. Communications of the ACM, 2010, 53(1): 72-77.

MOHANTY R P, TURUK A K, SAHOO B. Analysing the performance of multi-core architecture[C]∥Proceedings of the first International Conference on Computing, Communication and Sensor Networks. New York, USA: IJCA, 2013: 28-33.

MERRITT R. CPU designers debate multi-core future[EB/OL].(2008-02-06)[2012-10-02]. http:∥www.eetimes.com/document.asp?doc_id=1167932.

DESNOYERS M, MCKENNEY P E, STEM A S, et al. User-level implementations of read-copy update[J]. IEEE Transactions on Parallel and Distributed Systems, 2012, 23(2): 375-382.

Receive-side scaling enhancements in windows server[EB/OL].(2008-11-05)[2012-10-15]. http:∥www.microsoft.com/whdc/device/network/ndis_rss.mspx.

MATTHEWS J N, DOW E M, DESHANE T, et al. Running Xen: a hands-on guide to the art of virtualization[M]. New Jersey, USA: Prentice Hall, 2008: 56-59.

CHAPMAN M. HEISER G. vNUMA: a virtual shared-memory multiprocessor[C]∥Proceedings of the 2009 USENIX Annual Technical Conference. San Diego, USA: USENIX Association, 2009: 349-362.

GULATI A, MERCHANT A, VARMAN P J. MClock: handling throughput variability for hypervisor I/O scheduling[C]∥Proceedings of the 9th USENIX Conference on Operating Systems Design and Implementation. Berkeley, CA, USA: USENIX Association, 2010: 1-7.

TALBOT J, YOO R M, KOZYRAKIS C. Phoenix++: modular MapReduce for shared-memory systems[C]∥Proceedings of the Second International Workshop on MapReduce and Its Applications. New York, USA: ACM, 2011: 9-16.

赵银亮,朱常鹏,韩博,等.以虚拟机为核心实现动态行为调整的方法.2013,47(6):6-10.[doi:10.7652/xjtuxb201306 002]

苏莉,陈鹏飞,齐勇,等.贝叶斯证据框架下最小二乘支持向量机的软件老化检测方法.2013,47(3):12-18.[doi:10.7652/xjtuxb201308003]

庄威,桂小林,林建材,等.云环境下基于多属性层次分析的虚拟机部署与调度策略.2013,47(2):28-32.[doi:10.7652/xjtuxb201302005]

史椸,邱劲锋,侯迪,等.一种敏捷服务组合方法模型的研究与设计.2013,47(2):1-6.[doi:10.7652/xjtuxb201302001]

李健,黄庆佳,刘一阳,等.云计算环境下的大规模图状数据处理任务调度算法.2012,46(12):116-122.[doi:10.7652/xjtuxb201212020]

晁武杰,甘永梅,王兆安,等.实时状态树结构模型的最优非阻塞模块化监督控制研究.2012,47(4):86-91.[doi:10.7652/xjtuxb201304015]

曹仰杰,杨海兵,钱德沛,等.多核编程模型运行时环境的自适应性研究.2011,45(6):130-134.[doi:10.7652/xjtuxb 201106023]

陈峰,李伟华,陈昊,等.采用模型检测器的软件安全模型验证方法.2011,45(2):15-20.[doi:10.7652/xjtuxb201102004]

李小虎,杜海峰,张进华,等.多层前向小世界神经网络的逼近与容错性能.2010,43(12):59-63.[doi:10.7652/xjtuxb 201007014]

韦远科,赵银亮,宋少龙,等.面向片上多核处理器的推测多线程机制下的独立栈模型.2010,44(12):10-15.[doi:10.7652/xjtuxb201012003]

崔筱宁,赵保华,李青,等.传感器数据中事件样本与错误样本的系统化区分框架.2010,44(10):30-35.[doi:10.7652/xjtuxb201010006]

王得利,高德远.片上多核中一种共享感知的数据主动推送Cache技术.2010,44(10):18-23.[doi:10.7652/xjtuxb2010 10004]

宋少龙,赵银亮,冯博琴,等.支持推测多线程的展多核模拟器Prophet+.2010,44(10):13-17.[doi:10.7652/xjtuxb2010 10003]

赵敏,郑崇勋,赵春临,等.利用Fisher判别式和事件相关电位的心理意识真实性识.2010,44(8):132.[doi:10.7652/xjtuxb201008026]

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多核编程模型运行时环境的自适应性研究

多核并行测试系统研究

冷库水平空气幕热湿阻隔性能数值模拟研究

水蒸气掺混对氨裂解气旋流燃烧与排放特性的影响研究

张角凹坑气膜孔对双层壁气膜冷却特性的影响