大数据管理:概念、技术与挑战

被引：2333
作者：
孟小峰
慈祥
机构：
[1] 中国人民大学信息学院
来源：
计算机研究与发展 | 2013年 / 01期
关键词：
大数据; 数据分析; 云计算;
D O I：
暂无
中图分类号：
TP311.13 [];
学科分类号：
1201 ;
摘要：
云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来.数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用大数据已经成为普遍关注的话题.大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生.对大数据的基本概念进行剖析,并对大数据的主要应用作简单对比.在此基础上,阐述大数据处理的基本框架,并就云计算技术对于大数据时代数据管理所产生的作用进行分析.最后归纳总结大数据时代所面临的新挑战.
引用
收藏
页码：146 / 169
页数：24
相关论文
共 158 条
[1]  
Processing Theta-Joins using MapReduce. Okcan A,Riedewald M. SIGMOD Record . 2011
[2]   A BRIDGING MODEL FOR PARALLEL COMPUTATION [J].
VALIANT, LG .
COMMUNICATIONS OF THE ACM, 1990, 33 (08) :103-111
[3]  
Towards cost-effective storage provisioning for DBMSs. Zhang Ning,Tatemura J,Patel J M,et al. Proceedings of the VLDB Endowment . 2011
[4]  
Hive:A PetabyteSeale Dataware House using Hadoop. Thusoo Ashish,Jain Namit,Shao Zheng,etal. Proeeedings of the26th IEEE International Conferenee on Data Engineering . 2010
[5]  
Interpreting the data: Parallel analysis with Sawzall[J] . Carlos A. Varela,Paolo Ciancarini,Kenjiro Taura,Rob Pike,Sean Dorward,Robert Griesemer,Sean Quinlan. &nbspScientific Programming . 2005 (4)
[6]  
Large-scale incremental processing using distributed transactions and notifications. Daniel Peng,Frank Dabek. Operating Systems De-sign and Implementation . 2010
[7]  
Indexing multi-dimensional data in a cloud system. Wang Jinbao,Wu Sai,Gao Hong,Li Jianzhong,Ooi BengChin. Proceedings of the SIGMOD Conference . 2010
[8]  
MD-HBase:a scalablemulti-dimensional data infrastructure for location aware services. Nishimura S,Das S,Agrawal D,et al. The 19th International Conference on Mobile Data Management(MDM) . 2011
[9]  
GFS[J] . Kirk McKusick,Sean Quinlan. &nbspCommunications of the ACM . 2010 (3)
[10]  
Finding a Needle in Haystack:Facebook’’s Photo Storage. Beaver D,Kumar S. Proc of OSDI . 2010
12345678910