技术论文投稿云计算环境下的大规模图数据处理技术思考

　　目前，大规模图数据的管理应用中，所应用的数据模型主要为单图数据模型和超图数据模型，下面是小编搜集整理的一篇技术论文:探究图数据处理技术应用的论文范文，供大家阅读参考。

 

　　摘要：云计算作为一种新型互联网相互的应用模式，云计算的应用革新了IT产业，为推动IT产业良好奠定基础。而近些年迅速崛起的生物信息网络、Web分析网络等新型网络的推出，对大规模图数据处理功能提出更高的要求。此种情况下，需要在云计算环境下，优化运用大规模图数据处理技术，提高大规模图数据处理功能。基于此点，笔者将从概述云计算展开，就云计算环境下大规模图数据处理技术应用优势进行分析，从而探究云计算大环境下大规模图数据处理技术的有效应用。

 

　　关键词：云计算环境;大规模图数据;处理技术;应用优势

 

　　图是计算机科学中最常用的一类抽象数据结构，在结构和语义方面比线性表更加复杂，更具有一般性表述能力。因此，当前所推出的新型网络社交网络分析、语义Web分析、生物信息网络分析等，对大规模图数据处理提出更高的要求。要想使新型网络可以高效、灵活的运用，需要优化运用大规模图数据处理技术，使其可以对大规模图进行高效的处理。所以，在云计算环境下，优化运用大规模图数据处理技术是非常有意义的。

 

　　1云计算概述

 

　　1.1云计算

 

　　云计算是于2007年美国IBM公司在互联网技术高速发展背景下提出的，将其定义为：可以同时描述一个系统平台或是一种类型的应用程序，核心为互联网。由此总结的云计算的技术特点为：

 

　　1) 虚拟化。云计算的运用是通过云计算服务器来实现的，它是不具备有形的实体。对于云计算服务器的运用，则是用户的网络工具，如计算机、手机等在网络环境下，与云计算的服务器连接，进而利用云计算完成各种计算任务。

 

　　2)通用性和可扩展性。因云计算具有多种功能，使得云计算平台可以支持不同的应用程序同时运行。而使云计算可以如此应用的原因是云计算集群规模具有动态伸缩性，可以满足各种应用程序的应用需求，同时也可以扩展应用。所以，云计算具有通用性和可扩展性。

 

　　3)经济性高。因为云计算本身就具有超强的容错能力，所以利用廉价的云计算集群服务器就可以支撑大规模的云计算集群，促使云计算机集群发挥作用。由此可以说明，云计算占据了低成本优势。这也是云计算能够广泛应用的原因之一[1]。

 

　　1.2 云计算的相关技术

 

　　为了使云计算可以更加广泛且有效的应用，利用科学技术研究的云计算相关技术，在云计算应用的过程中起到非常重要的作用。

 

　　1.2.1 海量分布式存储技术

 

　　此项技术是云计算存储数据的主要手段。海量分布是存储技术具有经济性高、安全性高、可用性高等特点，利用此项技术并采用冗余存储的方式，可以提高云计算数据存储量和数据存储的安全性。

 

　　1.2.2 数据管理技术

 

　　云计算在高度运行的过程中需要对大量数据进行提取、分析、比较、存储等。这一过程中，如若不能有效地管理数据，容易造成云计算数据丢失，给用户带来严重的损失。所以，云计算数据管理技术的应用是非常有必要的，可以对云计算中大量数据进行高效管理。

 

　　1.2.3 并行编程模式

 

　　云计算并行编程模式的有效运用，可以对云计算并列运行的各种应用服务予以合理编程，促使云计算可以正确的执行多个并列程序，提高云计算运行质量、效率。所以，云计算并列编程模式有效实施也很有必要[2]。

 

　　2 云计算环境下大规模图数据处理技术应用优势

 

　　基于以上对云计算的了解，笔者将重点分析和了解大规模图数据处理技术在云计算环境下运用的优势。

 

　　2.1有利于海量图数据存储和维护

 

　　由于大规模图数据处理技术可以处理GB级别甚至是PB级别的图数据量。这远远大于传统的文件系统和数据库内存，使其无法在传统文件系统或数据库中运用。但云计算采用的是分布式存储模式，可以存储大规模的图数据。在云计算环境下利用大规模图数据处理技术，可以根据实际需要，集中进行海量图数据的存储、一致性的图数据维护、统一的图数据备份等处理，提高海量图数据的安全性。

 

　　2.2提高大规模图数据应用性

 

　　大规模图数据处理技术除了具有以上优点之外，还可以在云计算环境下，依据云计算分布平行处理特点，对图数据进行分割处理，将图数据分割成若干子图，以便各个子图可以有效应用，提高图数据应用效果。所以，在云计算环境下利用大规模图数据处理技术来分割图数据，可以大大提高图数据应用性。

 

　　2.3根据不同情况，合理处理大规模图数据

 

　　从技术角度和经济角度讲，云计算环境具有良好的可伸缩性和灵活性，非常适合处理数据量弹性变化大的大规模图数据。而大规模图数据处理技术也具有可伸缩性和灵活性的特点，利用此项技术来处理大规模图数据，可以根据云中动态添加节点来扩展存储容量和计算资源，从而有效地处理大规模图数据[3]。

 

　　3云计算环境下大规模图数据处理技术的应用

 

　　图属于一种非线性数据结构，具有十分鲜明的多对多结构关系，合理利用大规模图数据处理技术来对大规模图数据进行处理，才能使图数据所表达的语义更加清晰、准确、丰富。

 

　　3.1基于云计算的图数据存储方式，合理存储图数据

 

　　目前，大规模图数据的管理应用中，所应用的数据模型主要为单图数据模型和超图数据模型。两者唯一的区别是存储格式不同。在云计算分布式存储系统中，基于以上两种数据模型进行图数据存储，形成分布式文件系统和分布式数据库。基于云计算图数据存储方式，利用大规模图数据存储技术来对大规模图形，则是根据数据模型的特点，对图数据进行合并、迁移处理，从而提高图数据的读取效率[4]。

 

　　3.2基于云计算的图数据分割，对图数据进行分割处理

 

　　由于图数据具有连通性特点，这使得图数据计算的耦合性较强。为了能利用大规模图数据处理技术来有效处理图数据，应当基于云计算图数据分割来进行。具体的做法是根据云计算分布式存储系统各个工作节点，对逻辑结构较强的、相对完整的大图进行分割处理，并且在分割过程中考虑图数据的连通性及均衡性，确保所分割的子图之间可以有效连通，并且各个子图比较均衡。

 

　　3.3 基于云计算图数据计算模型，对图数据进行计算处理

 

　　目前，云计算环境中，图数据计算的模型有两种，即Map Reduce模型和BSP模型。利用大规模图数据处理技术来进行图数据计算则是：1)Map Reduce模型。根据大规模图数据特点及Map Reduce模型特点，利用此模型搭建大规模图数据的Map Reduce模型，从而将大规模图数据计算分为Map任务和Reduce任务。在Map任务环境中，对图数据进行合理计算，输出key值。在Reduce任务环境中，将每个数据进行计算和处理，获得输出结果。2)BSP模型。大规模图数据处理技术基于BSP模型来进行大规模图数据计算，则是了解图数计算可能出现死锁或数据竞争情况，进而从消息通信的角度出发合理计算大规模图数据，获得输出值[5]。

 

　　4 结束语

 

　　综合以上内容，可以充分说明云计算环境下，基于云计算图数据存储方式、计算模型、分割方式等来利用大规模图数据处理技术，可以充分发挥此项技术优点，有效处理大规模图数据，提高图数据应用性。所以，云计算环境下，合理运用大规模图数据处理技术是非常有意义。

 

　　参考文献：

 

　　[1]于戈，谷峪，鲍玉斌等.云计算环境下的大规模图数据处理技术[J].计算机学报，2011，34(10)：1753-1767.

 

　　[2] 李渊.浅析云计算环境下的大规模图数据处理技术[J].中国高新技术企业，2014(6)：53-54.

 

　　[3] 于戈，谷峪，鲍玉斌等.云计算环境下的大规模图数据处理技术[C].第28届中国数据库学术会议论文集，2011：1753-1767.

 

　　[4] 赵小换.云计算环境下的大规模图数据处理技术分析[J].中国外资(下半月)，2012(5)：275.

 

　　[5] 李东升.云计算环境下的大规模图数据处理技术[J].信息与电脑，2015(8)：35-35，40.