大数据背景下的计算机信息处理技术分析

《大数据背景下的计算机信息处理技术分析》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、“大数据”背景下的计算机信息处理技术分析-辽宁思凯科技股份有限公司李硕李晓明摘要：我们日常网络活动中的搜索引擎、网络邮箱、云查杀等，都是一种简单的大数据技术的应用形式。随着大数据的不断被应用，大数据对于最初涉足其领域的企业来说，带了了丰厚的利润，当前各种各样的“云”不断涌现，大有泛滥之势，对大数据背景下的计算机信息处理技术发展也带来了考验。本文通过对大数据概念、大数据下的计算机信息处理关键技术及应用现状的分析研究，简要的说明了大数据的发展状况，针对当前大数据的形势，我们应该看到起发展中的问题，来促进大数据的健康发

2、展。关键词：大数据；信息技术；大数据；发展现状“大数据不是忽悠，它确实是一个真事，是产业大的变革。对IT产业、经济都是一次重要的机遇。”2012年4月2日，微软全球资深副总裁张亚勤在博鳌亚洲论坛“大数据、移动、社交媒体：改变商业的创新力量”上如此表示。就其主要言论而言，主要是：第一，大数据需要大量的数据、软件、应用，把它简化放在云，其实质是一中简化；第二，大数据最重要是应用软件；第三，大数据的发展是一个长期的过程；第四，大数据不是忽悠，它是产业大的变革，对IT产业、经济都是一次重要的机遇。从这一段资料分析可以看出

3、，大数据计算机信息处理技术是在不断发展的计算机技术中脱颖而出的能够处理大量数据、计算大量数据的超级计算技术。这种技术必须要有完善的硬件与软件资源作为支撑，需要虚拟化的调度完成各项数据服务功能。各IT企业已经注意到了大数据商业价值，基于大数据的各项数据服务已经不断应用于各个行业的创新领域。1大数据的概念目前，IT界对大数据的定义不下于20种，但就其本质和应用领域来看，其实是一种基于大数据应用而新兴的商业计算模式。相较于传统计算，大数据具有虚拟化、超大规模、按需服务、资源利用率高、低成本等特点。从用户角度来看，大数据

4、能为多个大数据用户（企业或个人等）提供似乎是无限的互联网计算资源，便于用户虚拟拥有和按需使用共享在“云”上的网络计算技术资源服务，大数据用户可以对自己所需的服务只需付费就可以直接得到，不需要到处跑去跑来去买、去找、去打听。实际上它所提供的是一种超大规模的网络资源共享。另外，简单的说，“云”就是资料存储以及应用服务的中心，把你想要的都放进“云”里，当你想要的时候，基于互联网，你可以随时随地拿到，当用户不需要这些数据资源时，就可以删除、释放这些资源，从而提高了使用资源上的多样性。2大数据下的信息处理关键技术大数据的应

5、用核心是按用户需求进行网络大数据资源分配。在解决好资源分配之前，最主要的是解决好超级资源云系统的构建和存储，以及自动化资源部署分配等问题。所以，大数据除了需要仔细研究其体系结构外，还应该在其虚拟化技术、高性能云存储技术、高速的云处理技术、以及相关的对数据安全技术上进行突破。2.1虚拟化技术所谓虚拟化技术是通过利用虚拟的网络设置、资源配置进行数据的存储与管理。而虚拟化技术是大数据计算机信息处理技术的基础，虚拟化技术构建的大数据信息处理技术一方面可以搜集与整合各项有利资源，对必要的信息资源进行存储；另一方面可以通过这

6、种技术对大数据处理任务进行资源优化、灵活调度来提高对大量数据的运算、处理能力与效率。可见，虚拟化处理技术也是大数据下的信息处理的关键技术。2.2云存储技术云存储实际上是由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以实质上，云存储就是大数据存储的核心技术，为大量数据的保存提供了关键性的作用。其中，因为大数据系统需要同时满足大量用户的需求服务，并要为对大数据集进行处理、分析向用户提供高效的服务。这样云存储技术必须具有高吞吐率和高

7、传输率的特点，数据管理技术也必须能够高效的管理大数据集。因此，云存储技术对于大数据信息处理的顺利展开起到了关键性的作用。首先，为了保障大数据处理任务的顺利完成，云存储技术要对大数据系统内的海量数据进行管理与分析，在利用云存储技术进行大数据管理时读操作要远远多于数据更新操作，云存储技术实际是对大数据系统中数据的读优化处理。其次，分布式的数据存储方式在云计算中起到高效计算的作用，云存储技术中对于数据库采用了高效的列存储模式，这也为海量数据中查询到某一数据带来了方便，查询效率非常高。可见，云存储技术对于提高大数据运算效

8、率必不可缺。2.3大数据自动化资源调度大数据在服务过程中，将虚拟云资源中的信息数据进行划分、安装和调度成可以为用户提供各种服务和应用的过程。大数据信息处理技术还离不开自动化资源调度技术，所谓资源调度就是将所有的大数据信息资源进行合理的配置与整合，以更好的为服务程序提供便捷。这些资源除了重要的数据库信息资源以外，还包括大数据系统涉及到的各类软件资源、硬件资源以及网络资源等等