1. 首页
  2. 大数据

比大数据本身更重要的是大数据的自动化分析和管理

比大数据本身更重要的是大数据的自动化分析和管理

如今所有人都在谈论大数据,但事实上,关于它很多的言论都太过夸张。就业数据显示,大数据似乎很为企业招聘者所需要。然而,更多的数据表明,企业并不知道要利用这些大数据专业人才做些什么。

然而,比大数据本身更重要的是大数据的分析和管理。而这一潮流正让服务器自动化配置系统工具大量涌现。Puppet等就是支撑“DevOps”潮流的背后力量。

正如Dice.com数据所展示的那样,Puppet是一种潮流,因为它给企业提供了一种更加简便的方式来管理一定规模的IT基础设施。这些基础设施要不被叫做大数据”,要不被叫做听起来很傻的服务器运营维护

Puppet在幕后操纵一切

专注于科技人才的Dice.com在追踪科技专业就业市场的起伏方面,可谓是一个精准的晴雨表。这可不是通过Google搜索引擎还是什么其他的软因素来测定它的,因为Dice已经追踪了约8万个每天在Dice.com上贴出的职业。然后它每年都会根据各职位在公开招聘上出现的次数来确定前十个手锏工作技能。

根据最新的Dice报告,Puppet是如今的幕后操纵者。下面让我们看一看发展最快的工作技能Dice表格。

比大数据本身更重要的是大数据的自动化分析和管理

在这些数据里,有两样是极其突出的:

不管大数据及其相关技术有多么热门,IT管理这个老市场风采依旧。

Puppet使得大数据成为现实。潜藏在所有数据后的都是服务器,而服务器都需要被管理。Puppet使管理一定规模的服务器更加简便,并且它和Bigtop一样,已经是Hadtoop相关管理工具中的一把手了。

DevOps的赞成者Sean CarolanTwitter上指出:不管公司是否公开将自己定义为大数据运营商,他们都开始意识到要么自动化要么死在这样一个软件分发不停的时代,这种自动化根本不会停止。虽然如今PuppetChefAnsibleSalt之间有着激烈的竞争,但它已经成为了市场领导者。

Puppet LabCEO Luke Kanies(也是Puppet的创始人)对数据的解释时说道:

Puppet所在的领域——自动化——和其他的领域是不一样的,这很难比较。所有的公司都一直在做数据库,所以NoSQL既被这个传统帮助着,也被这个传统阻碍着。不管愿不愿意,从根本上来说,他们是一个可以互相替换的产业。

有了Puppet,我们就弥补了这一缺陷。许多使用Puppet的人都不必再人工地干一些诸如编写自定义脚本这样的事儿,他们可以使用具有更广市场和更好生态系统的自动化技术。他们不用终止任何程序,也不用丢弃任何现存的技能,所以从人文角度来看,这也是更加简便的。再说IT管理市场越发的胶着,所有企业都知道这些问题非解决不可了——Puppet能满足你基本的需要,而不是作为一个更好的方法来取代你以前的习惯。

Kanies列举了Puppet会更加火爆的几大理由。但它真的能做的比大数据还大吗?

Puppet与大数据之间的较量

自动配置管理市场正处于发展初期,来势汹汹,它还有大量的发展空间。Puppet高居Dice.com榜榜首只不过表明了它的发展基数小而已。

再说了,事实上Dice.com的数据也没和Indeed.com提供的就业数据完全一致。

Indeed.com追踪了来自1000多家网站的职位信息,包括Dice.com。所以在分析就业趋势方面,Indeed.com拥有更全的数据库。Indeed.com的数据表明,在公开招聘方面,大数据和Hadoop的规模要比Puppet大得多:

比大数据本身更重要的是大数据的自动化分析和管理

即便在相对增长方面——这也正是Dice.com在意的——也是HadoopNoSQL遥遥领先。

比大数据本身更重要的是大数据的自动化分析和管理

然而,这也不是全部的现状。举个例子来说,Hadoop也不是一个单独的网站。它是一个技术系统,接收从Hive(一种便于查询和管理大型数据集合的分布式存储系统)到Hbase(一种键值数据存储系统)到Pig(一个分析大数据集的平台)到一系列一直在进化、扩张的所有科技数据。

其实“NoSQL”也一样,只不过数据库之间的差别要比相似点明显不少。一个文档数据库就和一个键值数据存储区很不一样。发布一个通用的“NoSQL”数据库作业其实意味着企业根本不知道他们需要什么。广而言之,所有需要大数据专业知识的人都和这些企业一样茫然。

Puppet让大数据不再是空谈

和大数据共事的企业未必知道他们成功的秘诀是什么。正如我以前所写的,Gartner在这方面的数据非常明确:所有人都知道他们需要用大数据来干些事情,但是怎么做或者做什么仍然是个谜。

不出意外,真正采用大数据的企业总在媒体炒作之后才开始,这和451 Research的分析师Michael Coté在这个有关大数据存储使用的图表中所做的详细说明惊人地一致:

比大数据本身更重要的是大数据的自动化分析和管理

虽然公司仍在探索大数据区域,他们也逐渐发现更有效地管理基础设施是多么必要。Puppet就是帮助你如何管理基础设施的工具——或者说,最最关键的就是这个如何

实际上,只要你明白基本所有和大数据有关的公开招聘都或多或少有些哗众取宠,那么你就很容易认为Dice.comIndeed.com之间明显的数据差异是合理的。各个组织都不知道他们到底需要什么,只知道他们得用大数据做一些有意义的事,所以他们也只是试着雇佣这方面的人才。

然而,当他们在寻找Puppet专长的人才时,同时也会知道他们到底需要什么——即帮助配置和管理一大群服务器的工具。虽然那些服务器最终也会被叫做大数据”,但无论他们有什么时髦的名字,他们都需要被管理。

原文始发于微信公众号(PPV课数据科学社区):比大数据本身更重要的是大数据的自动化分析和管理

原创文章,作者:ppvke,如若转载,请注明出处:http://www.ppvke.com/archives/28765

联系我们

4000-51-9191

在线咨询:点击这里给我发消息

工作时间:周一至周五,9:30-18:30,节假日休息