大数据行业里的两大误区-零度新闻网

本篇文章3731字，读完约9分钟

“大数据”这个词可能是近两年来it行业最热门的词汇之一。在各种论坛和会议中，谈论大数据是必要的。在it行业，“大数据”这个词已经成为一个“街机”或“街头词汇”。如果你不跟随潮流，你会很尴尬，不敢告诉别人你正在从事信息技术。在某种程度上，大数据的“圈子”太混乱了，这并不比“圈子”好多少。

首先，从概念上讲，什么是大数据？事实上，自从人类诞生以来，数据处理就已经存在了。古人的打结笔记是基本的统计数字，统计数字表明他们吃过几次饭，打猎过几次；更进一步，皇帝每天晚上都要翻牌，这也是数据处理。在移交品牌之前，需要对大量品牌的“便利性”、“高热”和“新鲜度”等指标进行分析；最近，在大数据这个词出现之前，数据仓库已经成熟了几十年。因此，大数据并不新鲜，但是一些技术，比如hadoop、mr、storm和spark，已经发展到了一定的阶段，符合这些技术炒出来的概念，但是这些概念都是基于一个“开源”的基本概念，这在以前的任何阶段都没有出现过，它可以节省成本和提高效率，所以每个人都把火柴扔进这个行业(说现在很多人跟随潮流并制造噪音，这对于个人来说不是一件坏事)。

大数据行业里的两大误区

关注最关心的金融话题，一起讨论。

误区一:只有从事大数据技术开发的人才是真正的“内部人士”。

作者参加过几次会议，其中70%是技术会议，中国所有与数据相关的项目经理和技术负责人都出席了会议。讨论的主题是升级cdh版本时存在哪些问题，在处理蜂巢作业时哪种方式更好，如何在匹配storm和kafka时更有效，以及在应用spark时如何释放内存。参与者都有相同的态度:不了解大数据技术的人没有资格评论大数据。如果你不了解hadoop 2.0中的资源分配、spark在内存中驻留时间的优化以及卡夫卡的收藏，那就不要参加这个会议！顺便说一下，最近谷歌完全放弃了mr，只使用了数据流，你明白吗？不知道怎么滚！

大数据行业里的两大误区

在这里，我想说技术的进步是由商业驱动的。一个宝藏只有在被爱占有时才能被称为大数据吗？作为一名聋人按摩师，我用打结的音符完成了对不同体型人的全过程治疗，所以这不叫大数据分析？技术发展到什么程度，只有一小部分是由科学家对完美的追求所驱动的，而大部分原因是商业发展到一定程度，这就需要技术进步才能实现目标。

大数据行业里的两大误区

因此，真正的大数据“内部人员”必须至少包括以下人员:

一、企业经营者。例如，互联网的产品经理要求技术人员在用户到达网站时计算他今天的情绪指数，并实现动态监控，这一次只能通过风暴或火花来处理；例如，电信运营商要求实时营销。当用户进入营业厅时，他必须立即向用户推送一条短信，提示在这个营业厅有一个特别适合他的相亲(显示身高、身高、体重等指标)，但在看到之前，请先购买4g手机；例如，当病人到银行开户时，银行知道用户在上周去过医院两次，出国三次，带孩子去游泳两次。账户经理立即向客户推荐了相关的银行保险+理财产品。这些商人通常是推动技术进步的核心原因。

大数据行业里的两大误区

第二，建筑师。建筑师有多重要。当一个业务人员和一个工程师(一个说业务语言，另一个说技术术语)在那里讨论问题时，工程师通常会考虑使用什么样的代码来让他立即闭嘴，而架构师通常会跳出来说:“不，你不能这么做。”您只能解决一个问题，并产生几个后续问题。按照我的计划，你可以解决几个后续的问题！”非技术企业的it系统级别通常有超过70%的标准掌握在架构设计师手中。许多优秀的建筑师都是从工程师那里慢慢发展和学习的。许多企业都意识到了it架构的重要性，这意味着许多企业都拥有同等重要的cto和cio职位！当it系统平稳运行时，没有人能感受到建筑的美，但在那些行走在烟囱林立、建筑杂乱无章的环境中的人们眼里，it发展必须有现在的建筑，以后再发展！

大数据行业里的两大误区

三.投资者。老板，不用说，老板给你衣食，你为老板工作，一个自然的基础数据提供者，老板说如果有一座山，就会有一座山，老板说要做实时数据处理和分析，那么就会有风暴，老板说要开源，那么就会有hadoop，而老板又说要做迭代挖掘，那么就会有火花……...

第四，科学家。在别人眼里，他们是极客；在别人眼里，他们是高大的男人和女人；在别人眼里，他们是神秘的男人和女人，早出晚归，像霍金一样熬夜；他们是推动世界技术进步的核心力量。除了世界顶尖的it公司(通常世界的技术方向掌握在他们手中)，其他公司一般需要1-2名科学家。他们真正致力于科学。不要让他们考虑业务场景、业务流程、成本和项目进度。他们唯一需要考虑的是如何在某个指数上击败对手。在某个指数上增加0.1%使它们连续。在中国，我认为真正的大数据科学家不超过100人...

大数据行业里的两大误区

5.工程师。工程师是如此可爱的人。他们年轻、冲动、理想主义，被誉为“屌丝”和“键盘党”。他们为自己的理想不懈努力。每次他们取得一点进展，他们都在考虑地铁入口处的鸡蛋馅蛋糕是否增加了50美分。他们敏感而自负，从不费心与商人争论。工程师和科学家的区别在于，工程师需要频繁地修改代码，频繁地测试程序，频繁地上网，但最终的系统是由几个工程师的代码组成的。每一个自负的工程师看到系统的历史代码都会不屑地发出一声“哼，这个垃圾代码”，然后他就会全身心地投入到代码编写工作中去，这种工作将会继续被后代所鄙视。

大数据行业里的两大误区

6.追随者。他们中的一些人是教练，一些人在杀害马特，一些人是煤矿老板，还有一些人是失策。他们的特点是投机。与房地产投机者的唯一区别是他们不必付钱。他们认为只要他们接近数据，他们就被称为大数据。他们中的一些人甚至从未接触过it系统。他们是混水摸鱼的高手，他们是被以前的人鄙视的隐形人。不过，我想说的是，欢迎你来推测。一个行业越是激烈，就越有价值的人能够发挥他们的作用。

大数据行业里的两大误区

误区二:只有大数据才能拯救世界

当前大数据的技术和应用是在数据分析、数据仓库等方面。，主要用于olap(在线分析系统)。从技术角度来看，它包括两个部分:一部分是批量数据处理(包括mr、mpp等)。)，另一条是实时数据流处理(风暴、内存数据库等)。)。在此基础上，一些场景发现mr框架或实时框架不能满足近线和迭代挖掘的需要，于是产生了一个非常热门的基于内存数据处理的spark框架。目前很多企业的大数据框架是一方面使用hadoop 2.0上的hive和pig框架来处理底层的数据处理和处理，根据业务逻辑处理的数据直接发送到应用数据库；另一方面，风暴流处理引擎用于处理实时数据，并根据业务营销规则触发相应的营销场景。同时，利用基于火花处理技术的聚类来满足实时数据处理和挖掘的需求。

大数据行业里的两大误区

从上面的描述可以看出，他们中的大多数还没有进入真正的交易系统，也没有对oltp(在线交易系统)做出很大的贡献。对于许多将大数据与物联网、泛在网络和智能城市联系起来的文章，我认为大数据只是其中一个条件，其他oltp系统是否可用、物理网络甚至组织结构都是重要因素。

最后，我想说的是大数据处理技术，比如谷歌的数据流，或者成熟的技术，比如hadoop 2.0，数据仓库，storm等等。，本质上都是数据处理工具。对于许多工程师来说，他们只需要了解数据处理流程，在这个平台上使用固定的模板和脚本进行数据处理就足够了。毕竟，超过70%的数据价值用于商业应用。如果一句好话对生意没有帮助，那也只是一种杀龙的技巧。任何技术和it架构都必须满足业务规划和开发的要求，否则技术只会阻碍业务和生产力的发展。

大数据行业里的两大误区