当今世界，科技进步日新月异，互联网、云计算、大数据等现代信息技术深刻改变着人类的思维、生产、生活、学习方式，深刻展示了世界发展的前景。未来的互联网就是大数据和云计算的天下，不管你是否认同，大数据时代已经来临，并将深刻地改变着我们的工作和生活。学习大数据技术，是时代的召唤，是社会对高薪技术人才的渴望，什么是大数据核心技术？大数据又是什么？
什么是大数据
数据（bigdata），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。或许对很多人来说这样的概念还是太抽象了，为了更好的理解什么是大数据，我们从以下几个关键词来切入更形象的对大数据做一个界定。
首先，大数据“规模大”，这种规模可以从两个维度来衡量，一是从时间序列累积大量的数据。
二是，在深度上更加细化的数据。其次，大数据“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如人口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。
第三，大数据“动态化”。数据是不停地变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。
这一切都始于数字时代到来后我们所产生的数据量的指数激增。这主要是因为计算机、因特网和技术能够从我们生活的真实世界中获取信息，并将其转化为数字数据。
在2017年，当我们上网时、当我们携带配备GPS的智能手机时、当我们通过社交媒体或聊天应用程序与我们的朋友沟通时、以及我们在购物时，我们会生成数据。你可以说，我们所做的涉及数字交易的一切都会留下数字足迹，这几乎是我们生活的一切。
除此之外，机器生成的数据量也在快速增长。当我们的“智能”家庭设备彼此通信或与他们的家庭服务器通信时，数据就会生成和共享。世界各地的工厂和工厂的工业机械越来越多地配备了传感器来收集和传输数据。很快，自动驾驶的汽车将走上街头，将他们所到之处周围的环境实时、四维的地图发送回家。
大数据中的Hadoop是什么
Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。
Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streamingaccess）文件系统中的数据。
大数数据工作原理
大数据的工作原理是，你对任何事情或任何情况了解越多，你可以更可靠地预测将来会发生什么。通过比较更多的数据点，以前被隐藏的关系将开始出现，这些关系有望包含我们如何开始改变的见解。
通常这是通过一个过程来完成的，该过程基于我们可以收集的数据建立模型，然后运行模拟，每次调整数据点的值，并监视它如何影响我们的结果。这个过程是自动化的——今天先进的分析技术将运行数以百万计的这些模拟，调整所有可能的变量，直到找到有助于解决问题的模式或洞察力。
数据越来越以非结构化的形式出现在我们身上，这意味着数据不能轻易放入具有行和列的结构化表格中。这些数据中的大部分是图片和视频的形式-从卫星图像到上传到Facebook或Twitter的照片，以及电子邮件和即时通讯和录音电话。为了理解所有这些，大数据项目通常使用人工智能和机器学习的尖端分析。例如，通过教育电脑来识别这些数据所代表的内容——通过图像识别或自然语言处理，他们可以比人类更快速，更可靠的可靠地识别图案。
在过去的几年里，通过“即服务”平台，一个强烈的趋势是向大数据工具和技术的转移。企业和组织从第三方云服务提供商租用服务器空间、软件系统和处理能力。所有的工作都是在服务提供商的系统上进行的，客户只需支付所使用的任何费用。这种模式使得任何组织都可以访问大数据驱动的发现和转换，并消除了在硬件、软件、房地和技术人员身上花费大量资金的需要。
什么是大数据核心技术
什么是大数据核心技术？刚刚我们已经分析了什么是大数据，也明白了什么是Hadoop，为什么说学习大数据必须学Hadoop呢？大数据就是大量的海量的数据，面对这些海量数据传统的数据存储方式已经无法满足需求，而Hadoop技术完美的解决了这个问题，用简单、直接、明了的一句话来说就是：Hadoop解决了大数据如何存储的问题！
现在国内很多大数据培训机构打着大数据培训的幌子却做着不专业的事情，光环大数据大数据培训机构严正提醒各位想学习大数据的同学：行业真正大数据，82%主讲都是hadoop、spark生态体系、storm实时开发。市面所谓“大数据”机构85%基本讲的都是JAVA/PHP数据或数据库学习（大数据课程含量不超过15%），初学者请务必认清你要学的是不是真正大数据！
