刚开始学接触编程的时候是接触C语言，然后是C，然后是Java。刚接触Java的时候，我深深地爱上了它，因为它简单易懂。之后接触到了JavaWeb，开始学习一些后端开发技术。当时大数据热，我是数学出身，所以大数据对我来说是个不错的选择。
慢慢的，我开始接触大数据，从JavaSE开始，然后学习Linux系统，其中Linux里面有CentOS和ubuntu，这两个都很好用。然后是Hadoop，它由两个块组成：HDFS(分布式文件系统)和MapReduce(并行计算框架)。虽然现在MapReduce用的比较少，但是学了之后，对你以后学习更好的并行计算框架有很多好处。然后就可以学习数据仓库Hive了。Hive的底层实现实际上是MapReduce。它使用的SQL语言叫做HQL。如果你之前研究过MySQL数据库，很容易上手。但是，如果你想更多地了解Hive，你需要学习MapReduce。Hive用于OLAP，不支持事务。然后，我们研究了支持事务操作的用于列族的HBase分布式数据库，但在实践中，它对个人并不适用。它是一个基于Hadoop的数据库，适合随机访问和实时读写。但是在数据量很大的情况下，如何更好的将不同来源的数据导入到想要使用的数据库中，可以使用Sqoop，我个人认为简单易用，方便。
接下来，我们可以学习Flume，这是一个收集日志的分布式框架，可以处理多种类型的文件。然后学习Kafka，这是一个消息发布和订阅的实时处理系统。具备高通量的能力。然后你可以学习Strom，一个实时流计算框架。它可以高速抓取数据，对各种数据进行并行计算。接下来我们可以学习Spark，Spark由SparkSQL、Spark Streaming、MLlib、Graph等组成。可以解决批处理、流处理和Ad-hocQuery三个核心问题。Spark确实比MapReduce快很多，毕竟它是一个基于内存计算的框架。
接下来可以学习数据分析、数据挖掘、机器学习等相关知识。
现在我将开始解释什么是大数据。
大数据，顾名思义，就是海量的数据。是什么水平？不是几兆，不是几GB，而是几百GB，几TB，几PB，这是传统数据库根本无法承受的。现在一般由Hadoop技术、Hive技术、Spark技术等来处理。
那么大数据有什么特点呢？还有4点。
1.数据量很大，比如文字，来源多种多样，比如电子书|实体书|杂志|报纸等。他们的数据很大。
2.数据的类型有很多种，有些是结构化数据，比如传统数据库中的数据如Oracle、MySQL等，一般都是结构化的，但也有非结构化的格式，如HTML、WORD、execl等。
3.它们的价值密度低。这么说吧。比如看一条数据看起来价值不大，但是分析完所有数据之后呢？总是挖掘一些重要的东西。
大数据的特征
4.处理这些数据的速度应该更快。比如Hadoop技术的MapReduce计算框架比传统数据库处理速度更快，吞吐量特别大。例如，Spark在内存上快100倍，在磁盘上快10倍。
大数据处理和传统数据处理有什么区别？
就是用所有的数据去分析，得出一个结论，想一想就知道它的好处。
大数据的应用？
可以是一个推荐系统，像电商、影视app，你平时关注什么产品，或者浏览什么类型的产品，或者看什么类型的影视节目，或者主要看谁的影视节目，经过大数据分析处理，这些app会推荐类似的产品或者电视剧。
在销售方面，我想大家都听说过一个例子，就是纸尿裤和啤酒的捆绑销售。
反欺诈在银行中的应用。经过大量的数据分析，我们可以得到诈骗的行为特征，并且根据这些特征，我们可以以更大的概率来判断是否是诈骗。
在人工智能方面，像谷歌的阿尔法狗，无人驾驶等。这些都是用大数据。
….
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/134793.html