大家好，欢迎来到IT知识分享网。

Hadoop作为大数据基础架构，它来源来颇有意思，首先让我们先听听这个故事

山雨欲来风满楼

差不多是在2003年，那是一个搜索引擎很火的年代。一个叫做DoungCuting程序员同样也在做着一个搜索引擎的项目，叫做Luncence，由于搜索引擎需要大量的数据作为支撑。为了保证数据的充足他们从Luncence项目中独立出来Nutch子项目，这个项目主要是为搜索引擎提供数据的。

完成一个搜索的项目，过程也是很复杂的，也有三点必须要准备完全。第一：数据的存储，搜索库中必须有大量的存储的数据，第二：数据索引，也就是说每个数据都有目录，以方便被快速查找出。第三：数据的查询，必须能够实现查询功能。

刚开始数据量少，做的还挺顺利。但是随着数据量越来越大目前的处理方法已经力不从心，大量的数据堆积，却没有一个可行的解决办法。这时候他面临了两个重大问题问题。第一：数据的存储。第二：数据索引。

DoungCuting无计可施，Google雪中送炭

正当DoungCuting发愁的时候Google这时发布了3篇重量级的论文，分别是GFS，MAPREDUCE和BIGTABLE。其中GFS全名是Google file system是指文件的存储方案，MAPREDUCE分布式计算思想。BIGTABLE.是指大表机制，主要是一些分布式数据库。

doungCuting看到这三篇论文后如获至宝，并且和他的团队用Java的形式实现了这三篇论文，并且开源出来。GFS他们实现后叫做HDFS，MAPREDUCE实现后仍然做MAPREDUCE，而bigtable实现出来叫做hbase。并且把HDFS，MAPREDUCE作为一个框架爱并且以他孩子的玩具来命名，称作Hadoop。这就是Hadoop的由来。就这样形成了Hadoop的最初的框架。

那么Google为什么能够发表这些划时代的论文呢？

我们知道Google搜索是全世界著名的搜索引擎，拥有着全世界最大的数据库和最高级的技术团队，并且搜索引擎起步很早，同样也面临过doungCuting一样的问题，只不过谷歌公司财大气粗，人才济济，已经解决了这个问题。但他们并没有把实现的技术公布出来，只是把解决思路议论文的形式公诸于世。就是这一公布，间接的引发了一场数据的革命。并且影响深远。

什么才是Hadoop

听完了Hadoop的来源介绍，那么什么是Hadoop呢？在IT行业要是想了解一个软件是什么，不是去看中文解释，或者别人的翻译。而是要进入官网，看看他们最原始的解释。所以我们先进入一下Hadoop官网，首先输入网址：http://hadoop.apache.org，点击进入Hadoop官网，我们就会看到一段英文：The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.

上面的意思简单的翻译过来就是：Hadoop是一个分布式的开源也就是免费的框架。支持成千上万个节点，每个节点依靠本地的计算和存储。不依赖硬件提供高可用性，而是在应用层面提供高可用性。并且把硬件的错误看成一个常态，也就是允许硬件错误的出现，即使有错误也不会影响使用。

这就从大数据理念的产生到初步形成框架的过程。接下来还有一些组件的减少。