正文

从零开始：Hadoop入门教程，轻松掌握大数据处理！

/0 浏览量
0408

了解Hadoop

Hadoop是一个开源的分布式计算框架，它允许你在大量廉价的计算机上分布式存储和处理大规模数据集。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop YARN。HDFS用于存储大量数据，而YARN则负责资源管理和作业调度。

Hadoop的起源

Hadoop起源于Google的GFS（Google File System）和MapReduce论文。Apache软件基金会将Hadoop作为其顶级项目，并不断发展壮大。

环境搭建

1. 安装Java

Hadoop依赖于Java，因此首先需要安装Java。可以从Oracle官网下载Java，并按照提示安装。

2. 安装Hadoop

从Apache Hadoop官网下载Hadoop安装包。解压后，配置环境变量，使Hadoop命令可以在终端中直接使用。

export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3. 配置Hadoop

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，设置Java环境变量。

编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件，配置HDFS的名称节点和数据节点。

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，配置HDFS的副本因子。

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

4. 格式化HDFS

在终端中运行以下命令，格式化HDFS：

hdfs namenode -format

5. 启动Hadoop

在终端中运行以下命令，启动Hadoop：

start-dfs.sh
start-yarn.sh

Hadoop基本操作

1. 上传文件到HDFS

使用hadoop fs -put命令将文件上传到HDFS：

hadoop fs -put /path/to/local/file /path/to/hdfs/file

2. 下载文件到本地

使用hadoop fs -get命令将文件从HDFS下载到本地：

hadoop fs -get /path/to/hdfs/file /path/to/local/file

3. 查看HDFS文件系统

使用hadoop fs -ls命令查看HDFS文件系统：

hadoop fs -ls /

Hadoop MapReduce

MapReduce是Hadoop的核心计算框架，用于处理大规模数据集。

1. 编写MapReduce程序

编写一个简单的MapReduce程序，处理文本数据，统计单词出现的次数。

public class WordCount {
  public static class Map extends Mapper<Object, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
      String[] words = value.toString().split("\\s+");
      for (String word : words) {
        context.write(new Text(word), one);
      }
    }
  }

  public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(Map.class);
    job.setCombinerClass(Reduce.class);
    job.setReducerClass(Reduce.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

2. 编译和运行MapReduce程序

将MapReduce程序编译成jar包，并使用hadoop jar命令运行：

hadoop jar wordcount.jar wordcount /input /output

总结

通过本文的介绍，你已初步了解了Hadoop的基本概念、环境搭建、基本操作和MapReduce编程。Hadoop是一个强大的分布式计算框架，可以帮助你轻松处理大规模数据集。希望本文能帮助你入门Hadoop，开启大数据之旅！

-- 展开阅读全文 --