Hadoop HDFS 基本概念及安装与配置

Hadoop HDFS 基本概念

什么是HDFS

HDFS（Hadoop Distributed File System）是Hadoop项目的一部分，它是一个分布式文件系统，设计用于运行在商用硬件上的大规模数据集。HDFS具有高容错性，并设计用于在低成本的硬件上部署。它提供了高吞吐量的数据访问，非常适合大数据处理应用。

HDFS的关键特性

1. 高容错性：通过数据复制机制，保证即使部分节点失败，数据依然可用。
2. 高吞吐量：适合大数据量的批处理，而不是低延迟的数据访问。
3. 流式数据访问：一次写入，多次读取。
4. 大数据集支持：能够存储和处理大规模数据。

HDFS架构

1. NameNode：管理文件系统的元数据（如文件路径、块位置等）。它是HDFS的主节点。
2. DataNode：负责存储实际数据块并执行数据的读写操作。
3. Secondary NameNode：用于辅助NameNode，主要用于定期合并NameNode的元数据快照和编辑日志。

Hadoop HDFS 安装与配置

环境准备

1. Java环境：Hadoop依赖于Java运行环境（JDK 8或以上）。
2. SSH：Hadoop集群节点之间需要通过SSH进行无密码通信。

下载Hadoop

从Apache Hadoop官方网站下载最新版本的Hadoop：https://hadoop.apache.org/releases.html

安装与配置步骤

1. 解压Hadoop包

   tar -xzvf hadoop-<version>.tar.gz
   mv hadoop-<version> /usr/local/hadoop
   

2. 设置环境变量
   在~/.bashrc或~/.profile文件中添加以下内容：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

3. 配置Hadoop核心配置文件

   • 编辑core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

   • 编辑hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:///usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:///usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

4. 格式化NameNode

   hdfs namenode -format
   

5. 启动HDFS

   start-dfs.sh
   

6. 验证安装
   打开浏览器访问http://localhost:9870，查看NameNode的Web界面。

示例：在HDFS上操作文件

1. 创建目录

   hdfs dfs -mkdir /user
   hdfs dfs -mkdir /user/hadoop
   

2. 上传文件

   hdfs dfs -put localfile.txt /user/hadoop/
   

3. 查看文件

   hdfs dfs -ls /user/hadoop/
   

4. 读取文件内容

   hdfs dfs -cat /user/hadoop/localfile.txt
   

5. 删除文件

   hdfs dfs -rm /user/hadoop/localfile.txt
   

注意事项

• 确保所有节点上的Hadoop配置文件一致。
• 定期备份NameNode的元数据。
• 根据集群规模调整HDFS的复制因子和块大小，以优化性能。

通过以上步骤，你可以在单机或小型集群上搭建和运行Hadoop HDFS，进行分布式存储和处理大规模数据。