windows下搭建hadoop

windows下搭建hadoop下载环境变量windows 脚本替换配置windows权限启动单词统计实例下载首先去Apache Hadoop下载hadoop的安装包选择二进制文件即可选择国内镜像增加下载速度下载后解压到文件夹环境变量设置环境变量HADOOP_HOME然后把HADOOP_HOME加入Path中打开cmd，输入hadoop version验证windows 脚本替换到cdarlint/winutils: winutils.exe hadoop.dll and_windows下搭建hadoop

发表于 2022/01/13 更新于 2026/09/21

作者 贾永琪

6 分钟阅读

windows下搭建hadoop

文章信息
原文链接：https://jiayq.blog.csdn.net/article/details/122483139
发布时间：2022-01-13 21:26:23
阅读量：3
分类：大数据同时被 2 个专栏收录, 订阅专栏, hadoop
标签：#hadoop, #windows, #hdfs

摘要

文章浏览阅读3k次，点赞2次，收藏23次。windows下搭建hadoop下载环境变量windows 脚本替换配置windows权限启动单词统计实例下载首先去Apache Hadoop下载hadoop的安装包选择二进制文件即可选择国内镜像增加下载速度下载后解压到文件夹环境变量设置环境变量HADOOP_HOME然后把HADOOP_HOME加入Path中打开cmd，输入hadoop version验证windows 脚本替换到cdarlint/winutils: winutils.exe hadoop.dll and_windows下搭建hadoop

windows下搭建hadoop

下载
环境变量
windows 脚本替换
配置
windows权限
启动
单词统计实例

下载

首先去Apache Hadoop下载hadoop的安装包

选择二进制文件即可

选择国内镜像增加下载速度

下载后解压到文件夹

环境变量

设置环境变量HADOOP_HOME

然后把HADOOP_HOME加入Path中

打开cmd，输入hadoop version验证

windows 脚本替换

到cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows (github.com)下载全部版本的脚本，并解压

需要注意的是，尽可能选择这里面有的hadoop版本。比如2.9.2版本。

将里面的文件全部拷贝到hadoop下的bin目录中，并选择替换

配置

首先在hadoop目录下创建一个临时文件夹，用于hadoop存储临时文件。

否则hadoop默认会在c盘创建临时文件夹，这时会因为权限的问题，导致无法创建，所以最好是在hadoop目录下创建临时文件夹，而且尽可能不要把hadoop放在C盘。

配置core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
	<value>hdfs://localhost:9820</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
	<value>/E:/hadoop/hadoop-2.9.2/tmp</value>
  </property>
</configuration>

接着在hadoop目录下创建data文件夹，用于hadoop存储持久化数据，在data目录下创建namenode和datanode文件夹

配置hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
	<value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
	<value>file:///E:/hadoop/hadoop-2.9.2/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
	<value>file:///E:/hadoop/hadoop-2.9.2/data/datanode</value>
  </property>
  <property>
    <name>dfs.namenode.http-address</name>
	<value>http://localhost:9870</value>
  </property>
</configuration>

配置mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
	<value>yarn</value>
  </property>
</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
	<description>Yarn Node Manager Aux Service</description>
  </property>
</configuration>

注意上述文件如果在hadoop/etc/hadoop下无法找到的，请找到相同文件名的.template文件拷贝，并删除.tamplate后缀