本文指导您在 Debian 系统上安装并测试 Apache Hadoop。以下步骤将详细介绍配置过程和验证方法。
第一步：安装 Java
确保系统已安装 Java 8 或更高版本。使用以下命令安装 OpenJDK 8：
sudo apt updatesudo apt install openjdk-8-jdk
登录后复制
验证安装：
java -version
登录后复制
第二步：下载和解压 Hadoop
从 Apache Hadoop 官网下载最新版 Hadoop，并解压到指定目录（例如 /usr/local/hadoop）：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gztar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop``` (请替换 `hadoop-3.3.1` 为实际的版本号)**第三步：配置环境变量**编辑 `~/.bashrc` 文件，添加以下环境变量：```bashexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
登录后复制
使更改生效：
source ~/.bashrc
登录后复制
第四步：配置 Hadoop 配置文件
修改 Hadoop 目录下的配置文件：
core-site.xml:
fs.defaultFS hdfs://namenode:9000
登录后复制hdfs-site.xml:
dfs.replication 3 dfs.namenode.name.dir /usr/local/hadoop/dfs/name dfs.datanode.data.dir /usr/local/hadoop/dfs/data
登录后复制mapred-site.xml:
mapreduce.framework.name yarn
登录后复制yarn-site.xml:
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
登录后复制
第五步：格式化 HDFS
在 NameNode 节点上执行以下命令格式化 HDFS：
hdfs namenode -format
登录后复制
第六步：启动 Hadoop 服务
在 NameNode 节点上启动 NameNode 和 DataNode：
start-dfs.sh
登录后复制
在 ResourceManager 节点上启动 YARN：
start-yarn.sh
登录后复制
第七步：本地模式测试
切换到 Hadoop 用户：
su - hadoop
登录后复制
创建输入目录和文件：
mkdir ~/inputvi ~/input/data.txt
登录后复制
输入测试数据（例如 “Hello World”，”Hello Hadoop”），保存并退出。
运行 WordCount 示例：
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/input/data.txt ~/output``` (请根据实际jar包文件名调整)查看结果：```bashls ~/outputcat ~/output/part-r-00000
登录后复制
正确输出表明 Hadoop 本地模式运行成功。 请注意，以上步骤假设您在单机环境下进行测试。 对于集群环境，需要进行相应的配置修改。 请务必参考官方Hadoop文档以获取更详细和最新的配置信息。
以上就是Debian Hadoop 怎样进行测试的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/3239098.html
