企业官网建设流程全解析

青岛网站制作方案,小区网络设计方案,wordpress访问满,大学生创业计划书完整版Hadoop / YARN / Hive 运维操作教程 本文整理了一份完整的 Hadoop、YARN、Hive 运维操作手册#xff0c;包括配置同步、集群启动、服务管理、任务监控等常用运维操作。适用于多节点集群的管理和日常维护。1、Hadoop 配置同步 在多节点集群中#xff0c;需要保持 Hadoop 配置文…Hadoop / YARN / Hive 运维操作教程本文整理了一份完整的 Hadoop、YARN、Hive 运维操作手册包括配置同步、集群启动、服务管理、任务监控等常用运维操作。适用于多节点集群的管理和日常维护。1、Hadoop 配置同步在多节点集群中需要保持 Hadoop 配置文件一致可以通过rsync脚本快速同步。脚本示例#!/bin/bash# Hadoop 配置同步脚本# 同步 Hadoop 配置到 node1rsync-avz /usr/local/hadoop-3.3.0/etc/hadoop/ node1:/usr/local/hadoop-3.3.0/etc/hadoop/# 同步 Hadoop 配置到 node2rsync-avz /usr/local/hadoop-3.3.0/etc/hadoop/ node2:/usr/local/hadoop-3.3.0/etc/hadoop/使用方法将脚本保存为/opt/sync-hadoop-config.sh添加执行权限chmodx /opt/sync-hadoop-config.sh执行脚本进行同步sudo/opt/sync-hadoop-config.sh说明rsync -avz支持增量同步、保持权限并压缩传输。修改 Hadoop 配置后必须同步到所有节点确保集群一致性。2、Hadoop Hive 自动启动脚本快速启动 Hadoop 集群HDFS YARN和 Hive 服务Metastore HiveServer2。脚本示例#!/bin/bash# 自动启动 Hadoop 集群及 Hive 服务echoStopping any running Hadoop services...stop-yarn.sh stop-dfs.shechoStarting HDFS...start-dfs.shechoStarting YARN...start-yarn.shechoChecking all Java processes...jpsecho[12/13] Starting Hive Metastore and HiveServer2...mkdir-p /var/log$HIVE_HOME/bin/hive --service metastore/var/log/hive-metastore.log21disownsleep5$HIVE_HOME/bin/hive --service hiveserver2/var/log/hiveserver2.log21disownechoWaiting for HiveServer2 to start...while!lsof-i:10000/dev/null21;dosleep2;doneechoechoecho Hive Installation Complete!echoechoHive CLI: hiveechoBeeline: beeline → !connect jdbc:hive2://node0:10000echoUsername: rootechoPassword: 123456echoDBeaver: node1 → dbeaver echo使用方法保存为/opt/start-hadoop-hive.sh添加执行权限chmodx /opt/start-hadoop-hive.sh执行脚本sudo/opt/start-hadoop-hive.sh说明脚本会先停止已有 Hadoop 服务防止端口冲突。启动顺序为 HDFS → YARN → Hive Metastore → HiveServer2。脚本会等待 HiveServer2 完成启动监听端口 10000。3、Hadoop 服务管理停止服务stop-dfs.sh# 停止 HDFSstop-yarn.sh# 停止 YARN启动服务start-dfs.sh# 启动 HDFSstart-yarn.sh# 启动 YARN查看节点进程jps# 查看 Hadoop / Java 相关进程4、YARN 应用管理查看应用状态yarnapplication -statusapplication_id示例yarnapplication -status application_1762584413435_0004列出应用yarnapplication -list# 仅 RUNNINGyarnapplication -list -appStates ALL# 所有状态yarnapplication -list -appStates FINISHEDyarnapplication -list -appStates FAILED查看容器日志yarnlogs -applicationIdapplication_id示例yarnlogs -applicationId application_1762584413435_0004|grepReducer|grepcontainer_5、Hadoop 节点管理列出节点yarnnode-list查看节点状态yarnnode-statusnode:port示例yarnnode-status node0:8042yarnnode-status node1:45766节点标签管理yarnrmadmin -addToClusterNodeLabelsAMnode6、ResourceManager 管理yarn--daemon stop resourcemanager# 停止 ResourceManageryarn--daemon start resourcemanager# 启动 ResourceManager7、Hive 操作hive# 启动 Hive CLIcat/var/log/hiveserver2.log# 查看 HiveServer2 日志8、系统与集群监控top# 查看 CPU / 内存使用hdfs dfsadmin -report|egrepDatanodes|Name|Dead|Live# HDFS 状态zkServer.sh status# ZooKeeper 状态9、MapReduce 任务管理mapred job -list# 列出 MR 任务mapred job -statusjob_id# 查看 MR 任务状态示例mapred job -status job_1731089675000_000110、常用日志与调试HiveServer2 日志/var/log/hiveserver2.logHive Metastore 日志/var/log/hive-metastore.logYARN 容器日志yarn logs -applicationId app_idHDFS 健康状态hdfs dfsadmin -report总结配置同步脚本保证多节点 Hadoop 配置一致。自动启动脚本快速启动 Hadoop Hive 集群。日常运维命令涵盖 Hadoop 服务管理、YARN 应用管理、节点管理、Hive 操作、系统监控和 MapReduce 任务管理。日志与调试命令帮助快速定位问题提升运维效率。