小枫客栈

淡泊以明志，宁静以致远。

CDH6.3.2同步各datanode节点数据2019-12-30 11:50:48

CDH6.3.2 HDFS Block Balancer方法命令：sudo -u hdfs hdfs balancer默认会检查每个datanode的磁盘使用情况，对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用。指定阀值，该阀值是datanode节点的磁盘使用占整个集群的百分比。sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block设置均衡的带宽，默认设置：1048576（

作者:Xiaofeng | 分类:Bigdata | 浏览:9289 | 评论:2

Hive3 报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument2019-11-24 13:59:33

环境：Hive3.1.2 Hadoop3.2.1初始化hive时报java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)报错，后经查实是由于hadoop 和hive 中的guava jar包引起的。程序执行时不知选择哪个，所以就抛出异常。hadoop:guava-27.0-jre.jar  路径/usr/l

作者:Xiaofeng | 分类:Bigdata | 浏览:9877 | 评论:0

<< 1 >>

Powered By Z-BlogPHP 1.7.3

Copyright © 2024 Xiaofeng.org
豫ICP备16026559号-1