export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf 3)启动hive: 进入/home/hadoop2/hive-0.13.1-cdh5.3.2/bin nohup hiveserver2 & 以上,一个可以运行的环境就安装好了,可以在hive和hbase中创建自己需要的数据。
创建时最好指定容器端口号映射。10000端口为hiveserver端口,后面本地客户端要通过beeline连接hive使用,有其他组件要安装的话可以提前把端口都映射出来,毕竟后面容器运行后再添加端口还是有点麻烦的。 [root@localhost ~]#docker network create --driver=bridge --subnet=192.168.124.0/16 hadoop 要删除构建的网络可以通...
-- 删除某个文件夹下的所有文件 Hadoop fs -du -s -h '文件路径'。 -- 查看文件夹下的所有文件及文件夹大小 Hadoop fs -setrep 10 '文件'。-- 设置副本 一台机器只会存储一个副本 hdfs dfs -ls / -- 查看当前文件系统下的所有数据 hdfs dfs -put '文件' /路径 -- 上传文件 hdfs dfs -mkdir '...
解压:tar -zxvf hbase-1.4.12-bin.tar.gz -C /home/ 重命名:```mv hbase-1.4.12 hbase 修改配置文件 修改hbase-env.sh文件 修改hbase-site.xml文件 代码解读 <property> <name>hbase.rootdir</name> <value>hdfs://a:9000/hbase</value> </property> <property> <name>hbase.master.info.port...
步骤一:Hive工具安装配置 步骤二:开启zookeeper集群,Hadoop集群以及HBase集群 步骤三:创建hive元数据数据库 步骤五:Hive工具启动和验证 实验目的要求 目的: 1、数据仓库工具Hive的安装和配置 2、掌握数据仓库工具Hive的安装和配置 要求: 1、完成Hive工具的安装和配置 ...
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用于分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布式数据库,hbase是分布式kv系统,看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理,本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系。
hbase 集群环境搭建 1)操作系统,ubuntu,版本信息如下:ceson@ceson01:~/wechat_env$ cat/proc/versionLinuxversion4.15.0-54-generic(buildd@lgw01-amd64-014)(gcc version7.4.0(Ubuntu7.4.0-1ubuntu1~18.04.1))#58-Ubuntu SMP Mon Jun 24 10:55:24 UTC 20192)JDK:1.83)zookeeper版本:zookeeper-3.4.1...
开始尝试搭建hive的环境了 首先让我们回到Apache的产品官网: 找到hive相关页面: 注意:光有hive是无法运行的,我们还需要搭建hbase和mysql等相关的组件来支持hive。 数据库相关: 回到我们的Apache页面,找到hbase ↑这个玩意官方人性化的给我们添加了中文版文档,按照步骤一步步来就可以了,下一章会详细讲解如何安装hive和...
2) /home/hadoop/hive-2.0.0/conf/hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node50:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> ...
1.安装jdk，并设置好JAVA_HOME，我的环境是 exportJAVA_HOME=/usr/lib/jdk1.7.0_79 2.设置主机名，一般来说hadoop集群都是多台机器的，得给他们安不同的名字以示区分，通过vi/etc/sysconfig/network设置hostname。 本例中我以master.hdfs为主机，也就是HDFS中的nameNode，HBase中的HMaster。 slave1.hdfs...