[hadoop][ambari] start hadoop hdfs zookeeper hbase manually 手動啟動 ambari service

在使用HDP 與 ambari時，若不使用ambari UI 在操作 HDP ，
也可以手動使用指令來啟動service，但是要注意的就是service的user與啟動順序問題。
(此文講述的為 hadoop 1.x 的 daemon )

Start all the Hadoop services in the following order:

• HDFS
• MapReduce
• ZooKeeper
• HBase
• Hive Metastore
• HiveServer2
• WebHCat
• Oozie
• Ganglia
• Nagios

啟動 HDFS

在使用hadoop的service 時，我們必然先啟動的是 HDFS 的 storage，

先啟動 namenode 與 datanodes , Secondary NameNode 。

ambari 內使用的 HDFS_USER 一般是 hdfs

啟動 NameNode

su -l $HDFS_USER -c "/usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf start namenode"

啟動 Secondary NameNode

su -l $HDFS_USER -c "/usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf start secondarynamenode"

啟動 DataNodes

su -l $HDFS_USER -c "/usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf start datanode"

啟動 MapReduce

必須啟動的是JobTracker 與 TaksTrackers
這裡使用的 MAPRED_USER 為 mapred

su -l $MAPRED_USER -c "/usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf start jobtracker; sleep 25"

啟動 historyserver

su -l $MAPRED_USER -c "/usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf start historyserver"

啟動 tasktrackers (在每台機器上)

su -l $MAPRED_USER -c "/usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf start tasktracker"

啟動HBase

要啟動HBase要先開啟 ZooKeeper 當居中協調的角色，最好設成單數台。

zookeeper的user為 zookeeper

su - $ZOOKEEPER_USER -c "export  ZOOCFGDIR=/etc/zookeeper/conf ; export ZOOCFG=zoo.cfg ; source /etc/zookeeper/conf/zookeeper-env.sh ; /usr/lib/zookeeper/bin/zkServer.sh start"

Start HBase (user 使用 hbase)
啟動HMaster

su -l $HBASE_USER -c "/usr/lib/hbase/bin/hbase-daemon.sh --config /etc/hbase/conf start master"

啟動 RegionServer

su -l $HBASE_USER -c "/usr/lib/hbase/bin/hbase-daemon.sh --config /etc/hbase/conf start regionserver"

啟動Hive Service

使用者 $HIVE_USER 為 hive
$HIVE_LOG_DIR 為 /var/log/hive

啟動Meta

su -l $HIVE_USER -c "nohup hive --service metastore > $HIVE_LOG_DIR/hive.out 2> $HIVE_LOG_DIR/hive.log   &" 

在ambari 下還要 start HiveServer2 當做 gateway

sudo su $HIVE_USER -c "nohup /usr/lib/hive/bin/hiveserver2 -hiveconf hive.metastore.uris=\" \" > $HIVE_LOG_DIR /hiveServer2.out 2>$HIVE_LOG_DIR/hiveServer2.log &"

啟動WebCat

user 為 hcat

su -l $WEBHCAT_USER -c "/usr/lib/hcatalog/sbin/webhcat_server.sh  start"

啟動 OOzie

user 為oozie , log dir 為 /var/log/oozie

sudo su -l $OOZIE_USER -c "cd $OOZIE_LOG_DIR/log; /usr/lib/oozie/bin/oozie-start.sh"

啟動 Ganglia

start Ganglia server  (hdp-gmetad)

/etc/init.d/hdp-gmetad start

start gmond on all node

/etc/init.d/hdp-gmond start

啟動 Nagios

service nagios start