环境配置_智慧农场大数据平台_大数据实训项目

本项目测试采用了虚拟机环境搭建的集群，集群中包括3台虚拟机，分别是：offcn01、offcn02、offcn03。在三个虚拟机节点上部署Hadoop、Zookeeper、Kafka、Flume集群。具体节点部署如下：

服务名称	子服务	服务器offcn01	服务器offcn02	服务器offcn03
HDFS	NameNode	√
DataNode	√	√	√
SecondaryNameNode			√
Yarn	NodeManager	√	√	√
Resourcemanager		√
Zookeeper	Zookeeper Server	√	√	√
Flume(采集数据)	Flume	√	√
Kafka	Kafka	√	√	√
Flume（消费Kafka）	Flume			√
Hive	Hive	√
MySQL	MySQL	√
Sqoop	Sqoop	√
Azkaban	AzkabanWebServer	√
AzkabanExecutorServer	√
服务数总计		11	6	6

所用的技术包括：

Hadoop、Zookeeper、MySQL、HBase、Hive、sqoop、azkaban、echarts、tez、Kafka等。