技术栈

数据采集

Flume LogState Canal

数据存储

MySQL PostgreSQL MongoDB HDFS HBase

缓冲层

ACTIVEMQ KAFKA REDIS

计算层

flink、SparkSQL、SparkStreaming、hive、MapReduce

资源调度层

yarn

数据检索层

Elasticsearch、impalla、phoenix、kylin

分布式调度工具

Zookeeper

辅助工具

sqoop、azkaban、hue、