一个物联网大数据平台demo,基于hadoop,由storm、kafka、hbase等组件组成,对物联网数据进行解析,处理以及存储,处理结果数据可供其他平台使用。
- Hadoop:分布式存储与并行处理计算框架,hadoop2.0主要由hdfs(分布式文件系统)、mapreduce(分布式处理计算框架)和yarn(资源协调器)组成。
- Storm:是一个免费的开源分布式实时大数据计算处理系统,业界称为实时版Hadoop。
- Kafka:分布式流平台。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
- Hbase:是一种开放源,分布式,版本化,非关系型数据库。可以对大数据进行随机,实时的读/写访问。