形象理解海量大数据实时系统

形象理解海量大数据实时系统需求:满足用户(物联网设备)实时位置,状态监测的灵活查询。时间,位置,号码(物联网设备)(优先级)评估Greenplum、Kudu、TiDB、M

大家好,欢迎来到IT知识分享网。

需求:满足用户(物联网设备)实时位置,状态监测的灵活查询。时间,位置,号码(物联网设备)(优先级)

评估Greenplum、Kudu、TiDB、MemSql、ES、Redis,Druid 都进入了我们的视野。

对于新的实时系统,主要考虑以下几点:

1、系统既要满足 OLAP 还要满足OLTP 的基本需求,涉及到更新最近位置的数据;

2、新系统要尽量降低业务的使用要求;

3、新系统最好能够与现有的 Hadoop 体系相结合。

TiDB 分布式特性可以很好的平衡热点数据,可以用它作为业务库热点数据的一个备份库,或者直接迁入 TiDB 。

思路:

1、上游信令的数据通过 TiDB 实时写入,下游 OLAP 的业务通过 TiDB / TiSpark 实时分析。

2、从 TiDB 中利用 TiSpark 进行抽取到历史库(ES,MemSql)。

技术架构:

形象理解海量大数据实时系统

Kafka+Streams+TiDB(Memsql)+Restful(查询)

为了更形象理解实时系统平台,做了如下类比:

实时数据流:一条河渠。

满足条件数据:河流里的鱼(红色的鱼,粉色的鱼)(时间,位置,号码设备标识)

事件处理平台:渔网,地笼,筛网(网洞大小)鱼是主动上网。

实时检索平台:铺渔网。鱼是被动上网。

实时查询形式(restful,SQL接口),只留最近数据。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/61901.html

(0)

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信