大家好,欢迎来到IT知识分享网。
需求:满足用户(物联网设备)实时位置,状态监测的灵活查询。时间,位置,号码(物联网设备)(优先级)
评估Greenplum、Kudu、TiDB、MemSql、ES、Redis,Druid 都进入了我们的视野。
对于新的实时系统,主要考虑以下几点:
1、系统既要满足 OLAP 还要满足OLTP 的基本需求,涉及到更新最近位置的数据;
2、新系统要尽量降低业务的使用要求;
3、新系统最好能够与现有的 Hadoop 体系相结合。
TiDB 分布式特性可以很好的平衡热点数据,可以用它作为业务库热点数据的一个备份库,或者直接迁入 TiDB 。
思路:
1、上游信令的数据通过 TiDB 实时写入,下游 OLAP 的业务通过 TiDB / TiSpark 实时分析。
2、从 TiDB 中利用 TiSpark 进行抽取到历史库(ES,MemSql)。
技术架构:
Kafka+Streams+TiDB(Memsql)+Restful(查询)
为了更形象理解实时系统平台,做了如下类比:
实时数据流:一条河渠。
满足条件数据:河流里的鱼(红色的鱼,粉色的鱼)(时间,位置,号码设备标识)
事件处理平台:渔网,地笼,筛网(网洞大小)鱼是主动上网。
实时检索平台:铺渔网。鱼是被动上网。
实时查询形式(restful,SQL接口),只留最近数据。
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/61901.html