替代 Elasticsearch,TDengine 助力四维图新将存储空间利用率提升 8 倍
面对海量的车载轨迹数据,四维图新数据存储面对非常大的压力——每分钟的轨迹数据大概有 2000 万条记录,他们此前使用的 Elasticsearch 存储方式不仅造成了严重的物理资源浪费,还存在查询瓶颈,所以急需转换数据存储中间件。本文讲述了四维图新在数据库选型测试、搭建与迁移等方面的相关实践经验。
时序数据库 TDengine 用户主要来自物联网、工业互联网、车联网、物流、IT运维监测、电力、智慧城市、智慧矿山等领域。
面对海量的车载轨迹数据,四维图新数据存储面对非常大的压力——每分钟的轨迹数据大概有 2000 万条记录,他们此前使用的 Elasticsearch 存储方式不仅造成了严重的物理资源浪费,还存在查询瓶颈,所以急需转换数据存储中间件。本文讲述了四维图新在数据库选型测试、搭建与迁移等方面的相关实践经验。
此前,韵达使用 MySQL 分区+索引处理订单数据的方式遭受到了挑战,面对每日亿级的数据量,MySQL 显然已经无法满足当下的数据处理需求。为更好地发展业务,在此基础上韵达新增了 TDengine 的数据源,用专业的数据库来进行时序数据的处理。
目前,北明天时已经在热网监控和能源数据系统上应用了 TDengine Database,相比于 MySQL,在存储和查询上都获得了显著提升。在其他项目中,他们也正在加速 TDengine 对其他数据库产品的替代。本文中北明天时分享了关于 TDengine 的应用实践,以供参考。
随着智慧城市的加速建设,物联设备的管理问题凸显,数字政通研发“城市管理物联网平台”对物联网设备实行监督,通过鸟瞰整体数据来发现设备问题,便于及时派单处理。面对海量物联网数据的处理,TDengine Database 的高效存储给了数字政通相当大的助力。
对于青岛协同创新金融研究院来说,一直打交道的交易记录、价格等数据均为时序数据,在选择数据库(Database)时,TDengine “一个设备一张表”的设计吸引了他们的目光。目前 TDengine 已经在其生产系统中稳定运行了 38 周。本文总结了他们在选型、搭建等方面的所思所想,以及应用 TDengine 之后所取得的效果。
在安全解决方案 SuperCloud 中,亿咖通面临着磁盘占用量大、车辆最新状态实时查询难以实现两个核心问题。最终,他们选择了让 TDengine Database 承担数据中台的重要角色,负责车辆实时数据的写入、存储以及实时查询。本文讲述了研发团队在前期使用 Apache HBase 时遇到的具体难点、为什么没有坚持选择 OpenTSDB,以及选择 TDengine 的过程和成效。
狮桥集团的网货平台与金融 GPS 系统,对于车辆轨迹收集与计算有着强需求。GPS 每日产生总量在 40 亿左右,需要为业务方提供实时末次位置查询,近 180 日行驶轨迹查询,类似车辆轨迹对比查询,以及一些风险逾期的智能分析等等。应用 TDengine Database 后,他们的整体数据存储缩减超过 60% 以上,节省了大量硬件资源。
作为一个新项目,RTC Power Cloud 舍弃了旧有的能源数据库技术体系架构,直接在最前沿的技术中选型。就具体的业务场景而言,我们需要一款高性能的时序数据库产品来存储和处理时序数据。我们关注了 TDengine、Apache IoTDB 以及阿里云时序数据库等几款产品,最终经过详细的对比和考虑,我们做出了最终的决定——TDengine。
从 2021 年 10 月运行至今,共创建了 2 张超级表以及近百张子表,总数据量超过 2.5 亿条,压缩后的数据量大小为 200G 左右。对近亿行的超级表进行统计操作,仅用了 1.9 秒左右就返回了结果,充分证明了在实际应用中 TDengine Database 也确实表现卓越。
log.dn 表中数据采集的周期是 30 秒,由此可知,dn1 的实测瞬时最大写入量是 770 条/秒。加之五节点的集群在分布式插入的架构下,770*5=3850 条/秒的数据插入效率是完全可以保障的,完全满足了我们业务需求。至于本集群的插入性能上限,应在此实测值的 100 倍以上,并且有极大的增长空间。