“一个扫描枪一张表”,韵达选择 TDengine 应对每日亿级数据量
此前,韵达使用 MySQL 分区+索引处理订单数据的方式遭受到了挑战,面对每日亿级的数据量,MySQL 显然已经无法满足当下的数据处理需求。为更好地发展业务,在此基础上韵达新增了 TDengine 的数据源,用专业的数据库来进行时序数据的处理。
时序数据库 TDengine 用户主要来自物联网、工业互联网、车联网、物流、IT运维监测、电力、智慧城市、智慧矿山等领域。
此前,韵达使用 MySQL 分区+索引处理订单数据的方式遭受到了挑战,面对每日亿级的数据量,MySQL 显然已经无法满足当下的数据处理需求。为更好地发展业务,在此基础上韵达新增了 TDengine 的数据源,用专业的数据库来进行时序数据的处理。
目前,北明天时已经在热网监控和能耗分析系统上应用了 TDengine Database,相比于 MySQL,在存储和查询上都获得了显著提升。在其他项目中,他们也正在加速 TDengine 对其他数据库产品的替代。本文中北明天时分享了关于 TDengine 的应用实践,以供参考。
随着智慧城市的加速建设,物联设备的管理问题凸显,数字政通研发“城市管理物联网平台”对物联网设备实行监督,通过鸟瞰整体数据来发现设备问题,便于及时派单处理。面对海量物联网数据的处理,TDengine Database 的高效存储给了数字政通相当大的助力。
对于青岛协同创新金融研究院来说,一直打交道的交易记录、价格等数据均为时序数据,在选择数据库(Database)时,TDengine “一个设备一张表”的设计吸引了他们的目光。目前 TDengine 已经在其生产系统中稳定运行了 38 周。本文总结了他们在选型、搭建等方面的所思所想,以及应用 TDengine 之后所取得的效果。
在安全解决方案 SuperCloud 中,亿咖通面临着磁盘占用量大、车辆最新状态实时查询难以实现两个核心问题。最终,他们选择了让 TDengine Database 承担数据中台的重要角色,负责车辆实时数据的写入、存储以及实时查询。本文讲述了研发团队在前期使用 Apache HBase 时遇到的具体难点、为什么没有坚持选择 OpenTSDB,以及选择 TDengine 的过程和成效。
狮桥集团的网货平台与金融 GPS 系统,对于车辆轨迹收集与计算有着强需求。GPS 每日产生总量在 40 亿左右,需要为业务方提供实时末次位置查询,近 180 日行驶轨迹查询,类似车辆轨迹对比查询,以及一些风险逾期的智能分析等等。应用 TDengine Database 后,他们的整体数据存储缩减超过 60% 以上,节省了大量硬件资源。
作为一个新项目,RTC Power Cloud 舍弃了旧有的技术体系架构,直接在最前沿的技术中选型。就具体的业务场景而言,我们需要一款高性能的时序数据库产品来存储和处理时序数据。我们关注了 TDengine、Apache IoTDB 以及阿里云时序数据库等几款产品,最终经过详细的对比和考虑,我们做出了最终的决定——TDengine。
从 2021 年 10 月运行至今,共创建了 2 张超级表以及近百张子表,总数据量超过 2.5 亿条,压缩后的数据量大小为 200G 左右。对近亿行的超级表进行统计操作,仅用了 1.9 秒左右就返回了结果,充分证明了在实际应用中 TDengine Database 也确实表现卓越。
log.dn 表中数据采集的周期是 30 秒,由此可知,dn1 的实测瞬时最大写入量是 770 条/秒。加之五节点的集群在分布式插入的架构下,770*5=3850 条/秒的数据插入效率是完全可以保障的,完全满足了我们业务需求。至于本集群的插入性能上限,应在此实测值的 100 倍以上,并且有极大的增长空间。
聚焦到实际效果上,TDengine 数据写入性能很强。原本我们的单套存储系统需要 10 多台高配机器,IO 平均 30% 最高 100% 的情况下才能写完数据;现在只需要 7 台机器,并且 CPU 消耗在 10% 左右、磁盘 IO 消耗在 1% 左右,这点非常的棒!