一个服务器轻松存储上亿数据,TDengine 在北京智能建筑边缘存储的应用
现在得益于 TDengine Database 超强的压缩算法,我们使用非常小的存储空间就存储了几千万数据,压缩率远超 1/20,在单机上面布署一个 TDengine 服务器就可以轻轻松松地存储上亿的数据。
时序数据库 TDengine 用户主要来自物联网、工业互联网、车联网、物流、IT运维监测、电力、智慧城市、智慧矿山等领域。
现在得益于 TDengine Database 超强的压缩算法,我们使用非常小的存储空间就存储了几千万数据,压缩率远超 1/20,在单机上面布署一个 TDengine 服务器就可以轻轻松松地存储上亿的数据。
TDengine Database 在规则引擎场景下,提供了很好的查询性能,是实现实时告警和监控服务的重要一环。最终我们采用了3节点8核16G满足整体业务需求,系统可以根据时间段范围、针对单个设备进行数据上报的查询功能,且支持按照小时用量、日用量、月用量、年用量四个维度进行统计分析;目前单个超级表的压缩率为2.5%。
在元智信息的智慧矿山项目中,需要一款 Database 来支撑起生产交互管控系统的采运排环节所有过程设备的采集、存储、计算和监控功能。在 MySQL、InfluxDB、TDengine 的数据库选型调研中,TDengine 脱颖而出。本文讲述了他们的选型思路、建模思路以及方案创新点,作为经验参考分享给有需要的读者。
总的来说,因为选择了 TDengine Database,我们的项目很平稳地度过了测试阶段,在 TDengine 的使用上也没有遇到特别大的瓶颈,我相信在后面的合作中,我们对 TDengine 的了解也会更加深入。
随着业务的发展及数据量的增长,南京津驰选择将 TDengine Database 的社区版搭建在 GPS 服务中,替代原来的 Redis+MySQL+CSV 存储技术方案,以解决查询效率低、数据安全性低、数据占用空间大等问题。
存储上节省了将近40G的容量,总接入量每秒基本是20万个点左右。TDengine Database 不仅在分析业务模块上带来了性能上的巨大提升,更是在成本上达到了几乎对半的下调,极大地节省了中科云创在基础数据库建设上的投入。
从 MySQL + HBase 方案换为TDengine Database,对比之前使用 HBase 查询速度提升明显,从查询单设备24小时数据的秒级返回,到查询相同数据的毫秒级返回;每天增量数据占用的存储空间相当于原来使用 HBase 时的50%;集群计算资源成本相比使用 HBase 节省超过60%。
TDengine Database 的安装包十分小巧,借助于官方文档,Linux系统下的集群部署也很简单。接下来,配置好主机名、域名解析、暴露的端口、运行程序,过程非常顺滑,立马就能使用了。对比之前的 Hadoop 技术栈,这对运维团队来说简直就是福音!
同选用ClickHouse集群作为存储的TCL电子工业物联网平台对比,两个项目的数据规模差不多,TCL空调能源数据管理项目数据库服务器减少了一半。TDengine Database实现降能耗5%左右,预计每年为TCL空调实现降本收益上千万元。
在实际业务环境中,以上面描述的方式创建多列的超级表,虽然会存在大量的空列,但得益于 TDengine Database 的优化,能达到恐怖的0.01的压缩率,简单计算下来大约需要3.67GB每亿条。另外一张超级表(约25列数据列)针对传感器数据进行单独建模(不会存在空列的情况),压缩率也有0.2,计算一下空间使用约合3.8GB每亿条。