在进行行情 tick 数据存储时,哪种数据结构查找起来更快?
如果我们要做行情 tick 数据的存储,怎样的数据结构查找起来才会比较快?在加入 TDengine 之前,本文作者丁博在弘源泰平量化投资做量化工程师,曾经遇到过这一类存储行情 tick 数据的问题,本文会就此问题进行详细的技术解读。
时序数据库 TDengine 技术文章包括性能对比测试、使用教程等
如果我们要做行情 tick 数据的存储,怎样的数据结构查找起来才会比较快?在加入 TDengine 之前,本文作者丁博在弘源泰平量化投资做量化工程师,曾经遇到过这一类存储行情 tick 数据的问题,本文会就此问题进行详细的技术解读。
近年来,随着物联网技术和市场的快速发展、企业业务的加速扩张,时序数据的处理难题也越来越受到行业和企业的重视,时序场景下通用型数据库步履维艰,各种时序数据库产品应运而起。但是,做一个优质的时序数据库真的很容易吗?本篇文章将从数据库开发者的角度,解剖时序场景下的数据处理需求、分析时序数据库设计思路,给到读者一些硬核技术思考。
在基于该对比测试框架下运行的测试中,展示出了 TDengine Database 相对于 InfluxDB 较大的性能优势,特别是更加多样化的条件和变量控制情况下的扩展测试中,我们看到 TDengine 一致性地表现出相对于 InfluxDB 的较大性能优势。
WAL(Write Ahead Log),是 TDengine Database 的一个重要的功能模块,它可以实现数据的容错能力,保证数据的高可用。 即使数据库因为断电等意外事故宕机,也能避免数据的丢失。
我为TDengine Database编写了Lua版的连接器,主要面向两个用户群体,一是OpenResty(Nginx+Lua),另一个是Skynet。支持用Lua实现UDF是我的下一个工作重点,这将进一步降低应用的复杂度。
压缩率远超1/20,在单机上面布署一个TDengine服务器就可以轻松存储上亿的数据;千万级数据检索时间达到了毫秒级。
为进一步提升TDengine自身的监控和运维能力,涛思数据开发了TDinsight – 基于Grafana的零依赖监控解决方案,可配合TDengine 2.3.3.0及以上版本使用。
复杂场景迁移最佳实践。
运维监控场景下,从OpenTSDB向TDengine迁移的最佳实践。
对于以处理时序数据为根基的时序数据库来说,如何灵活的利用时间频率来计算分析数据实在是太重要了“可在时间轴上”聚合的强大函数——INTERVAL。