【技术干货】代码示例:使用 Apache Flink 连接 TDengine
除了核心的时序数据库功能外,TDengine 还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。但是很多小伙伴出于架构的考虑,还是需要将数据导出到 Apache Flink、Apache Spark 等平台进行计算分析。 为了帮助大家对接,我们特别推出了保姆级课程,包学包会。
时序数据库 TDengine 技术文章包括性能对比测试、使用教程等
除了核心的时序数据库功能外,TDengine 还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。但是很多小伙伴出于架构的考虑,还是需要将数据导出到 Apache Flink、Apache Spark 等平台进行计算分析。 为了帮助大家对接,我们特别推出了保姆级课程,包学包会。
为防止过多的共性问题困扰大家,方便大家学习、吸收经验,从今天开始我们会对近期社区内用户遇到的共性问题进行精选、汇总,每两周给大家带来一次分享。 这是此类专栏的第一期内容,为大家分享七个常见问题。
如果我们要做行情 tick 数据的存储,怎样的数据结构查找起来才会比较快?在加入 TDengine 之前,本文作者丁博在弘源泰平量化投资做量化工程师,曾经遇到过这一类存储行情 tick 数据的问题,本文会就此问题进行详细的技术解读。
近年来,随着物联网技术和市场的快速发展、企业业务的加速扩张,时序数据的处理难题也越来越受到行业和企业的重视,时序场景下通用型数据库步履维艰,各种时序数据库产品应运而起。但是,做一个优质的时序数据库真的很容易吗?本篇文章将从数据库开发者的角度,解剖时序场景下的数据处理需求、分析时序数据库设计思路,给到读者一些硬核技术思考。
在基于该对比测试框架下运行的测试中,展示出了 TDengine Database 相对于 InfluxDB 较大的性能优势,特别是更加多样化的条件和变量控制情况下的扩展测试中,我们看到 TDengine 一致性地表现出相对于 InfluxDB 的较大性能优势。
WAL(Write Ahead Log),是 TDengine Database 的一个重要的功能模块,它可以实现数据的容错能力,保证数据的高可用。 即使数据库因为断电等意外事故宕机,也能避免数据的丢失。
我为TDengine Database编写了Lua版的连接器,主要面向两个用户群体,一是OpenResty(Nginx+Lua),另一个是Skynet。支持用Lua实现UDF是我的下一个工作重点,这将进一步降低应用的复杂度。
压缩率远超1/20,在单机上面布署一个TDengine服务器就可以轻松存储上亿的数据;千万级数据检索时间达到了毫秒级。
为进一步提升TDengine自身的监控和运维能力,涛思数据开发了TDinsight – 基于Grafana的零依赖监控解决方案,可配合TDengine 2.3.3.0及以上版本使用。
复杂场景迁移最佳实践。