TDengine 3.0 自去年 8 月份发布以来,已经被大量用户下载使用。在此过程中,涛思的研发同学也没有懈怠,针对大家在社群、各种我们能触达到的平台上提出的种种有价值的反馈,都一一进行了记录,并开始寻求更高效的实现方法。
终于,在 2023 年的第一季度, TDengine 第一个重要改进版本 3.0.3.0 发布,这一版本涉及到的更新内容包括数据重整、事件窗口、标签索引、taosX、taosExplorer 等功能或组件。经过这一系列的功能优化与加强,TDengine 的性能、易用性、运维便利性都有大幅提升。
下面我们一起来看一下这一版本的详细更新信息:
数据重整 (Data Compact) ——Enterprise only
包含以下优化:
- 对写入数据库中所有 Vnode 的所有数据文件进行重整,生成新的落盘文件
- 清除已删除的表的所有数据
- 清除 delete 语句删除的所有数据
- 合并更新的所有数据
- 生成新的文件,提升查询性能
借助此功能,用户可以重整数据库,清除掉无用数据、重复数据。除了能够释放存储空间外,查询性能也会有巨大的提升,且原有的乱序数据和重复数据的比例越高性能提升越显著。
事件窗口 (Event Window)
包含以下优化:
- 按照用户指定的条件来决定开启和结束窗口的边界
- 丰富窗口类型,提供更灵活的窗口支持,满足由事件驱动的业务需求
更详细信息请参考官方文档(http://tdlake.cn/5W1eL4)
标签索引 (Tag Index)
包含以下优化:
- 可以按需在标签列上创建和删除索引,之前版本仅对第一个标签内置了索引
- 可以按需创建标签索引,提升基于标签过滤的查询的性能
taosX——Enterprise only
包含以下优化:
- 从 2.x 到 3.0 以及 3.0 到 3.0 的数据复制,包括存量和增量数据
- 备份数据到本地文件,从本地文件恢复数据
详细说明:
- 支持 select-with-stable tables 参数(2.6 迁移到 2.6 下)
- 增强错误处理
- REST API support for Data In.
- Add name field for task props (数据源命名).
- Add labels field (更方便和定制化地对任务进行标记和查询)
- Add detail query parameter (数据源 DSN 自动解析,用于查看和编译数据源)
- Add trigger field for task schedule (定时自动增量备份).
- 修复 2.6 内存泄漏问题
- 修复 unreachable 和 panic 问题
taosExplorer——Enterprise only
使用该工具可基于 Web UI查看、操作、和管理 TDengine 集群。
详细说明:
- Data Explorer——
- 使用图形界面查看和浏览集群中的数据库、超级表、子表、普通表
- 使用图形界面创建和删除库、超级表、子表、普通表
- 输入和执行 SQL 语句,查看执行结果
- 收藏常用的 SQL 语句以快速执行
- 浏览 SQL 语句的执行记录
- 数据导入(Data In)——从另一 TDengine 集群导入数据
- 创建和删除 Topic
- 创建和删除流
- 管理用户和权限
- 备份数据到本地文件和从本地文件中恢复
- 从另一集群复制数据到当前集群,从当前集群复制数据到另一集群
- 集群管理和运维——添加/删除 dnode/mnode/gnode
- 基于Grafana进行集群监控
Java/Python 连接器
- 优化后的连接器支持基于 WebSocket 的消息订阅
- 既支持 TDengine Cloud 也支持独立部署的 TDengine 集群
- 类似 REST,可以不依赖 taosc library,但比 REST 性能更好
- 接口风格和 Kafka 基本一致
- API 和示例代码详见官网文档
Grafana Plugin
- Dashboard 可以监控 HTTP status code
在 TDinsight V3.x TaosAdapter Row 中新增 dashboard,展示 taosadapter 的所有 http 状态码,数据来源为 log 库的 “taosadapter_restful_http_request_total”表。
- 多维数据场景下的统一告警
Grafana 8.x 之后的版本添加 unified alert, TDengine Grafana plugin v3.2.9 添加了对多维数据场景下 unified alert 支持。在 add query 面板设置 “INPUT SQL”、 “Group by column name(s)” 即可展示多维数据,然后添加 expression 设置数据的阈值,即可配置 unified alert。
详细信息可以参考发布说明(https://github.com/taosdata/TDengine/releases/tag/ver-3.0.3.0)。欢迎大家下载使用 TDengine,有任何问题,都可以添加小T vx:tdengine 申请加入 TDengine 用户交流群,及时向我们的解决方案专家寻求支持与帮助。