告别性能瓶颈!四大关系型数据库向 TDengine 时序数据库迁移的最佳解决方案

在 TDengine 3.3.0.0、3.3.2.0 版本中,我们进一步增强了数据接入功能,实现了传统关系型数据库向 TDengine 的平滑迁移。这两次版本更新重点打通了 MySQL、PostgreSQL、Oracle、SQL Server 到 TDengine 的迁移路径。本篇文章将讲述增加关系型数据库接入功能的必要性及其操作方式,给到有需要的小伙伴参考。

打造关系型数据库 Connector 的必要性

在工业和电力领域,实时监测是解决传统流程工业问题的关键。通常,实时数据库用于实时监测,而历史数据则存储在关系数据库中。然而,使用关系数据库存储时序数据存在诸多缺点,包括:

1. 海量时序数据读写性能低:关系数据库在处理大规模时序数据时,读写性能往往无法满足需求,导致数据处理效率低下。
2. 分布式支持差:关系数据库在分布式环境中的支持较弱,难以实现大规模分布式部署。
3. 查询性能下降:随着数据量的增加,关系数据库的查询速度显著下降,无法满足高效的数据检索需求。
4. 时序数据特有分析能力欠缺:关系数据库缺乏针对时序数据的专用分析功能,开发人员需要编写复杂的应用程序来实现特定的分析需求。

海量设备数据的激增和实时性要求,使得 MySQL、Oracle 一类的关系型数据库在处理大规模数据时的性能瓶颈日益凸显。对于许多使用此类数据库存储数据的物联网和工业互联网系统来说,随着接入系统设备数量的不断增加和用户对数据实时性反馈要求的提高,数据库系统越来越无法满足业务需求。为了解决这一问题,越来越多的企业开始进行数据架构改革,时序数据库 TDengine 成为众多企业的首选解决方案之一。

中移物联为例,智慧出行是其业务中的典型场景之一。中移物联需要存储车联网设备的轨迹数据,并支持对这些轨迹进行高效查询。最初,他们使用 Oracle 小型机进行单表分区存储,但这种方法运维复杂且难以管理。2017 年,为响应集团去 IOE 的要求,中移物联开始使用 MySQL 集群。然而,随着产品在 2019 年提出更高的数据存储需求,中移物联调研了国产数据库 TiDB,但由于其存储成本过高,不适合低价值的轨迹数据存储,并且无法满足行业客户对轨迹数据存储周期的定制化需求。

最终,中移物联选择了 TDengine 作为新的数据存储引擎。替换 MySQL 方案后,其存储空间减少到原来的 1/7,业务写入峰值达到 1.2-1.3 万行/秒,数据迁移过程中可以达到 20 万行/秒,读取数据性能也非常出色,最常用的单设备单日查询可以在 0.1 秒内返回结果。这些改进显著提升了中移物联的运维效率和数据处理能力。

近些年,从传统的关系型数据库升级至 TDengine 的案例数量显著增加,对其他客户案例感兴趣的小伙伴可移至 https://www.taosdata.com/tdengine-user-cases 查看更多经验分享。

为了方便更多被关系型数据库性能瓶颈困扰的企业更顺滑地向 TDengine 进行数据迁移,研发团队历时数月打造 MySQL Connector、PostgreSQL Connector、Oracle Connector、SQL Server Connector。通过这些连接器,不仅数据迁移的稳定性和完整性极大提升,迁移过程也大幅缩短,使企业在不影响现有业务的前提下,轻松享受到 TDengine 带来的高效性能。

从几大关系型数据库向 TDengine 迁移仅需三步

以 MySQL Connector 为例,其具备多项亮点,包括支持历史数据迁移和实时数据同步、迁移过程中的断点续传、transformer 功能、以及无需工厂侧有公网 IP 的 Agent 运行模式。此外,用户可以通过可视化界面管理这些功能,并在数据传输过程中进行数据压缩,实现秒级延迟的实时数据同步。

MySQL Connector 的运作原理就是先通过 SQL 语句将 MySQL 中的时序数据查询出来,按照用户配置的 transformer 规则进行转换,然后写入 TDengine 中。借助 MySQL Connector,我们只需进行少量配置,三个步骤即可将 MySQL 的数据轻松接入 TDengine。

配置连接信息

告别性能瓶颈!四大关系型数据库向 TDengine 时序数据库迁移的最佳解决方案 - TDengine Database 时序数据库

配置 SQL 信息

告别性能瓶颈!四大关系型数据库向 TDengine 时序数据库迁移的最佳解决方案 - TDengine Database 时序数据库

进行数据映射

告别性能瓶颈!四大关系型数据库向 TDengine 时序数据库迁移的最佳解决方案 - TDengine Database 时序数据库

其他几种关系型数据库的迁移操作同样如此简单,你还在等什么?赶紧尝试一下吧,体验高效便捷的数据迁移过程!

结语

在数据接入方面,TDengine 目前已实现与多种数据源的无缝对接,包括 AVEVA Historian、OPC、Kafka、MQTT、InfluxDB 和 PI System 等。针对传统关系型数据库,已实现了 MySQL、PostgreSQL、Oracle、SQL Server 到 TDengine 的平滑迁移。随着数据源种类的增加,TDengine 的灵活性和选择性也越来越丰富,这意味着用户可以轻松地将不同数据源的数据导入 TDengine 中进行统一管理和分析。

目前,TDengine 3.0 企业版和 TDengine Cloud 均支持数据接入功能。如果你也想体验平滑迁移的便捷性,立即注册 TDengine Cloud,即可获得价值 600 元的体验券,开启前所未有的数据之旅!如需了解更多关于 TDengine 企业版和 TDengine Cloud 的信息,可以添加小T微信(tdengine),与专业的解决方案专家一对一沟通。