本篇文章来自“2024,我想和 TDengine 谈谈”征文活动的优秀投稿,深入探讨了如何在消防行业中运用 TDengine 进行业务建模。文章重点介绍了如何通过 TDengine 的超级表、标签设计和高效查询功能,有效管理消防监控系统中的时序数据。作者详细阐述了实时监控、报警系统以及历史数据分析在消防行业中的应用,展示了 TDengine 在数据压缩、保留策略和分布式架构下的强大优势。
在 TDengine 中进行消防行业的业务建模,需要根据消防场景的具体需求,设计高效的数据存储、查询和分析架构。消防行业的业务模型通常涉及大量传感器、报警设备等数据源,需处理设备的实时数据采集、监控和历史数据分析。通过优化数据处理流程,确保系统能高效地管理和分析这些海量的时序数据。
TDengine 是一款专为时序数据设计的数据库,广泛应用于物联网、工业监控、金融监控等场景。这些场景通常涉及大量连续的数据点。以消防系统为例,系统中的各类监控设备(如电气火灾监控探测器、烟雾探测器、温湿度探测器、可燃气体探测器等)定期上传数据,形成典型的时序数据。其数据类型主要包括:
1. 实时监控数据:消防物联网设备持续上传环境监控数据,如电压、电流、温度、湿度、烟雾浓度和气体浓度等,其中时间戳是数据的核心。
2. 事件数据:当设备检测到异常情况(如火警、预警、故障、动作或隐患等)时,会上传告警信息,帮助及时响应和处置。
3. 地理位置数据:设备分布在不同区域、楼宇、楼层,因此需要记录设备的准确地理位置信息。
在 TDengine 中,针对这类数据,我们可以使用超级表进行管理。超级表不仅能优化批量写入,还能提高查询效率,确保大规模时序数据的高效处理。
接下来,我将围绕设备模型的超级表设计、标签(Tags)设计、数据压缩与保留策略等方面,详细解析 TDengine 在消防物联网场景中的应用。
设备模型的超级表设计
消防系统中设备种类繁多,但同类型设备的数据结构高度相似。利用 TDengine 的超级表(Super Table)进行建模,可以为每类设备创建一张超级表,让不同设备共享统一的数据结构,并通过标签(Tags)区分每个设备的个性化信息。
以电气火灾监控探测器场景为例,超级表可进行如下设计:
CREATE STABLE electrical_fire_device (
ts timestamp, --时间戳
residual_current float, -- 剩余电流
A_phase_temperature float, --A相温度
B_phase_temperature float, --B相温度
C_phase_temperature float, --C相温度
N_phase_temperature float, --N相温度
A_phase_current float, --A相电流
B_phase_current float, --B相电流
C_phase_current float, --C相电流
A_phase_voltage float, --A相电压
B_phase_voltage float, --B相电压
C_phase_voltage float --C相电压
) TAGS (
device_address varchar(32),
unit_id varchar(32),
deivce_type_id varchar(32),
device_id varchar(32),
building_id varchar(32),
floor_id varchar(32)
);
设计要点如下:
- ts(时间戳字段): 用于记录每次数据采集的时间。
- residual_current、A_phase_temperature、A_phase_current、A_phase_voltage 等字段: 存储电气火灾监控探测器上报的重要实时数据,包括剩余电流、相温度、相电流、相电压等。
- 标签字段: 通过
device_id
、building_id
、floor_id
、location_address
和unit_id
等标签,精准标识设备位置,同时支持高效的数据查询。
- floor_id:设备所在的楼层 ID。
- device_address:设备的具体位置描述。
- device_type_id:设备类型ID
通过这些标签,我们可以轻松实现条件查询。例如,查询特定建筑或楼层的所有设备数据,或基于设备 ID 精确定位单个设备的数据。
数据压缩与保留策略
消防系统中的监控数据通常需要长期保存,以便进行事故调查和分析。因此,在业务模型设计时需重点考虑数据的压缩与保留策略:
- 压缩:TDengine 内置高效的时序数据压缩算法,能够大幅减少存储空间,确保海量历史数据的高效存储。
- 保留策略:针对长期保留的消防数据,可以根据数据优先级设置合理的保留策略。例如,保留最近一年的详细数据,并定期清理超过一年的低优先级数据。
- 多级存储与对象存储:通过配置参数
dataDir
,TDengine 支持集群挂载多块硬盘,实现数据分级存储,将不同时间段的数据存储在不同设备上,实现“热”数据与“冷”数据分离。例如,最新采集且访问频繁的数据可存储在高性能固态硬盘(SSD)上,以满足高效读写需求,而历史数据等访问较少的数据则可存储在成本更低的机械硬盘(HDD)上。此外,TDengine 还支持将时序数据存储到对象存储系统中,并允许对对象存储中的数据执行删除和更新操作,进一步降低存储成本,充分利用各类存储资源。
设置数据保留策略示例如下:
CREATE DATABASE your_database_name KEEP 365;
ALTER DATABASE your_database_name KEEP 180;
实时报警与历史分析
消防行业的业务需求包括实时报警和历史数据分析:
实时报警:当设备检测到火警、预警或故障时,需要实时触发报警系统。借助 TDengine 的实时查询功能,可以对异常数据进行实时监测,并触发相应的报警机制。
历史数据分析:通过历史数据分析,可以实现趋势预测、设备故障排查和消防事故回溯等任务。例如,通过分析特定时间段内温度、烟雾浓度、电流、电压等变化趋势,识别潜在安全隐患。
以设备历史事件表为例,实时查询示例如下:
CREATE
STABLE monitor_event_his (
ts timestamp, --时间戳
id varchar(32) primary key,
event_type int,-- 事件类型(0:火警,1:故障,2:隐患等等)
message_id varchar(32),-- 消息id
monitor_flag int,-- 监测项标识
monitor_item varchar(50),--监测项名称
monitor_item_value FLOAT,-- 监测项值
description varchar(50),-- 监测项单位(MPa,m,℃)
event_id varchar(32)-- 事件id
) TAGS (
device_address varchar(32),-- 设备地址
unit_id varchar(32),-- 单位id
deivce_type_id varchar(32),--设备类型
device_id varchar(32),-- 设备id
building_id varchar(32),-- 楼栋id
floor_id varchar(32)-- 楼层id
);
如下是查询最近一分钟内设备上报的隐患:
SELECT *
FROM monitor_event_his
WHERE event_type = 2
AND ts > NOW - 1m; -- 查询最近
再例如,可以通过 interval
按指定的时间窗口对原始数据进行聚合(即降采样),从而在展示趋势线时显著减少前端从数据库拉取的数据量,提高展示效率。
如下是查询某设备最近一周的剩余电流情况,按 10 分钟窗口划分并计算平均值:
select avg(residual_current) as avg_residual_current,first(ts) as ts
from electrical_fire_device
where device_id='20240806094407799068' and ts >= now - 7d
interval (10m)
高效批量写入
消防监控设备会生成海量数据,因此需要确保数据写入的高效性。TDengine 支持高效批量写入,可以一次性写入多条数据,减少频繁的单条写入请求,从而大幅提升写入性能。
批量写入示例:
INSERT INTO electrical_fire_device(tbname, ts, residual_current, A_phase_temperature, B_phase_temperature, C_phase_temperature,
N_phase_temperature, A_phase_current, B_phase_current, C_phase_current, A_phase_voltage,
B_phase_voltage, C_phase_voltage, device_address, unit_id, deivce_type_id, device_id)
VALUES ('20240806094407799068', NOW, 3.6, 30.6, 30.9, 30.7, 30.7, 0.3, 1.5, 2, 235.5, 236.5, 235.7, '强电井内',
'340000DW1809068949740978176', '23050000', '20240806094407799068'),
('20240806094407799068', NOW+1s, 3.7, 30.6, 30.9, 30.7, 30.7, 0.3, 1.5, 2, 235.5, 236.5, 235.7, '强电井内',
'340000DW1809068949740978176', '23050000', '20240806094407799068')
('20240806094407799068', NOW+2s, 3.8, 30.6, 30.9, 30.7, 30.7, 0.3, 1.5, 2, 235.5, 236.5, 235.7, '强电井内',
'340000DW1809068949740978176', '23050000', '20240806094407799068');-- 批量插入多条设备数据
分布式架构与高可用性
消防监控系统对数据的实时性和高可用性要求极高,因此 TDengine 的分布式架构设计尤为重要:
- 分布式部署:TDengine 支持分布式部署,可将不同区域或建筑的数据分配到不同节点存储,实现数据的水平扩展,满足大规模数据管理需求。
- 数据副本:通过设置数据副本,确保数据安全,避免因单点故障导致的数据丢失。
- 高可用性:依托 TDengine 的集群机制,即使部分节点发生故障,系统仍能稳定运行,确保业务连续性。
多维度查询与分析
在消防业务建模中,常常需要通过多维度分析来排查问题或辅助决策。TDengine 的标签功能非常适合支持多维度查询,例如:
- 查询某建筑的设备历史数据;
- 按设备 ID 查询特定设备的故障记录;
- 统计某时间段内所有设备的报警次数。
多维度查询示例如下,以下示例统计某建筑在特定时间段内的平均剩余电流和平均相电流:
SELECT AVG(residual_current), AVG(A_phase_current)
FROM electrical_fire_device
WHERE building_id = 'B001'
AND ts BETWEEN '2024-09-01' AND '2024-09-10';
这种灵活的多维度查询能力,使得问题排查和决策分析更加高效。
结语
消防行业的业务建模需要以传感器数据、实时监控和报警系统为核心。TDengine 凭借强大的时序数据处理能力,通过超级表、标签设计、高效查询与数据压缩机制,为消防行业提供高效的大规模数据管理和分析解决方案。在业务模型设计中,我们应充分发挥 TDengine 的分布式架构、高可用性、批量写入和实时查询功能,确保系统的可靠性、可扩展性和高性能。