物联网IoT平台 | 物联网IoT平台的定义
物联网IoT平台企业案例
至数摇光 x TDengine
业务背景
至数物联网平台场景多、数据模型复杂，改造前数据库采用 OpenTSDB+MySQL 结合的方式实现，由于 OpenTSDB 无法满足复杂查询场景，因此 80% 的场景指标只能基于 MySQL 数据库来实现，这样带来的问题就是 MySQL 数据库的数据增长迅速，需要定时做冷热数据分离及数据库表维护动作。在对 TDengine 进行充分调研后，至数摇光决定从时序数据库 OpenTSDB 迁移到 TDengine，并基于 TDengine 的特性对系统进行彻底性的改造。
架构图
华自科技 x TDengine
当前项目数据测点大概在 18 万左右，改造后数据存储周期由原来的 5 分钟减少到 1 秒钟，存储的数据维度更精细了，能为平台的智能诊断、智能分析服务提供更准确的数据支持，同时各业务场景下的计算查询性能也提升了不少，数据库服务器由原来的 6 台减少到目前的 3 个节点集群。
业务背景
华自科技旗下的物联网数据平台是电站及泵站智慧运维平台的核心组成。在数据存储上，此前其采用 MySQL 分库分表方案来存储历史数据，使用 Redis 来存储实时数据，在测点数较少或者集控需求不是很多的场景下，基本满足需求，但随着平台业务的发展，接入的站点越来越多，运维难、开发难、成本高等问题逐渐凸显。为了解决这些问题，华自科技决定重新进行技术选型，寻找替代方案，升级目前数据库存储方案。结合平台实际需要，其调研了 InfluxDB、庚顿、麦杰、TimescaleDB、TDengine 这几款数据库产品，最终选择了 TDengine。
改造迁移
由于 TDengine 采用了类 SQL 的语法，支持 MyBatis 等 ORM 框架，因此老业务在代码层面的改动非常少，改动最多的就是将原来的 MySQL 函数结合应用代码的一些计算逻辑直接用 TDengine 的函数替换掉。在通过业务系统观察和验证各项功能正常之后，就可以进行历史数据的迁移了。由于 TDengine 的表结构与原来的 MySQL 存储结构基本类似，因此物联网数据平台开发人员直接采用 DataX 的 TDengine 插件，历史数据就很轻松地迁移过来了。
睿信物联网平台 x TDengine
业务背景
睿信物联网平台此前采用 OpenTSDB 进行时序数据的存储，功能上基本满足现有需求，但是由于 OpenTSDB 架构复杂，体量过重，给开发测试、安装部署以及运维管理等工作带来了不小的麻烦。随着业务的发展，问题逐渐凸显，开始影响工作效率，具体可以归纳为安装难、调试难、运维难、成本高四大问题。从业务发展的角度出发，睿信开发人员决定重新进行技术选型，寻找 OpenTSDB 的替代方案，分别对 InfluxDB、TimescaleDB 和 TDengine 三款时序数据库进行调研。
架构图
苍穹数码 x TDengine
我们以近 10 年全省的雨量站小时雨量数据为测试数据，从常用的应用场景对 TimescaleDB 和 TDengine 两款数据库进行对比分析，历史数据批量入库场景中 TimescaleDB 用时 24 小时，TDengine 用时仅仅 2 小时；入库后数据文件大小对比结果中 TimescaleDB 是 38GB，TDengine 是 698MB；常见查询场景比对中 TDengine 也均优于 TimescaleDB。从入库、压缩比及查询 3 个维度来看，TDengine 都是完胜。
业务背景
在地灾专业监测物联网平台项目中，首先需要解决的就是海量时序数据的存储和计算问题，其有着体量大、时间长，写入、查询要求高等特点，传统关系型数据库已经无法满足实时写入与高性能查询要求。该项目在 2018 年创建之初采用的是大型企业级数据库 Oracle，目前已经无法满足实时写入与高性能查询要求，特别是当雨季来临，传感器数据采集频率提高到秒级、毫秒级别，数据入库就会阻塞，效率非常低下。苍穹数码选择接入 TDengine 以解决海量时序数据的存储和计算问题。
架构图
通过上面几个实践我们也能看到，时序数据积累得非常快，每秒产生数百万条数据，通用数据库并不是为处理这种规模的数据而设计的——关系数据库在非常大的数据集上表现很差，NoSQL 数据库虽然解决了扩展能力，但是其通用的数据组织方式并不完全适用于对时序数据存储和查询需求，用户必须根据实际应用场景，进行特殊设计甚至大量数据冗余存储才能较好的利用资源处理请求。
而在时序数据库（Time Series Database）的选择上，企业也要擦亮双眼，进行充分的调研测试，选择性能最好资源使用率最高的产品，此前我们基于第三方性能基准测试平台 TSBS 测试发布的 IoT 场景下 TDengine 3.0 性能对比分析报告，大家也可做参考。如果你正面临数据处理难题，欢迎添加小T微信（tdengine）寻求帮助。
