在城市水務行業(yè)中,各省市水務集團與水務公司作為國有資產(chǎn)管理和基礎設施投資運營主體,負責城鎮(zhèn)供水、排水防汛、污水處理、中水回用、河道運維、污泥處置、海水淡化、水務工程建設等各類水務相關業(yè)務。根據(jù)國務院國資委與各地方國資委新基建數(shù)字化轉(zhuǎn)型以及智慧水務規(guī)劃的目標任務,各水務運營主體提出了通過數(shù)字化轉(zhuǎn)型提升集團生產(chǎn)效能,助推水務事業(yè)高質(zhì)量發(fā)展的要求。

水務業(yè)務的數(shù)字化轉(zhuǎn)型過程可分為「數(shù)據(jù)先行、夯實基礎」、「資源整合、管理提升」、「管理創(chuàng)新、戰(zhàn)略發(fā)展」三個階段實施。 而構建一個物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)則是「數(shù)據(jù)先行,夯實基礎」階段的重要任務。

本文將分享青島研博結合 EMQ 物聯(lián)網(wǎng)數(shù)據(jù)基礎設施軟件構建智慧水務平臺產(chǎn)品的實踐經(jīng)驗。

水務數(shù)字化的現(xiàn)狀與問題

廠站建設不標準

廠站數(shù)據(jù)未實現(xiàn)實時數(shù)據(jù)集中監(jiān)管,各個廠站自控系統(tǒng)建設標準未統(tǒng)一,網(wǎng)絡部署無規(guī)劃,各個廠站 PLC 和組態(tài)軟件的點表沒有統(tǒng)一的標準規(guī)范,制約了數(shù)據(jù)匯聚及大數(shù)據(jù)分析應用,不利于數(shù)據(jù)挖掘工作。

抄表標準不統(tǒng)一,系統(tǒng)壁壘嚴重

隨著各供水企業(yè)遠傳水表數(shù)量逐漸增多,各水表廠家的數(shù)據(jù)傳輸標準不統(tǒng)一,導致遠傳水表不能互換;各水表廠家各自搭建了抄表平臺,存在抄表平臺重復建設和數(shù)據(jù)壁壘問題,不利于集團統(tǒng)一管理。

數(shù)據(jù)質(zhì)量無法支撐大數(shù)據(jù)平臺

部分水務集團規(guī)劃建設了集團大數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)統(tǒng)一治理,大數(shù)據(jù)中心必須有高質(zhì)量的感知層數(shù)據(jù)支撐。由于廠站數(shù)據(jù)、抄表數(shù)據(jù)以及其他業(yè)務數(shù)據(jù)沒有統(tǒng)一接入規(guī)范,數(shù)據(jù)質(zhì)量參差不齊。各類數(shù)據(jù)分散在各個系統(tǒng)中,很難形成可為大數(shù)據(jù)中心提供實時性強,格式規(guī)范的數(shù)據(jù)源。

青島研博水務物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)建設思路

為了更好地服務于當前水務數(shù)字化轉(zhuǎn)型的需求,青島研博提出了基于物聯(lián)網(wǎng)技術實現(xiàn)水務物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)的建設思路:

廠站數(shù)據(jù)在邊緣側(cè)統(tǒng)一采集并規(guī)范化處理上報

為了解決廠站生產(chǎn)數(shù)據(jù)分散和數(shù)據(jù)壁壘問題,通過將已有廠站、管網(wǎng)的各類工業(yè)自動化設備與系統(tǒng)的數(shù)據(jù)在廠站邊緣側(cè)進行實時采集,數(shù)據(jù)格式統(tǒng)一處理,將各廠站數(shù)據(jù)統(tǒng)一接入到上層的物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)中。

從各個廠站上傳周期需要根據(jù)現(xiàn)場的物理設備進行確認,但一般速率都比較快。每個廠站要采集的數(shù)據(jù)都不相同,點數(shù)不同,以其中某廠站為例,需要接入各種類型設備。 如某大型廠站主站設備包括:攪拌器,內(nèi)回流泵(遠程就地、故障、手動自動,開、停),電動閥門(閥位、開度、開到位、關到位、故障),生物池空氣閥門(調(diào)節(jié)閥、閥位),外回流池,刮泥機,液位計,流量計,進口氨氮,氨氮硝氮一體機,溶解氧探頭,ORP(測試微生物),MLSS(污泥濃度); 子站設備包括:鼓風機流量,壓力,鼓風機,計量泵,液位計,卸料泵,混合泵,電動閥,流量計。大廠站采集點位在幾千點,小型廠站采集點規(guī)模也在在幾百點。

在實際項目中,廠區(qū)可以分為新建廠區(qū)和老廠區(qū)兩種,老廠區(qū)基本上 PLC 比較老舊,而且不可以對現(xiàn)有 PLC 程序進行改造,需要對接廠區(qū)現(xiàn)有 SCADA 系統(tǒng)(一般對接 OPC-DA 接口)將數(shù)據(jù)采集出來后進行數(shù)據(jù)格式轉(zhuǎn)換,然后上傳到物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)中。新建廠區(qū)可以要求新建廠區(qū)的 PLC 支持 OPC UA 協(xié)議或者 Modbus TCP 協(xié)議,通過對接這兩種協(xié)議將數(shù)據(jù)上傳到物聯(lián)網(wǎng)統(tǒng)一接入平臺。

遠傳水表統(tǒng)一接入

針對抄表平臺重復建設和數(shù)據(jù)壁壘問題,通過建立一套不受硬件廠商限制,實現(xiàn)不同品牌遠傳水表接入的數(shù)據(jù)采集系統(tǒng),具備對各供水企業(yè)遠傳水表數(shù)據(jù)統(tǒng)一接入的能力。 物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)可以通過不同的通信方式,同時支持 TCP、UDP、MQTT、COAP 等物聯(lián)網(wǎng)通訊協(xié)議連接感知層設備、工程系統(tǒng)和運營商物聯(lián)網(wǎng)平臺等系統(tǒng)進行對接、采集與數(shù)據(jù)匯聚。

接入數(shù)據(jù)匯聚,統(tǒng)一處理,對接大數(shù)據(jù)平臺

通過建設物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng),將海量水務設備數(shù)據(jù)匯聚在數(shù)據(jù)中心。在平臺數(shù)據(jù)匯聚層進行對各類數(shù)據(jù)按照水務運營部門對數(shù)據(jù)源格式進行統(tǒng)一處理,并實時對接后臺的大數(shù)據(jù)中心的數(shù)據(jù)服務接口,從而支撐水務大數(shù)據(jù)分析的需求。

基于 EMQ 數(shù)據(jù)基礎設施軟件的云邊結合水務物聯(lián)網(wǎng)接入實施方案

綜合上述方案與需求,統(tǒng)一接入物聯(lián)網(wǎng)平臺主要需要具備以下能力:

• 邊緣側(cè)各類工控協(xié)議的對接,邊緣數(shù)據(jù)處理以及與數(shù)據(jù)中心平臺實時對接上報數(shù)據(jù);

• 平臺側(cè)多種物聯(lián)網(wǎng)設備與各類物聯(lián)網(wǎng)協(xié)議統(tǒng)一接入,并且提供對接第三方數(shù)據(jù)平臺能力;

• 平臺高可靠海量數(shù)據(jù)匯聚,低時延低實時數(shù)據(jù)處理與北向大數(shù)據(jù)平臺對接能力;

青島研博在評估考察了各類基礎軟件能力后,選擇了采用 EMQ 的云邊整體數(shù)據(jù)接入產(chǎn)品作為研博平臺的數(shù)據(jù)底座。具體實施方案如下:

廠站數(shù)據(jù)采集

廠站通過部署支持標準 Linux 的工業(yè)網(wǎng)關硬件配合安裝 EMQ 邊緣工業(yè)協(xié)議網(wǎng)關軟件 Neuron ,將網(wǎng)關接入廠站的生產(chǎn)網(wǎng)絡中,然后通過配置 Neuron 以及現(xiàn)場 PLC 和 SCADA 系統(tǒng)通信獲取數(shù)據(jù)。

為了符合水務運營部門對廠站數(shù)據(jù)上報格式的統(tǒng)一化要求,在邊緣側(cè)的工業(yè)網(wǎng)關中安裝 EMQ 提供的輕量級流數(shù)據(jù)處理引擎 eKuiper,在廠站本地將數(shù)據(jù)格式轉(zhuǎn)換為標準的上行報文格式。

eKuiper 規(guī)則配置參考:

最終廠站數(shù)據(jù)報文將以 JSON 格式呈現(xiàn):

{
    "time": 1629963922278,    "topic": "Up/NABSPAP/79120285/61404601/Sensor",    "deviceTag": "61404601",    "productKey": "79120285",    "groupId": "NABSPAP",    "deviceId": "123456789012345678",    "Data": [
        { 
            "Value": "92",            "Name": "FLOW",            "Error_Number": 0
        },
        {
            "Value": "92",            "Name": "ZLJFLOW",            "Error_Number": 0
        }
    ],
    "channelId": "0",    "protocol": "MQTT"}

廠站內(nèi)網(wǎng)通過運營商專網(wǎng)服務對接上級單位生產(chǎn)網(wǎng)。邊緣網(wǎng)關通過 MQTT 協(xié)議將標準化的廠站數(shù)據(jù)報文實時發(fā)給到生產(chǎn)網(wǎng)中 EMQX 的 MQTT 集群服務中。在生產(chǎn)網(wǎng)與辦公網(wǎng)之間,通過 EMQX 集群橋接方式穿越防火墻進行數(shù)據(jù)實時橋接,最終將實時數(shù)據(jù)寫到辦公網(wǎng)中的 EMQX 集群中。

水表數(shù)據(jù)采集

通常水表數(shù)據(jù)采集包括大表與戶表兩大類,新型的大表與戶表采用可以 MQTT 協(xié)議直接對接統(tǒng)一數(shù)據(jù)平臺。 表計上報的 MQTT Payload 通過水務運營管理部門的統(tǒng)一規(guī)劃的上行報文規(guī)范進行數(shù)據(jù)傳輸。戶表上傳周期每天一次、大表半小時上傳一次。

每個戶表數(shù)據(jù)包含:

每個大表數(shù)據(jù)包含:

現(xiàn)有表計主要為直連設備 NB 水表與 M-Bus 水表以及采集網(wǎng)關,對接方式有以下三種方案:

• 水表與采集網(wǎng)關符合水務運營主體制定的統(tǒng)一接入規(guī)范直接上傳

由營銷系統(tǒng)通過配表操作,向物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)推送新增或更換表具信息。物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)按統(tǒng)一接入規(guī)范進行對接;

• NB 水表通過運營商平臺上傳數(shù)據(jù)

由營銷系統(tǒng)通過配表操作,向物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)推送新增或更換表具信息。 物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)按照運營商上行協(xié)議,進行數(shù)據(jù)對接,但運營商平臺傳送數(shù)據(jù)類型需符合統(tǒng)一接入規(guī)范;

• 通過自定義上行協(xié)議與系統(tǒng)對接

現(xiàn)實業(yè)務中存在某些國際品牌,如西門子,只能通過廠家自定義上行協(xié)議與系統(tǒng)對接的設備。由營銷系統(tǒng)通過配表操作,向物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)推送新增或更換表具信息,物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)按照廠家自定義上行協(xié)議進行對接。

作為較大的市級水務系統(tǒng),表計大約在幾十萬臺左右,結合廠站數(shù)據(jù)以及其他類型設備,需要系統(tǒng)可以支持百萬設備并發(fā)連接能力。EMQX 作為高性能物聯(lián)網(wǎng)消息中間件,在平臺接入層提供了海量數(shù)據(jù)統(tǒng)一匯聚能力。由于水務平臺系統(tǒng)的業(yè)務關鍵性,需要采用 EMQX 多節(jié)點集群滿足了系統(tǒng)高可用需要,避免接入層的單點故障。

EMQX 內(nèi)置提供了 MQTT 協(xié)議接入、NB 設備常用的 CoAP/LwM2M 協(xié)議接入、運營商 HTTP RestAPI 接入數(shù)據(jù)接入。同時,EMQX 針對企業(yè)私有協(xié)議提供了協(xié)議擴展能力,青島研博通過自研開發(fā) EMQX 私有協(xié)議插件,實現(xiàn)了一套平臺全協(xié)議棧統(tǒng)一接入。

平臺數(shù)據(jù)處理與北向數(shù)據(jù)對接

通過對水務廠站與水表數(shù)據(jù)的統(tǒng)一接入,可以將設備數(shù)據(jù)匯聚到集團 EMQX 集群中。在設備數(shù)據(jù)對接北向大數(shù)據(jù)平臺前,可以按要求在 EMQX 中對原始數(shù)據(jù)進行清洗與整理,使數(shù)據(jù)規(guī)范化。

由于每種設備協(xié)議的不同采集的數(shù)據(jù)格式也是千差萬別,為了方便后續(xù)對數(shù)據(jù)的有效使用,需要對數(shù)據(jù)統(tǒng)一構建數(shù)據(jù)模型?；?EMQX 內(nèi)置的高性能實時規(guī)則引擎,數(shù)據(jù)被篩選后形成預處理數(shù)據(jù),將數(shù)據(jù)的各個維度(時間、空間、業(yè)務)等進行標準化處理,構建統(tǒng)一設備數(shù)據(jù)模型。有了統(tǒng)一的數(shù)據(jù)模型以后,可以更好的支撐后續(xù)的數(shù)據(jù)計算和大數(shù)據(jù)分析。設備統(tǒng)一規(guī)范參考結構如下:

通過 EMQX 規(guī)則引擎的處理后的數(shù)據(jù),一方面對接大數(shù)據(jù)平臺的大數(shù)據(jù)服務(如 Kafka 服務),另一方面數(shù)據(jù)存儲到本地的時序數(shù)據(jù)庫中,實現(xiàn)了對數(shù)據(jù)的實時分流。以下為 EMQX 規(guī)則引擎配置:

性能測試

為了確保統(tǒng)一接入系統(tǒng)性能,我們對產(chǎn)品進行了模擬性能測試。測試模擬 10 萬臺設備連接雙節(jié)點 EMQX 到 Kafka 和 TDengine,模擬每臺設備間隔一分鐘發(fā)兩條數(shù)據(jù),主要關注平均響應時間不高于 100 毫秒,吞吐量不低于 1000TPS,響應成功率不低于百分之 99.999%。

測試報告如下:

到本文截稿日,本方案已經(jīng)在各地區(qū)實際項目中接入各類大小水廠數(shù)十個,采集點超過 300000 點,表計設備超過 50000 個。青島研博打造的統(tǒng)一接入系統(tǒng),為應用層實現(xiàn)了對水表各類設備的統(tǒng)一設備管理、智能配置等平臺能力。同時,每月為上層大數(shù)據(jù)平臺提供超過 1TB 的高質(zhì)量實時數(shù)據(jù)。

研博水務物聯(lián)網(wǎng)管理平臺

青島研博基于自身在數(shù)據(jù)可視化方面多年積累,結合統(tǒng)一接入平臺實時數(shù)據(jù),實現(xiàn)了對水務系統(tǒng)各個網(wǎng)點和廠站的實時數(shù)據(jù)大屏展示、分區(qū)數(shù)據(jù)自定義展示能力,為水務運營主體的業(yè)務精細化管理與快速業(yè)務決策提供有力支撐。

除了提供產(chǎn)品,青島研博在物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)項目實施過程中,通過對每個廠站詳細調(diào)研以及基于工業(yè)物聯(lián)網(wǎng)技術架構實現(xiàn)的廠站數(shù)據(jù)實時采集架構改造,針對存在的問題編制了廠站建設改造指導方案,為新廠站及現(xiàn)有廠站自動化改造提供建設規(guī)范,從根本上解決了水廠數(shù)據(jù)無法統(tǒng)一匯聚的問題。

原創(chuàng)文章,作者:EMQ,如若轉(zhuǎn)載,請注明出處:https://www.emqx.com/zh/blog/emq-helps-qingdao-yanbo-build-a-smart-water-platform

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。