0 引言

生產(chǎn)管理系統(tǒng)（Power Production Management System,PMS）是面向國家電網(wǎng)公司總部、省公司和各級(jí)運(yùn)維檢修單位的統(tǒng)一精益生產(chǎn)管理信息系統(tǒng),它包含了公司運(yùn)維檢修業(yè)務(wù)和生產(chǎn)管理全過程,完成設(shè)備管理向電網(wǎng)管理和資產(chǎn)管理轉(zhuǎn)變,為智能電網(wǎng)建設(shè)提供強(qiáng)有力的支撐。

PMS2.0管理的設(shè)備類型多、數(shù)量大,依靠人工檢測(cè)的方式需要檢查的字段很多,數(shù)據(jù)量巨大,耗時(shí)較長(zhǎng),人力成本和時(shí)間成本都很高,而且在檢測(cè)的過程中很可能出現(xiàn)遺漏或者錯(cuò)檢的情況。面對(duì)這樣的狀況,傳統(tǒng)依靠人工檢查方式已經(jīng)無法滿足數(shù)據(jù)質(zhì)量檢查要求^[1]。因此,采用自動(dòng)化、流程化手段高效、準(zhǔn)確地進(jìn)行數(shù)據(jù)檢測(cè),對(duì)提升數(shù)據(jù)質(zhì)量是十分必要的^[2]。針對(duì)國家電網(wǎng)公司諧波監(jiān)測(cè)平臺(tái)的縱向接口要求,設(shè)計(jì)實(shí)現(xiàn)PMS臺(tái)賬數(shù)據(jù)服務(wù)及數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng),用自動(dòng)化的檢測(cè)代替人工檢查方式,可以提高供電企業(yè)數(shù)據(jù)質(zhì)量檢測(cè)工作的檢測(cè)速度,并有效提升后續(xù)工作效率。

 1 臺(tái)賬數(shù)據(jù)接口服務(wù)及檢測(cè)內(nèi)容

1.1 臺(tái)賬數(shù)據(jù)接口服務(wù)

根據(jù)國家電網(wǎng)公司下發(fā)的《國家電網(wǎng)公司電網(wǎng)諧波監(jiān)測(cè)分析模塊縱向接口規(guī)范》,PMS2.0的縱向接口中臺(tái)賬數(shù)據(jù)接口用于傳輸監(jiān)測(cè)終端的臺(tái)賬數(shù)據(jù)、測(cè)試儀器/檢定裝置的臺(tái)賬數(shù)據(jù)、監(jiān)測(cè)點(diǎn)的臺(tái)賬數(shù)據(jù)、電網(wǎng)設(shè)備的臺(tái)賬數(shù)據(jù)。臺(tái)賬數(shù)據(jù)接口部署在省公司主站側(cè),采用SOAP Web Service方式實(shí)現(xiàn),由總部主站發(fā)起請(qǐng)求,省公司主站應(yīng)答,將相關(guān)臺(tái)賬數(shù)據(jù)上傳給總部主站。

臺(tái)賬數(shù)據(jù)接口包括監(jiān)測(cè)終端的臺(tái)賬數(shù)據(jù)接口、測(cè)試儀器/檢定裝置的臺(tái)賬數(shù)據(jù)接口、監(jiān)測(cè)點(diǎn)的臺(tái)賬數(shù)據(jù)接口、電網(wǎng)設(shè)備的臺(tái)賬數(shù)據(jù)接口。

各借口功能描述如下：

1）GetTerminalAccountList：獲取指定設(shè)備編碼的監(jiān)測(cè)終端臺(tái)賬數(shù)據(jù);

2）GetTestInstrumentAccountList：獲取指定設(shè)備編碼的測(cè)試儀器/檢定裝置臺(tái)賬數(shù)據(jù);

3）GetMonitorAccountList：獲取指定編碼的監(jiān)測(cè)點(diǎn)臺(tái)賬數(shù)據(jù);

4）GetDeviceAccountList：獲取與指定編碼的監(jiān)測(cè)點(diǎn)關(guān)聯(lián)的電網(wǎng)設(shè)備臺(tái)賬數(shù)據(jù)。

臺(tái)賬數(shù)據(jù)服務(wù)接口發(fā)出請(qǐng)求和獲取服務(wù)的數(shù)據(jù)都有相應(yīng)的規(guī)范標(biāo)準(zhǔn),以此來進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè),由于臺(tái)賬數(shù)據(jù)接口較多,本文以“獲取指定設(shè)備編碼的監(jiān)測(cè)終端臺(tái)賬數(shù)據(jù)”接口為例,說明臺(tái)賬服務(wù)接口及數(shù)據(jù)監(jiān)測(cè)的內(nèi)容。

1.2 服務(wù)及數(shù)據(jù)檢測(cè)內(nèi)容

1）接口服務(wù)一致性檢測(cè)：主要檢測(cè)電網(wǎng)諧波監(jiān)測(cè)分析模塊臺(tái)賬數(shù)據(jù)服務(wù)發(fā)布的接口格式,是否符合國家電網(wǎng)公司規(guī)定的接口規(guī)范。因?yàn)榇私涌诓捎肧OAP Web Service方式實(shí)現(xiàn),SOAP 基于XML和HTTP,通過XML 來實(shí)現(xiàn)消息描述,然后再通過 HTTP 實(shí)現(xiàn)消息傳輸。通過XML規(guī)范來確定統(tǒng)一的數(shù)據(jù)傳輸格式,其保證傳輸數(shù)據(jù)正確的先決條件是請(qǐng)求方與應(yīng)答方所了解的服務(wù)接口格式是否一致。

省公司主站作為應(yīng)答方,在接收到請(qǐng)求消息后應(yīng)解析XML,根據(jù)請(qǐng)求參數(shù)向總部主站反饋相應(yīng)數(shù)據(jù)?？偛恐髡臼盏綉?yīng)答數(shù)據(jù)后解析XML入總部生產(chǎn)庫,并抽取數(shù)據(jù)進(jìn)行計(jì)算。針對(duì)應(yīng)答消息的檢測(cè),需要根據(jù)不同的接口制定不同的標(biāo)準(zhǔn)文件。在檢測(cè)指定接口的應(yīng)答消息XML時(shí),與相應(yīng)接口標(biāo)準(zhǔn)文件進(jìn)行同步解析對(duì)比,以此方式檢測(cè)結(jié)果XML中是否出現(xiàn)以下幾種情況：標(biāo)簽缺失、標(biāo)簽冗余、標(biāo)簽級(jí)別錯(cuò)誤、標(biāo)簽拼寫錯(cuò)誤。

2）數(shù)據(jù)質(zhì)量檢測(cè)：主要針對(duì)臺(tái)賬數(shù)據(jù),檢測(cè)內(nèi)容包括數(shù)據(jù)是否完整、數(shù)據(jù)是否準(zhǔn)確、數(shù)據(jù)格式是否正確、多個(gè)臺(tái)賬數(shù)據(jù)中關(guān)聯(lián)字段是否匹配等。監(jiān)測(cè)終端臺(tái)賬關(guān)鍵字段核查標(biāo)準(zhǔn)如表1所示。數(shù)據(jù)質(zhì)量要求包括固定取值范圍、數(shù)據(jù)類型要求、固定編碼對(duì)應(yīng)、時(shí)間格式匹配標(biāo)準(zhǔn)等。

表1 監(jiān)測(cè)終端臺(tái)賬關(guān)鍵字段核查標(biāo)準(zhǔn)Tab.1 Checking standards of the terminal account key fields

 2 數(shù)據(jù)質(zhì)量與檢測(cè)方法

數(shù)據(jù)質(zhì)量可以從應(yīng)用角度與自身特性2個(gè)方面定義^[3]。就數(shù)據(jù)應(yīng)用角度來看,可從是否能滿足指定應(yīng)用的要求來衡量,即如果一批數(shù)據(jù)能從各個(gè)方面經(jīng)過驗(yàn)證并滿足指定應(yīng)用的要求,那么這批數(shù)據(jù)對(duì)這些應(yīng)用來說就是高質(zhì)量的。就數(shù)據(jù)質(zhì)量本身來看,其自身特性主要體現(xiàn)在2個(gè)方面：一是數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量,主要包括數(shù)據(jù)真實(shí)性、數(shù)據(jù)自洽性、數(shù)據(jù)完整性、數(shù)據(jù)邏輯一致性、數(shù)據(jù)精確性、數(shù)據(jù)時(shí)效性、數(shù)據(jù)可用性、數(shù)據(jù)可信性等體現(xiàn)數(shù)據(jù)質(zhì)量特征的屬性^[4];二是數(shù)據(jù)的過程質(zhì)量,主要包括數(shù)據(jù)的使用質(zhì)量、數(shù)據(jù)的存貯質(zhì)量、數(shù)據(jù)的傳輸質(zhì)量。影響數(shù)據(jù)質(zhì)量的因素可以歸結(jié)為數(shù)據(jù)內(nèi)在因素、應(yīng)用環(huán)境、數(shù)據(jù)表述和數(shù)據(jù)存取四大類。

PMS系統(tǒng)臺(tái)賬數(shù)據(jù)服務(wù)及數(shù)據(jù)質(zhì)量檢測(cè)軟件設(shè)計(jì)開發(fā)的難點(diǎn)在于異常數(shù)據(jù)的發(fā)現(xiàn)與識(shí)別。異常數(shù)據(jù)檢測(cè)是對(duì)數(shù)據(jù)集中明顯的偏差值、孤立點(diǎn)的識(shí)別,異常數(shù)據(jù)的校驗(yàn)方法因不同的應(yīng)用領(lǐng)域而有所差
異^[5-12]。已有的對(duì)電力系統(tǒng)數(shù)據(jù)檢測(cè)方法主要有3種：基于統(tǒng)計(jì)的檢測(cè)方法,基于數(shù)據(jù)間關(guān)聯(lián)關(guān)系的檢測(cè)方法,多個(gè)數(shù)據(jù)來源的檢測(cè)方法。在這3種方法中,基于統(tǒng)計(jì)的檢測(cè)方法更適合對(duì)臺(tái)賬數(shù)據(jù)進(jìn)行檢測(cè)。

 3 臺(tái)賬服務(wù)及數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)物理結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)物理結(jié)構(gòu)如圖1所示。臺(tái)賬縱向接口程序?qū)W(wǎng)北京市電力公司PMS中的數(shù)據(jù)與電能質(zhì)量監(jiān)測(cè)系統(tǒng)的監(jiān)測(cè)點(diǎn)臺(tái)賬數(shù)據(jù)同步到接口服務(wù)器,打包成Web服務(wù),在特定的服務(wù)端口發(fā)布,國家電網(wǎng)公司總部諧波監(jiān)測(cè)分析模塊服務(wù)器可通過訪問北京接口服務(wù)器調(diào)用接口服務(wù),獲取所需數(shù)據(jù)。本次實(shí)現(xiàn)的PMS臺(tái)賬數(shù)據(jù)服務(wù)及數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng)也可調(diào)用接口服務(wù)器的服務(wù),獲取返回XML數(shù)據(jù),進(jìn)行數(shù)據(jù)的解析檢測(cè),生成檢測(cè)報(bào)表文件。

圖1 系統(tǒng)物理結(jié)構(gòu)Fig.1 Physical structure of the system

3.2 系統(tǒng)邏輯結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)具有分布性特點(diǎn),需要隨時(shí)隨地能夠進(jìn)行查詢、瀏覽等業(yè)務(wù)處理,因而采用B/S三層架構(gòu)模式,分為與客戶交互的表示層,中間的業(yè)務(wù)邏輯層和底層的數(shù)據(jù)訪問層。因?yàn)橄到y(tǒng)數(shù)據(jù)源基于服務(wù)接口的特殊性,在數(shù)據(jù)訪問層與業(yè)務(wù)邏輯層之間添加服務(wù)層。系統(tǒng)邏輯結(jié)構(gòu)如圖2所示。

1）表示層。臺(tái)賬質(zhì)量檢測(cè)的界面收集用戶輸入信息,包括服務(wù)地址、待測(cè)數(shù)據(jù)類型。

圖2 系統(tǒng)邏輯結(jié)構(gòu)Fig.2 Logical structure of the system

2）業(yè)務(wù)邏輯層。系統(tǒng)首先從表示層獲取參數(shù)信息,使用Web Service調(diào)用方式調(diào)用相應(yīng)的臺(tái)賬數(shù)據(jù)服務(wù)接口,獲取標(biāo)準(zhǔn)XML格式的臺(tái)賬數(shù)據(jù)。系統(tǒng)獲得訪問Web服務(wù)地址返回的XML數(shù)據(jù)后,對(duì)其進(jìn)行解析才能得到需要的臺(tái)賬數(shù)據(jù)。在保存錯(cuò)誤數(shù)據(jù)的同時(shí),還要保存所屬臺(tái)賬接口類型、所屬ID、標(biāo)簽名、異常數(shù)據(jù)檢測(cè)時(shí)間等信息。檢測(cè)完畢后,對(duì)異常數(shù)據(jù)進(jìn)行統(tǒng)計(jì)后生成檢測(cè)報(bào)表,包括錯(cuò)誤率、缺失率、異常數(shù)據(jù)明細(xì)、缺失數(shù)據(jù)明細(xì)等。

3）服務(wù)層。已有臺(tái)賬數(shù)據(jù)封裝發(fā)布到Web Service上,為檢測(cè)提供獲取數(shù)據(jù)接口。

4）數(shù)據(jù)訪問層。主要作用是獲取臺(tái)賬數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)表內(nèi)容和保存質(zhì)量檢測(cè)結(jié)果。

3.3 數(shù)據(jù)庫設(shè)計(jì)

系統(tǒng)數(shù)據(jù)庫采用MySQL數(shù)據(jù)庫,全部數(shù)據(jù)表的說明如表2所示。

表2 數(shù)據(jù)庫中全部表說明Tab.2 List of all tables

1）臺(tái)賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表。臺(tái)賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表（sy_scheme）中記錄的是所有臺(tái)賬數(shù)據(jù)的存儲(chǔ)規(guī)范,將規(guī)范標(biāo)準(zhǔn)化成可以用程序識(shí)別的標(biāo)準(zhǔn)規(guī)范表。表中check_type存放檢測(cè)類型,對(duì)于每一項(xiàng)不同的標(biāo)簽可能會(huì)有不一樣的檢測(cè)標(biāo)準(zhǔn),整體分為9類,所以在check_type中用數(shù)字代替檢測(cè)的類型（0無其他要求,1有閾值,2不能有中文,3必須是中文,4判斷日期,5不帶單位,6匹配標(biāo)準(zhǔn)格式,7生產(chǎn)廠家編碼,
8部門編碼）。如果check_type為1,說明有閾值,才會(huì)讀取后面3項(xiàng)（最大值、最小值、錯(cuò)誤信息說明）。臺(tái)賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表的表結(jié)構(gòu)如表3所示。

表3 臺(tái)賬數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范表的表結(jié)構(gòu)（sy_scheme）Tab.3 The structure of normalized account table

2）臺(tái)賬錯(cuò)誤信息表。臺(tái)賬錯(cuò)誤信息表（sy_errorinfo）中記錄臺(tái)賬數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果,包括臺(tái)賬種類、每種臺(tái)賬中的id編碼、錯(cuò)誤標(biāo)簽的名稱、錯(cuò)誤標(biāo)簽對(duì)應(yīng)的參數(shù)名、錯(cuò)誤數(shù)據(jù)、錯(cuò)誤類型、檢測(cè)時(shí)間、錯(cuò)誤信息說明。其中錯(cuò)誤類型是為了之后生成報(bào)表能統(tǒng)計(jì)出缺失率和錯(cuò)誤率;錯(cuò)誤信息說明是保存錯(cuò)誤數(shù)據(jù)的出錯(cuò)原因,方便有針對(duì)性修改數(shù)據(jù)。臺(tái)賬錯(cuò)誤信息表的表結(jié)構(gòu)如表4所示。

表4 臺(tái)賬錯(cuò)誤信息表的表結(jié)構(gòu)（sy_errorinfo）Tab.4 Account data error information

 4 系統(tǒng)實(shí)現(xiàn)

4.1 系統(tǒng)總體流程

系統(tǒng)主要功能是臺(tái)賬的數(shù)據(jù)質(zhì)量檢測(cè),首先選擇待測(cè)臺(tái)賬數(shù)據(jù)類型,輸入Web訪問地址,點(diǎn)擊開始檢測(cè)后由按鈕響應(yīng)獲取用戶輸入的數(shù)據(jù),調(diào)用獲取所有臺(tái)賬ID接口,再用返回的ID數(shù)據(jù)調(diào)用待測(cè)臺(tái)賬數(shù)據(jù),判斷是否符合標(biāo)準(zhǔn)格式。然后將XML格式數(shù)據(jù)轉(zhuǎn)為SimpleXML對(duì)象,實(shí)現(xiàn)對(duì)臺(tái)賬數(shù)據(jù)的解析。質(zhì)量檢測(cè)時(shí)先判斷是否為空,如果為空,且是必填項(xiàng)保存為缺失數(shù)據(jù),若不是必填項(xiàng)檢查下一條;如果不為空,判斷是否填寫正確。檢查下一條臺(tái)賬數(shù)據(jù)直到檢測(cè)完所有的臺(tái)賬數(shù)據(jù),保存檢測(cè)結(jié)果,對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)匯總生成檢測(cè)報(bào)表。系統(tǒng)流程如圖3所示。

圖3 系統(tǒng)流程Fig.3 System flowchart

4.2 臺(tái)賬數(shù)據(jù)質(zhì)量檢測(cè)實(shí)現(xiàn)

臺(tái)賬數(shù)據(jù)服務(wù)訪問后獲得的臺(tái)賬數(shù)據(jù)是XML格式字符串,系統(tǒng)對(duì)XML格式字符串進(jìn)行解析,轉(zhuǎn)為SimpleXML對(duì)象,調(diào)整對(duì)象中每個(gè)臺(tái)賬數(shù)據(jù)標(biāo)簽存儲(chǔ)位置,以便檢測(cè)時(shí)獲取XML標(biāo)簽中的值,與數(shù)