干貨|單類(lèi)型監(jiān)控、業(yè)務(wù)交易與基礎(chǔ)資源聚合監(jiān)控的技術(shù)方法解析

一、概述

隨著現(xiàn)代信息系統(tǒng)越來(lái)越龐大，機(jī)器數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，信息系統(tǒng)運(yùn)維對(duì)平臺(tái)化服務(wù)能力要求越來(lái)越高，建立有效的監(jiān)控體系準(zhǔn)確及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行中出現(xiàn)的問(wèn)題，對(duì)于保障應(yīng)用系統(tǒng)穩(wěn)定運(yùn)行具有重要意義。為提升生產(chǎn)問(wèn)題感知及響應(yīng)能力，通常會(huì)配置各種類(lèi)型的監(jiān)控，本文從單類(lèi)型監(jiān)控、業(yè)務(wù)交易之間聚合監(jiān)控、業(yè)務(wù)交易與基礎(chǔ)資源聚合監(jiān)控等方面介紹監(jiān)控常用技術(shù)方法，供讀者進(jìn)行參考學(xué)習(xí)。

二、單類(lèi)型監(jiān)控

單類(lèi)型監(jiān)控是指使用單一類(lèi)型技術(shù)進(jìn)行應(yīng)用系統(tǒng)監(jiān)控，常用的監(jiān)控方法包括Ajax請(qǐng)求報(bào)文響應(yīng)報(bào)文監(jiān)控、業(yè)務(wù)日志監(jiān)控、頁(yè)面內(nèi)容監(jiān)控、業(yè)務(wù)數(shù)據(jù)監(jiān)控、基礎(chǔ)資源監(jiān)控。

方面對(duì)幾種監(jiān)控類(lèi)型詳細(xì)介紹：

1、Ajax監(jiān)控：通過(guò)第三方監(jiān)控平臺(tái)定時(shí)發(fā)送業(yè)務(wù)交易請(qǐng)求，并對(duì)響應(yīng)報(bào)文進(jìn)行斷言的方法驗(yàn)證交易的正確性。

方法1：http狀態(tài)碼監(jiān)控。對(duì)http請(qǐng)求的狀態(tài)碼進(jìn)行判斷，是否符合預(yù)期結(jié)果，各類(lèi)http狀態(tài)碼含義如下，我們僅需要配置狀態(tài)碼斷言即可判斷交易是否正常。

示例：

Request URL:https://msg.csdn.net/v1/web/message/view/unread

Request Method:POST

Status Code:200

方法2：http響應(yīng)報(bào)文監(jiān)控。http狀態(tài)碼監(jiān)控可以監(jiān)控交易報(bào)文是否正常響應(yīng)，但是無(wú)法判斷交易邏輯是否正常，對(duì)http報(bào)文響應(yīng)報(bào)文具體內(nèi)容進(jìn)行監(jiān)控，可以彌補(bǔ)該問(wèn)題。通過(guò)判斷http響應(yīng)報(bào)文中具體字段的值對(duì)交易進(jìn)行監(jiān)控。

示例：ajax響應(yīng)報(bào)文中包含如下信息，則可以對(duì)message字段的值進(jìn)行監(jiān)控。

message:"success"

status:true

適用場(chǎng)景：適用于對(duì)http協(xié)議響應(yīng)報(bào)文、響應(yīng)碼進(jìn)行監(jiān)控。

2、日志監(jiān)控：日志監(jiān)控是對(duì)應(yīng)用系統(tǒng)運(yùn)行過(guò)程中產(chǎn)生的日志進(jìn)行監(jiān)控。以log4j為例，日志級(jí)別包括ALL、TRACE、DEBUG、INFO、WARN、ERROR、FATAL、OFF，其中ALL是打印所有日志，OFF是所有日志都不打印，為了排查系統(tǒng)運(yùn)行問(wèn)題，通常開(kāi)發(fā)人員根據(jù)需要會(huì)打點(diǎn)一定的日志，但是如果loglevel配置的太低，則會(huì)打印過(guò)多的日志信息，從而影響系統(tǒng)性能。

日志監(jiān)控通常可以基于ERROR、FATAL類(lèi)日志打印進(jìn)行監(jiān)控。開(kāi)發(fā)人員在業(yè)務(wù)邏輯中進(jìn)行相應(yīng)的判斷，并打印錯(cuò)誤日志，例如：Log.error(“123456”);監(jiān)控平臺(tái)可以抓取系統(tǒng)中打印的錯(cuò)誤日志，并基于正則表達(dá)式判斷是否符合異常告警條件。符合告警規(guī)則，則進(jìn)行郵件、短信等告警。

日志告警可以精準(zhǔn)獲取異常告警的代碼位置，從而便于進(jìn)行問(wèn)題分析。

適用場(chǎng)景：適用于系統(tǒng)開(kāi)發(fā)人員在代碼的關(guān)鍵邏輯中打點(diǎn)了日志信息時(shí)使用。

3、網(wǎng)頁(yè)監(jiān)控：對(duì)于DOC類(lèi)型的請(qǐng)求，可以通過(guò)發(fā)送請(qǐng)求報(bào)文，對(duì)響應(yīng)頁(yè)面html內(nèi)容設(shè)置監(jiān)控，判斷響應(yīng)頁(yè)面內(nèi)容是否包含指定的內(nèi)容，網(wǎng)頁(yè)內(nèi)容監(jiān)控是指監(jiān)控網(wǎng)頁(yè)標(biāo)題、網(wǎng)頁(yè)關(guān)鍵詞、網(wǎng)頁(yè)描述、出站鏈接等內(nèi)容信息進(jìn)行監(jiān)控。

使用方式：通過(guò)提取網(wǎng)頁(yè)內(nèi)容做為監(jiān)控的對(duì)象，對(duì)比與上一次監(jiān)測(cè)記錄的變化情況，例如：。

頁(yè)面監(jiān)控配置流程：

適用場(chǎng)景：具有前端頁(yè)面的系統(tǒng)可以采用該方法進(jìn)行頁(yè)面內(nèi)容監(jiān)控。

4、數(shù)據(jù)監(jiān)控：通過(guò)定時(shí)執(zhí)行數(shù)據(jù)庫(kù)sql腳本或者數(shù)據(jù)分析，驗(yàn)證具有關(guān)聯(lián)性的表是否出現(xiàn)不受控制的異常數(shù)據(jù)記錄，數(shù)據(jù)內(nèi)容監(jiān)控可以發(fā)現(xiàn)業(yè)務(wù)邏輯異常造成的數(shù)據(jù)問(wèn)題，并及時(shí)提供給運(yùn)營(yíng)人員進(jìn)行后續(xù)處理，以應(yīng)對(duì)數(shù)據(jù)不一致對(duì)用戶產(chǎn)生的影響。

數(shù)據(jù)監(jiān)控分類(lèi)如下：

數(shù)據(jù)監(jiān)控配置流程：

適用場(chǎng)景：對(duì)于熟悉數(shù)據(jù)表邏輯關(guān)系及不同表中字段之間邏輯關(guān)系時(shí)可以使用該方法。

5、資源監(jiān)控：對(duì)于CPU、內(nèi)存、硬盤(pán)等基礎(chǔ)資源的監(jiān)控，并設(shè)置閾值，對(duì)于分機(jī)房類(lèi)應(yīng)用系統(tǒng)，可以按照機(jī)房分別配置資源監(jiān)控，可以及時(shí)發(fā)現(xiàn)底層資源故障，提示系統(tǒng)運(yùn)維人員及時(shí)進(jìn)行資源擴(kuò)容或者問(wèn)題排查，具體重要的意義。

通常當(dāng)CPU、內(nèi)存利用率超過(guò)80%時(shí)，系統(tǒng)性能將逐步出現(xiàn)瓶頸，從而會(huì)嚴(yán)重影響用戶使用體現(xiàn)，因此可以設(shè)置CPU、內(nèi)存等使用率超過(guò)80%時(shí)進(jìn)行告警；對(duì)于數(shù)據(jù)庫(kù)服務(wù)，可以對(duì)數(shù)據(jù)庫(kù)的連接數(shù)、表空間、系統(tǒng)日志等信息進(jìn)行監(jiān)控；對(duì)于磁盤(pán)、網(wǎng)絡(luò)設(shè)置可以監(jiān)控IO速率的參數(shù)以發(fā)現(xiàn)相關(guān)問(wèn)題。

但基礎(chǔ)資源監(jiān)控?zé)o法具體判斷具體是哪些業(yè)務(wù)造成的資源問(wèn)題，以及對(duì)哪些業(yè)務(wù)造成的影響比較大，結(jié)合其他監(jiān)控方法可以達(dá)到更好的效果。

幾種監(jiān)控方法對(duì)比：

適用場(chǎng)景：對(duì)于依賴(lài)的底層資源的服務(wù)可以采用這種監(jiān)控方法。

三、聚合類(lèi)型監(jiān)控

1、交易調(diào)用鏈路聚合監(jiān)控

對(duì)于系統(tǒng)之間調(diào)用較為復(fù)雜的業(yè)務(wù)場(chǎng)景，僅僅通過(guò)單系統(tǒng)的監(jiān)控難以具體定位到故障節(jié)點(diǎn)。交易接口之間聚合監(jiān)控是指對(duì)已經(jīng)建立的具有調(diào)用關(guān)系的接口監(jiān)控項(xiàng)建立綁定關(guān)系，從而根據(jù)調(diào)用鏈路上各個(gè)節(jié)點(diǎn)的執(zhí)行結(jié)果判斷業(yè)務(wù)系統(tǒng)群的可用性情況及故障節(jié)點(diǎn)。

如下圖所示，A系統(tǒng)的一個(gè)業(yè)務(wù)交易trans1,調(diào)用B系統(tǒng)的交易和C系統(tǒng)的交易，B系統(tǒng)又會(huì)調(diào)用D系統(tǒng)交易。在這種場(chǎng)景下，僅僅對(duì)A系統(tǒng)業(yè)務(wù)交易進(jìn)行監(jiān)控，發(fā)生告警后，無(wú)法準(zhǔn)備判斷A、B、C、D 4個(gè)系統(tǒng)中哪個(gè)系統(tǒng)發(fā)生了故障，造成業(yè)務(wù)交易無(wú)法執(zhí)行成功，需要開(kāi)發(fā)人員根據(jù)交易鏈條逐個(gè)判斷分析，大大增加了系統(tǒng)問(wèn)題分析的難度。

使用交易調(diào)用鏈路聚合監(jiān)控方法，拿A系統(tǒng)trans1交易這個(gè)場(chǎng)景來(lái)說(shuō)，對(duì)A、B、C、D 4個(gè)系統(tǒng)分別配置監(jiān)控案例mA、mB、mC、mD，并建立鏈路綁定關(guān)系（mA->mB、mB->mD、mB->mC）。這樣在系統(tǒng)發(fā)生告警后，可以根據(jù)A、B、C、D 4個(gè)系統(tǒng)監(jiān)控交易執(zhí)行情況，迅速找到故障節(jié)點(diǎn)。

A系統(tǒng)Trans1交易監(jiān)控案例綁定關(guān)系：

優(yōu)勢(shì)：能夠快速找到故障節(jié)點(diǎn)，降低故障分析復(fù)雜程度。因?yàn)榻灰妆O(jiān)控之間建立了綁定關(guān)系:mA->mB->mD、mB->mC，當(dāng)mA、mB、mC、mD4個(gè)監(jiān)控項(xiàng)按照一定頻率執(zhí)行時(shí)并獲取到對(duì)應(yīng)的執(zhí)行結(jié)果后，可以根據(jù)根據(jù)交易之間的綁定關(guān)系判斷故障節(jié)點(diǎn)。例如：

某時(shí)間節(jié)點(diǎn)：mD執(zhí)行成功，mB執(zhí)行失敗，mA執(zhí)行失敗，可以判斷是由于mB交易執(zhí)行失敗造成mA執(zhí)行失敗，從而提升問(wèn)題處置效率。

缺點(diǎn)：配置復(fù)雜程度高，需要清楚交易調(diào)用鏈路，并分別配置監(jiān)控案例，并建立綁定關(guān)系。

適用場(chǎng)景：對(duì)于交易鏈路比較復(fù)雜，難以判斷問(wèn)題故障具體出在什么位置的情況下建議增加使用該方法監(jiān)控。

2.業(yè)務(wù)監(jiān)控與資源監(jiān)控聚合

隨著信息系統(tǒng)復(fù)雜程度和可靠性要求的不斷提高，信息系統(tǒng)的部署架構(gòu)也越來(lái)越復(fù)雜。信息系統(tǒng)的部署會(huì)采用多地區(qū)多機(jī)房的部署方式，從而根據(jù)用戶所在區(qū)域訪問(wèn)不同的后臺(tái)服務(wù)，以提升系統(tǒng)響應(yīng)能力。業(yè)務(wù)監(jiān)控與資源監(jiān)控聚合是指將業(yè)務(wù)交易監(jiān)控與資源級(jí)監(jiān)控建立綁定關(guān)系，并根據(jù)各個(gè)監(jiān)控項(xiàng)的執(zhí)行結(jié)果進(jìn)行聚合分析，從而判斷系統(tǒng)故障節(jié)點(diǎn)的監(jiān)控方法。

業(yè)務(wù)交易的可用性與基礎(chǔ)資源是緊耦合的關(guān)系，基礎(chǔ)資源的故障或性能瓶頸會(huì)嚴(yán)重影響業(yè)務(wù)交易的運(yùn)行。通過(guò)業(yè)務(wù)交易監(jiān)控?zé)o法準(zhǔn)備定位到具體哪些基礎(chǔ)資源故障引起。例如業(yè)務(wù)交易訪問(wèn)失敗，可能是因?yàn)榉?wù)器停機(jī)、機(jī)器無(wú)法正常響應(yīng)請(qǐng)求等問(wèn)題造成。具體哪個(gè)資源故障造成業(yè)務(wù)交易無(wú)法正常執(zhí)行卻無(wú)法判斷。

通過(guò)將業(yè)務(wù)交易監(jiān)控和基礎(chǔ)資源監(jiān)控進(jìn)行綁定聚合可以有效解決該問(wèn)題。例如我們的業(yè)務(wù)系統(tǒng)已經(jīng)配置了業(yè)務(wù)監(jiān)控m1、tomcat服務(wù)器監(jiān)控m2、數(shù)據(jù)庫(kù)服務(wù)器監(jiān)控m3三個(gè)監(jiān)控配置，通過(guò)建立監(jiān)控項(xiàng)m1、m2、m3的綁定關(guān)系（如下圖所示），當(dāng)發(fā)生基礎(chǔ)資源造成的業(yè)務(wù)交易報(bào)錯(cuò)后，可以迅速找到問(wèn)題原因以進(jìn)行問(wèn)題響應(yīng)。

適用場(chǎng)景：對(duì)于業(yè)務(wù)交易依賴(lài)底層資源，底層資源故障會(huì)造成部分業(yè)務(wù)交易報(bào)錯(cuò)的情況下可以使用該種監(jiān)控方法。

四、總結(jié)

本文首先介紹了幾種單應(yīng)用系統(tǒng)環(huán)境監(jiān)控方法及主要技術(shù)，包括ajax請(qǐng)求響應(yīng)報(bào)文監(jiān)控，日志監(jiān)控、基礎(chǔ)資源監(jiān)控、業(yè)務(wù)數(shù)據(jù)監(jiān)控、頁(yè)面內(nèi)容監(jiān)控、高級(jí)腳本監(jiān)控，并分析了這幾種技術(shù)的主要使用場(chǎng)景，之后對(duì)業(yè)務(wù)交易聚合監(jiān)控、業(yè)務(wù)交易與基礎(chǔ)資源監(jiān)控方法進(jìn)行了介紹，希望給測(cè)試人員、應(yīng)用環(huán)境運(yùn)維人員、監(jiān)控平臺(tái)建設(shè)者提供一定的參考，提升信息系統(tǒng)運(yùn)維服務(wù)能力。

最后：在我的V：atstudy-js，可以免費(fèi)領(lǐng)取一份10G軟件測(cè)試工程師面試寶典文檔資料。以及相對(duì)應(yīng)的視頻學(xué)習(xí)教程免費(fèi)分享！其中包括了有基礎(chǔ)知識(shí)、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫(kù)、抓包工具專(zhuān)題、接口測(cè)試工具、測(cè)試進(jìn)階-Python編程、Web自動(dòng)化測(cè)試、APP自動(dòng)化測(cè)試、接口自動(dòng)化測(cè)試、測(cè)試高級(jí)持續(xù)集成、測(cè)試架構(gòu)開(kāi)發(fā)測(cè)試框架、性能測(cè)試、安全測(cè)試等。