什么是數據異常檢測？_PRE

上面的圖像是由一個人工智能繪制的，當時我們讓它為“異常檢測”這個詞創作藝術品。

據《華盛頓郵報》報道，2009年至2010年間，英國有1.7萬名男性報告懷孕。這些英國男性尋求與懷孕相關的護理，如產科檢查和產婦護理服務。然而，這并不是因為現代醫學的突破!有人在國家的醫療系統中輸入了錯誤的醫療代碼。簡單地說，數據記錄得很糟糕，而且沒有質量檢查來發現錯誤!

這很難歸咎于英國的醫療服務。質量，顧名思義，是主觀的。為各種可能的錯誤數據創建質量檢查是一項巨大的壯舉。即使是數據最成熟的公司也很難預料到每一個錯誤。然而，如果有一種方法可以使用AI/ML，這些解決方案可以獨立地從我們的數據集中學習。他們可以發現這樣的錯誤，而不需要我們明確地說，“如果入境的是男性，那么就不要提供孕產護理。”

事實上，有。

CPDA數據分析師都知道這叫做異常檢測。

什么是數據質量檢查?

在我們進入異常檢測的奇跡之前，我們必須了解什么是數據質量檢查(以及它是如何工作的)。

蘋果CEO庫克：我還不確定普通人能說清楚元宇宙到底是什么:金色財經報道，最近蘋果首席執行官蒂姆 · 庫克（Tim Cook）在接受采訪時表示，我還不確定普通人能說清楚元宇宙到底是什么。在談到 Facebook 的 \"元宇宙 \" 時，庫克表示，人們對產品的理解非常重要。我真的不確定普通人能告訴你到底什么是元宇宙，他補充道。元宇宙這個詞出現在 Facebook 創立之前，最早出現在 1992 年的科幻小說《雪崩》 ( Snow Crash ) 中，但 Facebook 顯然已經全盤接納了這個詞，甚至把公司更名為 Meta。[2022/10/2 18:37:39]

數據質量檢查指定了數據維度的標準，即數據的完整性、有效性、及時性、唯一性、準確性和一致性。數據要么不符合這些標準，要么滿足這些標準，這揭示了有關其質量的信息(是高質量還是低質量)。您可以在這里了解更多關于數據質量及其重要性的信息。

數據質量規則將指定用戶定義為高質量數據的內容。例如，醫院可能將老年患者定義為年齡超過60歲。一個簡單的數據質量規則可以有以下形式:

規則:老年患者年齡>60歲

實際上，每家醫院可能都有不同的老年患者定義標準。因此，他們可能以不同的方式定義這些規則。通過這種方式，公司可以定義各種規則來識別有問題的數據。然后將這些規則添加到“規則庫”中，并在數據質量監控期間用于識別低質量條目。

美國參議員：從政策制定的角度來看，擁有比特幣與擁有牛沒有什么不同:金色財經報道，美國參議員Cynthia Lummis正準備推出負責任的金融創新法案，這將影響加密貨幣的征稅方式。她表示，從政策制定的角度來看，擁有比特幣與擁有牛沒有什么不同。作為2020年上任的參議員，Lummis 報告稱持有價值 50,000 至 100,000 美元的 BTC，2021 年 8 月，她報告額外購買了價值 50,000 至 100,000 美元的 BTC。她沒有從出售資產中獲得任何收入。（decrypt）[2022/4/2 13:59:51]

一旦您的公司填充了這個規則庫，您將開發一個您希望數據遵守的標準或“常規行為”。不符合這些標準的數據是無效的、不完整的、不準確的。

例如，在我們上面的高級患者規則中，如果一個申請人的年齡是35歲，而用戶將其標記為“高級患者”，則此數據點將無效。

什么是異常檢測?

然而，還有一種方法可以在不需要編寫DQ規則的情況下找到與通常行為不同的數據點。這叫做異常檢測。它使用ML/AI來掃描數據，而不是DQ規則，以發現數據集特有的模式和期望值。一旦它了解了您的數據系統是如何工作的，它就可以自動找到不符合規范(或不符合這些模式)的數據，并標記條目以提醒相關方。不符合這些標準的值被稱為“異常值”。

華爾街分析師：比特幣的波動性與蘋果或亞馬遜等大盤股沒什么不同:華爾街金融分析師、比特幣支持者Max Keizer發推文表示，比特幣的波動性與蘋果(AAPL)或亞馬遜(AMZN)或任何其他大盤股沒什么不同。經濟學家顯然從未擁有過這些資產，這就是為什么沒有一個經濟學家是億萬富翁的原因。（U.today）[2020/5/11]

一旦收到關于異常的警報，您將發現關于異常檢測服務為什么將該條目標記為異常的信息。例如，假設一家醫院在2月份記錄了10,000名患者，醫療保健系統收到一個警報，將此條目標記為異常。它可以通過數據集中的上下文解釋:這家醫院通常每月有大約1000名患者。這種突然的跳躍是出乎意料的(或者顯示為傳達此信息的圖形)。

然后，您可以獲取這些信息，并確定它是一個異常數據點還是一個正常數據點。也許是因為新冠肺炎，那家醫院的病人激增了。根據您的響應方式，一些異常檢測算法可以從這種反饋中學習，并在未來更加準確地檢測異常。

在我們上面介紹醫院的例子中，假設所有申請懷孕相關服務的人都被貼上了“PREG”的標簽。如果絕大多數使用這些服務的患者在性別欄中有“F”(女性)，異常檢測就會立即注意到“M”(男性)患者是否接受了“PREG”標簽。你不需要寫規則“PREG必須是F”來防止這種錯誤發生。

聲音 | BB：為什么Facebook不構建在區塊鏈上？:Block.one CEO Brendan Blumer今日轉發Facebook CEO馬克.扎克伯格關于“言論自由” 看法的推特，并評論稱：馬克理解人們自由表達看法的重要性，但是為什么Facebook不構建在區塊鏈上呢？難道是有太多東西不能公開透明化？ （MEET.ONE）[2019/10/17]

不同類型的異常

不同的業務角色有不同的方法來定義數據中的異常。

營銷團隊可能會收到異常數量的網絡研討會注冊，從一個公司的域名收到比平時更多的入站請求，或者從一個國家收到太多的請求(超過正常)。這些異常會影響他們的工作表現，并被標記為關鍵。

數據工程師可能對兩個不同系統中關于同一實體(如客戶)的沖突信息更感興趣。

數據科學家可能會看到2月份某個隨機周四的平均銷售數據。然而，周四是公共假日，預計銷售額將增長兩倍。這肯定也是一個關鍵的異常!

因此，您可以說異常定義和異常檢測是相當主觀的。需要記住的重要部分是異常檢測服務必須能夠檢測所有形式的異常。在Ataccama，我們喜歡根據異常與數據的接近程度來定義異常。從高層(遠離實際數據，關于數據本身的更一般的信息)到低層(數據列中的異常，逐行，特定值/數據點)，我們可以在三個類別中定義異常:元數據、事務數據和記錄數據。

薛蠻子：什么是區塊鏈企業家精神？: 今日知名投資人薛蠻子在三點鐘區塊鏈社群回應問題“您經常提到的區塊鏈企業家精神具體是指的什么”時表示：我這次在京都附近的天橋立看了一個奇景是屁眼看天。原本是海中有了一個長幾公里的沙堤，和西湖的蘇堤白堤一樣，僅是一個美景而已。可是到了上頂上有個地方，叫褲襠看天。每個游客必須把頭伸到褲襠底下看景。這時候，這個沙堤就不是一個普通的沙堤，而是宛如一條巨龍，直飛天際。我之所以句這個例子，就是因為區塊鏈顛覆了以往的商業邏輯。因此，顛覆是第一條。第二個精神是有掄開膀子 時不我待的精神。第三個精神是要有超強的學習能力，才能與時具進。眼界，胸懷，識人之能和容人之量是前所未有的重要。[2018/2/25]

元數據異常

元數據是使用度量來描述實際底層數據的數據。例如，數據質量元數據指的是關于數據資源(數據庫、數據湖等)質量的信息。元數據允許您以對用例有獨特意義的方式組織和理解數據，同時保持數據的一致性和準確性。

這一級別的異常處理“一般”數據，是最接近數據本身的異常。這些是關于數據的異常，而不是數據中的異常(然而，它們仍然可以表示數據中的問題)。當數據質量出現意外下降時，就會出現這種情況;當一個數據集/點通常以一種方式標記，但已經以另一種方式標記;或者在提取關于您所存儲的數據的數據時，缺少一定數量的記錄、記錄太少或記錄太多，以及發生任何其他意外情況。

事務性數據異常

從元數據轉向更接近特定數據的地方，我們到達了中間層——事務性數據。我們稱之為中間層，因為您正在處理來自實際數據的值，但通過聚合的鏡頭(即，每五天或每五分鐘一次)。交易數據通常包含某種形式的貨幣交易，因為分析此類數據的能力非常有用。例如，如果您有每五分鐘的銷售匯總，您可以使用它來確定最繁忙的時間，是否值得在晚上8點后營業等等。

在這一水平上出現的異常情況可能是在一年中銷售較慢的某周出現了意外的銷售增長，購物假期的銷售額與一周中正常日子的銷售額相似，或者一個分支機構的業績在繁忙的月份下降得異常低，等等。

記錄級別的異常

在記錄級別，異常檢測標記數據集中可疑的特定值。如果其中一個數據點缺失、不完整、不一致或不正確，則可以將這些值標記為異常。

我們的介紹是記錄級異常的一個很好的例子。數據集中的一個值(性別)是意外的，并且與系統中的其他值不協調。這只是一行信息，是包含患者年齡、既往病史、身高、體重等更大信息集的一部分。

記錄級別的異常檢測逐行探索每個表和列中的數據集，尋找任何不一致之處。它可以揭示數據收集、聚合或處理中的問題。

異常檢測類型

現在我們了解了不同類型的異常，我們可以進入不同的方法來檢測它們。一種方法側重于將時間作為數據的主要上下文，而另一種方法側重于在正常行為的上下文中發現異常。這兩種類型的異常檢測被稱為時間相關和時間無關。

時變異常檢測

依賴于時間的數據會隨著時間的推移而演變(考慮一下我們的事務性數據示例)，因此了解何時捕獲值、何時輸入值、多個條目以何種順序到達等非常重要。通常，用戶將這些數據分組(聚合)在一起(例如，每小時或每天)，并在組級別上尋找異常或趨勢，根據上下文發現異常值。

例如，當您有每日數據(即每天記錄一次)時，您可以預期一些季節性。換句話說，周一的期望值可能與周二不同。因此，不同的值在不同的日子可能是異常的。此外，這些數據經常在較長時期內發生變化。這可以用數據的趨勢或數據的漂移變化來表示。所有這些模式都需要時變異常檢測算法來捕獲。

非時變異常檢測

任何沒有時間維度的數據都可以被認為是“時間無關的”。換句話說，數據是什么時候創建的，輸入到系統中，數據到達的順序等等都不重要。只有實際值才重要。因此，算法只需要了解期望值是什么，或者更好的是，將它們放入“正態聚類”中。

這些異常與主數據(相對于事務數據)更相關:客戶記錄、產品數據、參考數據和其他“靜態數據”。

結論

總之，異常檢測算法允許您發現數據中不需要或意外的值，而無需指定規則和標準。它對您的數據集進行快照，并通過將新數據與過去關于相同或類似數據集發現的模式進行比較來識別異常。

至于對異常檢測工具可以做什么的期望:

無論這些異常發生在較高的級別(如元數據)還是接近實際數據本身(如記錄級別異常)，您的異常檢測服務都需要能夠發現它們。

要應用于所有類型的數據，既需要時變異常檢測，也需要時變異常檢測。

您的服務還必須能夠處理不同的數據類型，易于使用和適應，并在將值標記為異常時提供可用的解釋。

異常檢測領域持續增長和發展。AI/ML正在數據管理領域得到更廣泛的采用和實現。我們可以預期異常檢測將變得越來越主動，而不是被動。這些工具將能夠在數據進入下游系統之前發現有問題的數據，從而造成損害。

異常檢測很有價值，因為它通常會揭示數據之外的潛在問題，例如物聯網設備中的缺陷機器、網絡中的黑客企圖、數據合并中的基礎設施故障或不準確的醫療檢查。這些問題通常很難預測，因此很難編寫DQ規則。因此，基于AI/ml的異常檢測是發現這些異常的最佳方法。

Tags：PREREGCPDPRE價格PRE幣REG價格REG幣CPD幣CPD價格

區塊鏈