異常檢測演算法演變

⑴ 入侵檢測系統異常檢測方法有什麼

入侵檢測技術基礎 1. IDS（入侵檢測系統）存在與發展的必然性 （1）網路安全本身的復雜性，被動式的防禦方式顯得力不從心。（2）有關供觸垛吠艹杜訛森番緝防火牆：網路邊界的設備；自身可以被攻破；對某些攻擊保護很弱；並非所有威脅均來自防火牆外部。（3）入侵很容易：入侵教程隨處可見；各種工具唾手可得 2. 入侵檢測（Intrusion Detection） ●定義：通過從計算機網路或計算機系統中的若干關鍵點收集信息並對其進行分析，從中發現網路或系統中是否有違反安全策略的行為和遭到襲擊的跡象的一種安全技術。入侵檢測的分類（1）按照分析方法/檢測原理分類 ●異常檢測（Anomaly Detection）：基於統計分析原理。首先總結正常操作應該具有的特徵（用戶輪廓），試圖用定量的方式加以描述，當用戶活動與正常行為有重大偏離時即被認為是入侵。前提：入侵是異常活動的子集。指標：漏報率低，誤報率高。用戶輪廓(Profile)：通常定義為各種行為參數及其閥值的集合，用於描述正常行為范圍。特點：異常檢測系統的效率取決於用戶輪廓的完備性和監控的頻率；不需要對每種入侵行為進行定義，因此能有效檢測未知的入侵；系統能針對用戶行為的改變進行自我調整和優化，但隨著檢測模型的逐步精確，異常檢測會消耗更多的系統資源 ●誤用檢測（Misuse Detection）：基於模式匹配原理。收集非正常操作的行為特徵，建立相關的特徵庫，當監測的用戶或系統行為與庫中的記錄相匹配時，系統就認為這種行為是入侵。前提：所有的入侵行為都有可被檢測到的特徵。指標：誤報低、漏報高。攻擊特徵庫：當監測的用戶或系統行為與庫中的記錄相匹配時，系統就認為這種行為是入侵。特點：採用模式匹配，誤用模式能明顯降低誤報率，但漏報率隨之增加。攻擊特徵的細微變化，會使得誤用檢測無能為力。

⑵ 天眼ai ops平台單指標異常檢測演算法提供電能力有哪些

咨詢記錄 · 回答於2021-07-15

⑶ 基於統計分析的異常檢測演算法有哪些

根據不同的需求來進行不同的處理1空洞這個肯定是像素顏色和周邊的不同建議用閾值分割然後輪廓檢測2褶皺這個褶皺肯定會有梯度的變化建議檢測邊緣再計算褶皺的梯度信息3劃痕這個和上一個問題相似但是也有不同應該是梯度的方向和強度不同（一個是凹一個是凸）4斑點如果只是點點星星的opencv里也有很多角點檢測演算法比如surffastORB等但是也不是每個必須獨立對應著相應的方法，比如求邊緣梯度的時候可以一次性處理處理好多信息。你往下做，還有疑問在這里提問就行，不用另開問題了。

⑷ 異常檢測有哪些主要的分析方法

1. 概率統計方法
在基於異常檢測技術的IDS中應用最早也是最多的一種方法。
首先要對系統或用戶的行為按照一定的時間間隔進行采樣，樣本的內容包括每個會話的登錄、退出情況，CPU和內存的佔用情況，硬碟等存儲介質的使用情況等。
將每次採集到的樣本進行計算，得出一系列的參數變數對這些行為進行描述，從而產生行為輪廓，將每次采樣後得到的行為輪廓與已有輪廓進行合並，最終得到系統和用戶的正常行為輪廓。IDS通過將當前採集到的行為輪廓與正常行為輪廓相比較，來檢測是否存在網路入侵行為。
2. 預測模式生成法
假設條件是事件序列不是隨機的而是遵循可辨別的模式。這種檢測方法的特點是考慮了事件的序列及其相互聯系，利用時間規則識別用戶行為正常模式的特徵。通過歸納學習產生這些規則集，並能動態地修改系統中的這些規則，使之具有較高的預測性、准確性。如果規則在大部分時間是正確的，並能夠成功地運用預測所觀察到的數據，那麼規則就具有高可信度。
3. 神經網路方法
基本思想是用一系列信息單元(命令)訓練神經單元，這樣在給定一組輸入後、就可能預測出輸出。與統計理論相比，神經網路更好地表達了變數間的非線性關系，並且能自動學習並更新。實驗表明UNIX系統管理員的行為幾乎全是可以預測的，對於一般用戶，不可預測的行為也只佔了很少的一部分。

⑸ 「宏觀網路流量」的定義是什麼有哪些異常檢測方法

一種互聯網宏觀流量異常檢測方法(2007-11-7 10:37) 摘要：網路流量異常指網路中流量不規則地顯著變化。網路短暫擁塞、分布式拒絕服務攻擊、大范圍掃描等本地事件或者網路路由異常等全局事件都能夠引起網路的異常。網路異常的檢測和分析對於網路安全應急響應部門非常重要，但是宏觀流量異常檢測需要從大量高維的富含雜訊的數據中提取和解釋異常模式，因此變得很困難。文章提出一種分析網路異常的通用方法，該方法運用主成分分析手段將高維空間劃分為對應正常和異常網路行為的子空間，並將流量向量影射在正常子空間中，使用基於距離的度量來檢測宏觀網路流量異常事件。公共互聯網正在社會生活的各個領域發揮著越來越重要的作用，與此同時，由互聯網的開放性和應用系統的復雜性所帶來的安全風險也隨之增多。2006年，國家計算機網路應急技術處理協調中心(CNCERT/CC)共接收26 476件非掃描類網路安全事件報告，與2005年相比增加2倍，超過2003—2005年3年的總和。2006年，CNCERT/CC利用部署的863-917網路安全監測平台，抽樣監測發現中國大陸地區約4.5萬個IP地址的主機被植入木馬，與2005年同期相比增加1倍；約有1千多萬個IP地址的主機被植入僵屍程序，被境外約1.6萬個主機進行控制。黑客利用木馬、僵屍網路等技術操縱數萬甚至上百萬台被入侵的計算機，釋放惡意代碼、發送垃圾郵件，並實施分布式拒絕服務攻擊，這對包括骨幹網在內的整個互聯網網路帶來嚴重的威脅。由數萬台機器同時發起的分布式拒絕服務攻擊能夠在短時間內耗盡城域網甚至骨幹網的帶寬，從而造成局部的互聯網崩潰。由於政府、金融、證券、能源、海關等重要信息系統的諸多業務依賴互聯網開展，互聯網骨幹網路的崩潰不僅會帶來巨額的商業損失，還會嚴重威脅國家安全。據不完全統計，2001年7月19日爆發的紅色代碼蠕蟲病毒造成的損失估計超過20億美元；2001年9月18日爆發的Nimda蠕蟲病毒造成的經濟損失超過26億美元；2003年1月爆發的SQL Slammer蠕蟲病毒造成經濟損失超過12億美元。針對目前互聯網宏觀網路安全需求，本文研究並提出一種宏觀網路流量異常檢測方法，能夠在骨幹網路層面對流量異常進行分析，在大規模安全事件爆發時進行快速有效的監測，從而為網路防禦贏得時間。1 網路流量異常檢測研究現狀在骨幹網路層面進行宏觀網路流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統入侵檢測技術帶來了很大的挑戰。在流量異常檢測方面，國內外的學術機構和企業不斷探討並提出了多種檢測方法[1]。經典的流量監測方法是基於閾值基線的檢測方法，這種方法通過對歷史數據的分析建立正常的參考基線范圍，一旦超出此范圍就判斷為異常，它的特點是簡單、計算復雜度小，適用於實時檢測，然而它作為一種實用的檢測手段時，需要結合網路流量的特點進行修正和改進。另一種常用的方法是基於統計的檢測，如一般似然比(GLR)檢測方法[2]，它考慮兩個相鄰的時間窗口以及由這兩個窗口構成的合並窗口，每個窗口都用自回歸模型擬合，並計算各窗口序列殘差的聯合似然比，然後與某個預先設定的閾值T 進行比較，當超過閾值T 時，則窗口邊界被認定為異常點。這種檢測方法對於流量的突變檢測比較有效，但是由於它的閾值不是自動選取，並且當異常持續長度超過窗口長度時，該方法將出現部分失效。統計學模型在流量異常檢測中具有廣闊的研究前景，不同的統計學建模方式能夠產生不同的檢測方法。最近有許多學者研究了基於變換域進行流量異常檢測的方法[3]，基於變換域的方法通常將時域的流量信號變換到頻域或者小波域，然後依據變換後的空間特徵進行異常監測。P. Barford等人[4]將小波分析理論運用於流量異常檢測，並給出了基於其理論的4類異常結果，但該方法的計算過於復雜，不適於在高速骨幹網上進行實時檢測。Lakhina等人[5-6]利用主成分分析方法(PCA)，將源和目標之間的數據流高維結構空間進行PCA分解，歸結到3個主成分上，以3個新的復合變數來重構網路流的特徵，並以此發展出一套檢測方法。此外還有一些其他的監測方法[7]，例如基於Markov模型的網路狀態轉換概率檢測方法，將每種類型的事件定義為系統狀態，通過過程轉換模型來描述所預測的正常的網路特徵，當到來的流量特徵與期望特徵產生偏差時進行報警。又如LERAD檢測[8]，它是基於網路安全特徵的檢測，這種方法通過學習得到流量屬性之間的正常的關聯規則，然後建立正常的規則集，在實際檢測中對流量進行規則匹配，對違反規則的流量進行告警。這種方法能夠對發生異常的地址進行定位，並對異常的程度進行量化。但學習需要大量正常模式下的純凈數據，這在實際的網路中並不容易實現。隨著宏觀網路異常流量檢測成為網路安全的技術熱點，一些廠商紛紛推出了電信級的異常流量檢測產品，如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。國外一些研究機構在政府資助下，開始部署宏觀網路異常監測的項目，並取得了較好的成績，如美國研究機構CERT建立了SiLK和AirCERT項目，澳大利亞啟動了NMAC流量監測系統等項目。針對宏觀網路異常流量監測的需要，CNCERT/CC部署運行863-917網路安全監測平台，採用分布式的架構，能夠通過多點對骨幹網路實現流量監測，通過分析協議、地址、埠、包長、流量、時序等信息，達到對中國互聯網宏觀運行狀態的監測。本文基於863-917網路安全監測平台獲取流量信息，構成監測矩陣，矩陣的行向量由源地址數量、目的地址數量、傳輸控制協議(TCP)位元組數、TCP報文數、數據報協議(UDP)位元組數、UDP報文數、其他流量位元組數、其他流量報文書、WEB流量位元組數、WEB流量報文數、TOP10個源IP占總位元組比例、TOP10個源IP占總報文數比例、TOP10個目的IP占總位元組數比例、TOP10個目的IP占總報文數比例14個部分組成，系統每5分鍾產生一個行向量，觀測窗口為6小時，從而形成了一個72×14的數量矩陣。由於在這14個觀測向量之間存在著一定的相關性，這使得利用較少的變數反映原來變數的信息成為可能。本項目採用了主成份分析法對觀測數據進行數據降維和特徵提取，下面對該演算法的工作原理進行介紹。 2 主成分分析技術主成分分析是一種坐標變換的方法，將給定數據集的點映射到一個新軸上面，這些新軸稱為主成分。主成分在代數學上是p 個隨機變數X 1, X 2……X p 的一系列的線性組合，在幾何學中這些現線性組合代表選取一個新的坐標系，它是以X 1,X 2……X p 為坐標軸的原來坐標系旋轉得到。新坐標軸代表數據變異性最大的方向，並且提供對於協方差結果的一個較為簡單但更精練的刻畫。主成分只是依賴於X 1,X 2……X p 的協方差矩陣，它是通過一組變數的幾個線性組合來解釋這些變數的協方差結構，通常用於高維數據的解釋和數據的壓縮。通常p 個成分能夠完全地再現全系統的變異性，但是大部分的變異性常常能夠只用少量k 個主成分就能夠說明，在這種情況下，這k 個主成分中所包含的信息和那p 個原變數做包含的幾乎一樣多，於是可以使用k 個主成分來代替原來p 個初始的變數，並且由對p 個變數的n 次測量結果所組成的原始數據集合，能夠被壓縮成為對於k 個主成分的n 次測量結果進行分析。運用主成分分析的方法常常能夠揭示出一些先前不曾預料的關系，因而能夠對於數據給出一些不同尋常的解釋。當使用零均值的數據進行處理時，每一個主成分指向了變化最大的方向。主軸以變化量的大小為序，一個主成分捕捉到在一個軸向上最大變化的方向，另一個主成分捕捉到在正交方向上的另一個變化。設隨機向量X '=[X 1,X 1……X p ]有協方差矩陣∑,其特徵值λ1≥λ2……λp≥0。考慮線性組合：Y1 =a 1 'X =a 11X 1+a 12X 2……a 1pX pY2 =a 2 'X =a 21X 1+a 22X 2……a 2pX p……Yp =a p'X =a p 1X 1+a p 2X 2……a p pX p從而得到：Var (Yi )=a i' ∑a i ,(i =1,2……p )Cov (Yi ,Yk )=a i '∑a k ,(i ,k =1,2……p )主成分就是那些不相關的Y 的線性組合，它們能夠使得方差盡可能大。第一主成分是有最大方差的線性組合，也即它能夠使得Var (Yi )=a i' ∑a i 最大化。我們只是關注有單位長度的系數向量，因此我們定義：第1主成分＝線性組合a 1'X，在a1'a 1=1時，它能夠使得Var (a1 'X )最大；第2主成分＝線性組合a 2 'X，在a2'a 2=1和Cov(a 1 'X,a 2 'X )=0時，它能夠使得Var (a 2 'X )最大；第i 個主成分＝線性組合a i'X，在a1'a 1=1和Cov(a i'X,a k'X )=0(k<i )時，它能夠使得Var (a i'X )最大。由此可知主成分都是不相關的，它們的方差等於協方差矩陣的特徵值。總方差中屬於第k個主成分(被第k個主成分所解釋)的比例為：如果總方差相當大的部分歸屬於第1個、第2個或者前幾個成分，而p較大的時候，那麼前幾個主成分就能夠取代原來的p個變數來對於原有的數據矩陣進行解釋，而且信息損失不多。在本項目中，對於一個包含14個特徵的矩陣進行主成分分析可知，特徵的最大變化基本上能夠被2到3個主成分捕捉到，這種主成分變化曲線的陡降特性構成了劃分正常子空間和異常子空間的基礎。3 異常檢測演算法本項目的異常流量檢測過程分為3個階段：建模階段、檢測階段和評估階段。下面對每個階段的演算法進行詳細的介紹。3.1 建模階段本項目採用滑動時間窗口建模，將當前時刻前的72個樣本作為建模空間，這72個樣本的數據構成了一個數據矩陣X。在試驗中，矩陣的行向量由14個元素構成。主成份分為正常主成分和異常主成份，它們分別代表了網路中的正常流量和異常流量，二者的區別主要體現在變化趨勢上。正常主成份隨時間的變化較為平緩，呈現出明顯的周期性；異常主成份隨時間的變化幅度較大，呈現出較強的突發性。根據采樣數據，判斷正常主成分的演算法是：依據主成分和采樣數據計算出第一主成分變數，求第一主成分變數這72個數值的均值μ1和方差σ1，找出第一主成分變數中偏離均值最大的元素，判斷其偏離均值的程度是否超過了3σ1。如果第一主成分變數的最大偏離超過了閾值，取第一主成份為正常主成分，其他主成份均為異常主成分，取主成份轉換矩陣U =[L 1]；如果最大偏離未超過閾值，轉入判斷第下一主成分，最後取得U =[L 1……L i -1]。第一主成份具有較強的周期性，隨後的主成份的周期性漸弱，突發性漸強，這也體現了網路中正常流量和異常流量的差別。在得到主成份轉換矩陣U後，針對每一個采樣數據Sk =xk 1,xk 2……xk p )，將其主成份投影到p維空間進行重建，重建後的向量為：Tk =UU T (Sk -X )T計算該采樣數據重建前與重建後向量之間的歐氏距離，稱之為殘差：dk =||Sk -Tk ||根據采樣數據，我們分別計算72次采樣數據的殘差，然後求其均值μd 和標准差σd 。轉換矩陣U、殘差均值μd 、殘差標准差σd 是我們構造的網路流量模型，也是進行流量異常檢測的前提條件。 3.2 檢測階段在通過建模得到網路流量模型後，對於新的觀測向量N,(n 1,n 2……np )，採用與建模階段類似的分析方法，將其中心化：Nd =N -X然後將中心化後的向量投影到p維空間重建，並計算殘差：Td =UUTNdTd =||Nd -Td ||如果該觀測值正常，則重建前與重建後向量應該非常相似，計算出的殘差d 應該很小；如果觀測值代表的流量與建模時發生了明顯變化，則計算出的殘差值會較大。本項目利用如下演算法對殘差進行量化：3.3 評估階段評估階段的任務是根據當前觀測向量的量化值q (d )，判斷網路流量是否正常。根據經驗，如果|q (d )|<5，網路基本正常；如果5≤|q (d )|<10，網路輕度異常；如果10≤|q (d )|，網路重度異常。4 實驗結果分析利用863-917網路安全監測平台，對北京電信骨幹網流量進行持續監測，我們提取6小時的觀測數據，由於篇幅所限，我們給出圖1—4的時間序列曲線。由圖1—4可知單獨利用任何一個曲線都難以判定異常，而利用本演算法可以容易地標定異常發生的時間。本演算法計算結果如圖5所示，異常發生時間在圖5中標出。我們利用863-917平台的回溯功能對於異常發生時間進行進一步的分析，發現在標出的異常時刻，一個大規模的僵屍網路對網外的3個IP地址發起了大規模的拒絕服務攻擊。 5 結束語本文提出一種基於主成分分析的方法來劃分子空間，分析和發現網路中的異常事件。本方法能夠准確快速地標定異常發生的時間點，從而幫助網路安全應急響應部門及時發現宏觀網路的流量異常狀況，為迅速解決網路異常贏得時間。試驗表明，我們採用的14個特徵構成的分析矩陣具有較好的識別准確率和分析效率，我們接下來將會繼續尋找更具有代表性的特徵來構成數據矩陣，並研究更好的特徵矩陣構造方法來進一步提高此方法的識別率，並將本方法推廣到短時分析中。6 參考文獻[1] XU K, ZHANG Z L, BHATTACHARYYA S. Profiling Internet backbone traffic: Behavior models and applications [C]// Proceedings of ACM SIGCOMM, Aug 22- 25, 2005, Philadelphia, PA, USA. New York, NY,USA:ACM,2005:169-180.[2] HAWKINS D M, QQUI P, KANG C W. The change point model for statistical process control [J]. Journal of Quality Technology,2003, 35(4).[3] THOTTAN M, JI C. Anomaly detection in IP networks [J]. IEEE Transactions on Signal Processing, 2003, 51 )8):2191-2204.[4] BARFORD P, KLINE J, PLONKA D, et al. A signal analysis of network traffic anomalies [C]//Proceedings of ACM SIGCOMM Intemet Measurement Workshop (IMW 2002), Nov 6-8, 2002, Marseilles, France. New York, NY,USA:ACM, 2002:71-82.[5] LAKHINA A, CROVELLA M, DIOT C. Mining anomalies using traffic feature distributions [C]// Proceedings of SIGCOMM, Aug 22-25, 2005, Philadelphia, PA, USA. New York, NY,USA: ACM, 2005: 217-228.[6] LAKHINA A, CROVELLA M, DIOT C. Diagnosing network-wide traffic anomalies [C]// Proceedings of ACM SIGCOMM, Aug 30 - Sep 3, 2004, Portland, OR, USA. New York, NY,USA: ACM, 2004: 219-230.[7] SCHWELLER R, GUPTA A, PARSONS E, et al. Reversible sketches for efficient and accurate change detection over network data streams [C]//Proceedings of ACM SIGCOMM Internet Measurement Conference (IMC』04), Oct 25-27, 2004, Taormina, Sicily, Italy. New York, NY,USA: ACM, 2004:207-212.[8] MAHONEY M V, CHAN P K. Learning rules for anomaly detection of hostile network traffic [C]// Proceedings of International Conference on Data Mining (ICDM』03), Nov 19-22, Melbourne, FL, USA . Los Alamitos, CA, USA: IEEE Computer Society, 2003:601-604.

⑹ 異常檢測原理與實驗

異常檢測原理與實驗
最近需要對欺詐報價進行識別處理，簡單的模型就是給定很多不同數據集，需要找出每個spu下可能存在的欺詐數據，比如{20,22,30},其中的欺詐數據可能就是30。其實加以抽象，屬於異常檢測范圍。
異常檢測是發現與大部分對象不同的對象，其中這些不同的對象稱為離群點。一般異常檢測的方法主要有數理統計法、數據挖掘方法。一般在預處理階段發生的異常檢測，更多的是依託數理統計的思想完成的。
一、基於模型
首先判斷出數據的分布模型，比如某種分布（高斯分布、泊松分布等等）。然後根據原始數據（包括正常點與離群點），算出分布的參數，從而可以代入分布方程求出概率。例如高斯分布，根據原始數據求出期望u和方差？，然後擬合出高斯分布函數，從而求出原始數據出現的概率；根據數理統計的思想，概率小的可以當做離群點。
優點：
方法簡單，無需訓練，可以用在小數據集上。
缺點：
發現離群點效果差，離群點對模型參數影響大，造成區分效果差。需要數值化
import java.util.List;

/**
* 實現描述：計算正態分布
*
* @author jin.xu
* @version v1.0.0
* @see
* @since 16-9-9 下午12:02
*/
public class Gauss {
public double getMean(List<Double> dataList) {
double sum = 0;
for (double data : dataList) {
sum += data;
}
double mean = sum;
if (dataList.size() > 0) {
mean = sum / dataList.size();
}
return mean;
}

public double getStd(List<Double> dataList, double mean) {
double sum = 0;
for (double data : dataList) {
sum += (data - mean) * (data - mean);
}
double std = sum;
if (dataList.size() > 0) {
std = sum / dataList.size();
}
return Math.sqrt(std);
}

public double getProbability(double data, double meam, double std) {
double tmp = (1.0 / (Math.sqrt(2 * 3.141592653) * std)) * Math.exp(-(Math.pow(data - meam, 2) / (2 * Math.pow(std, 2))));
return tmp;
}
}
二、基於近鄰度
需要度量對象之間的距離，離群點一般是距離大部分數據比較遠的點。一般這種方法是計算每個點與其距離最近的k個點的距離和，然後累加起來，這就是K近鄰方法。

優點：
原理簡單，無需訓練，可用在任何數據集
缺點：
需要計算距離，計算量大，K的選定以及多於K個離群點聚集在一起導致誤判。
public class KNN {

public static double process(int index,Position position, int k, List<Position> positionList) {
List<Double> distances = Lists.newArrayList();
for (int i = 0; i < positionList.size(); ++i) {
if (i != index) {
distances.add(Math.sqrt(Math.pow((positionList.get(i).getX() - position.getX()), 2)+Math.pow((positionList.get(i).getY()-position.getY()),2)));
}
}
Collections.sort(distances);
k = k < distances.size() ? k : distances.size();

double knnDistance = 0.0;
for (int i = 0; i < k; ++i) {
knnDistance += distances.get(i);
}
return knnDistance;
}

private static class Position{
int x;
int y;

public int getX() {
return x;
}

public void setX(int x) {
this.x = x;
}

public int getY() {
return y;
}

public void setY(int y) {
this.y = y;
}
}

}
三、基於密度
低密度區域的數據點可以當做某種程度上的離群點。基於密度的和基於近鄰的是密切相關的，簡單來說，密度和近鄰的距離成反比。一般的度量公式如下：
density(x,k)表示包含x的k近鄰的密度，distance(x,y)表示x到y的距離，N(x,k)表示x的k近鄰集合。
優點：
相對准確
缺點：
需要度量密度，需要設定閾值

四、基於聚類
丟棄遠離其他聚類簇的小聚類簇。需要給出小聚類簇的大小閾值、聚類簇距離閾值。常用的聚類方法比較多，比如K-means(變種K-models)、EM、層次聚類演算法（分裂型和歸約型）。具體方法說明可見：漫話數據挖掘。
優點：
引入數據挖掘聚類的方法，在樣本充足的情況下准確度會相對較高
缺點：
需要訓練，計算量大，原理相對復雜
需要建立適當的模型，需要充足的訓練樣本
總之異常檢測的通用方法大致有4種：基於模型、k近鄰、基於密度和基於聚類的。實際使用數據是線上的報價，由於每個SPU下報價有限，聚類不適合，所以用基於模型的和k近鄰的做了試驗；基於密度的和K近鄰差不多，而且需要密度范圍的距離閾值，就沒有選擇。此外，涉及的實驗數據是公司的，代碼是興趣使然，所以就不公布具體實驗數據。

⑺ 神經網路異常檢測方法和機器學習異常檢測方法對於入侵檢測的應用

神經網路入侵檢測方法是通過訓練神經網路連續的信息單元來進行異常檢測，信息單元指的是命令。網路的輸入為用戶當前輸入的命令和已執行過的W個命令；用戶執行過的命令被神經網路用來預測用戶輸入的下一個命令，如下圖。若神經網路被訓練成預測用戶輸入命令的序列集合，則神經網路就構成用戶的輪郭框架。當用這個神經網路預測不出某用戶正確的後繼命令，即在某種程度上表明了用戶行為與其輪廓框架的偏離，這時表明有異常事件發生，以此就能作異常入侵檢測。

上面式子用來分類識別，檢測異常序列。實驗結果表明這種方法檢測迅速，而且誤警率底。然而，此方法對於用戶動態行為變化以及單獨異常檢測還有待改善。復雜的相似度量和先驗知識加入到檢測中可能會提高系統的准確性，但需要做進一步工作。

⑻ 簡述clementine中異常檢測演算法的步驟

摘要 4，孤立深林。思想：將數據不斷通過某個屬性劃分，異常點通常能很早地被劃分到一邊，也就是被早早地孤立起來。而正常點則由於群體眾多，需要更多次地劃分。步驟：通過以下方式構造多顆孤立樹：在當前節點隨機挑選數據的一個屬性，並隨機選取屬性的一個值，將當前節點中所有數據劃分到左右兩個葉子節點；如果葉子節點深度較小或者葉子節點中的數據點還很多，則繼續上述的劃分。異常點表現為在所有孤立樹中會有一個平均很低的樹的深度。

⑼ 對於入侵檢測，貝葉斯推理異常檢測方法與模式預測異常檢測方法的區別

貝葉斯推理異常檢測方法是根據各種異常測量的值、入侵的先驗概率及入侵發生時測量到的每種異常概率來計算判斷入侵的概率。而模式預測異常檢測方法的假設條件是事件序列不是隨機的而是遵循可辨別的模式。

其中E1-E5表示安全事件。
這條規則是根據前面觀測到事件E1模式後面是E2，E3，E4，E5。觀測到E4事件的概率是95%，而事件E5的概率是5%。通過事件當中的臨時關系，TIM能夠產生更多通用的規則。根據觀察到用戶的行為，歸納產生出一套規則集來構成用戶的輪廓框架。如果觀測到的事件序列匹配規則的左邊，而後續的事件顯著地背離根據規則預測到的事件，那麼系統就可以檢測出這種偏離,這就表明用戶操作是異常。由於不可識別行為模式能匹配任何規則的左邊，從而導致不可識別行為模式作為異常判斷，這是該方法的主要弱點。相反，如果能預測出不正常的後繼事件的片段，則一定程度上可斷定用戶行為的異常性。
這種方法的主要優點是：

• 能夠較好地處理變化多樣的用戶行為，並具有很強的時序模式。
• 能夠集中考察少數幾個相關的安全事件，而不是關注可疑的整個登錄會話過程。
• 對發現檢測系統遭受攻擊，具有良好的靈敏度。因為根據規則的蘊涵語義，在系統學習階段 ，能夠更容易地辨別出欺騙者訓練系統企圖。

⑽ k-means怎樣進行異常檢測

：K-means 演算法屬於聚類分析方法中一種基本的且應用最廣泛的劃分演算法，它是一種已知聚類類別數的聚類演算法。指定類別數為K，對樣本集合進行聚類，聚類的結果由K 個聚類中心來表達，基於給定的聚類目標函數（或者說是聚類效果判別准則），演算法採用迭.