导航:首页 > 源码编译 > 空间异常检测算法

空间异常检测算法

发布时间:2022-06-13 09:10:21

㈠ 基于统计分析的异常检测算法有哪些

根据不同的需求来进行不同的处理1空洞这个肯定是像素颜色和周边的不同建议用阈值分割然后轮廓检测2褶皱这个褶皱肯定会有梯度的变化建议检测边缘再计算褶皱的梯度信息3划痕这个和上一个问题相似但是也有不同应该是梯度的方向和强度不同(一个是凹一个是凸)4斑点如果只是点点星星的opencv里也有很多角点检测算法比如surffastORB等但是也不是每个必须独立对应着相应的方法,比如求边缘梯度的时候可以一次性处理处理好多信息。你往下做,还有疑问在这里提问就行,不用另开问题了。

㈡ 手机qq空间异常诊断

QQ空间有时候会遇到各式各样的问题,我们可以先使用空间诊断看看能不能解决问题,不行再寻求其它方法,下面小编介绍一下在手机上对QQ空进行诊断的方法。

具体如下:
1. 第一步,点击进入手机QQ主页,点击一下左上角的个人头像。

2. 第二步,打开左侧隐藏菜单,点击进入底部的【设置】页面。

3. 第三步,进入QQ的设置主页,点击底部的【关于QQ与帮助】。

4. 第四步,进入“关于QQ与帮助”页面,点击【帮助】选项。

5. 第五步,点击之后进入客服中心,点击一下【基础功能】按钮,在基础功能列表中点击进入【空间诊断】功能。

6. 第六步,等待系统自检,如果没问题会显示下图所示的“QQ空间正常”。

㈢ qq空间异常怎么处理

步骤一、首先打开浏览器,比如ie浏览器,然后在点击工具栏上面的【工具-internet选项】,打开了internet属性窗口,我们在【常规】界面上在删除临时文件、、历史记录上点击【删除(D)】按钮,如图所示:
电脑常识
步骤二、这样删除了电脑上的cookies文件和临时文件,最后把删除所有脱机内容,然后点击“确定”即可。
步骤三、删除完成后,然后在重新登录qq空间,尝试刷新空间,现在qq空间应该能正常能正常显示了。
如果是网页打开其他的网站也是出现异常的现象的话,也是可以通过删除ie浏览器的临时文件和cookies文件。

㈣ “宏观网络流量”的定义是什么有哪些异常检测方法

一种互联网宏观流量异常检测方法(2007-11-7 10:37) 摘要:网络流量异常指网络中流量不规则地显着变化。网络短暂拥塞、分布式拒绝服务攻击、大范围扫描等本地事件或者网络路由异常等全局事件都能够引起网络的异常。网络异常的检测和分析对于网络安全应急响应部门非常重要,但是宏观流量异常检测需要从大量高维的富含噪声的数据中提取和解释异常模式,因此变得很困难。文章提出一种分析网络异常的通用方法,该方法运用主成分分析手段将高维空间划分为对应正常和异常网络行为的子空间,并将流量向量影射在正常子空间中,使用基于距离的度量来检测宏观网络流量异常事件。公共互联网正在社会生活的各个领域发挥着越来越重要的作用,与此同时,由互联网的开放性和应用系统的复杂性所带来的安全风险也随之增多。2006年,国家计算机网络应急技术处理协调中心(CNCERT/CC)共接收26 476件非扫描类网络安全事件报告,与2005年相比增加2倍,超过2003—2005年3年的总和。2006年,CNCERT/CC利用部署的863-917网络安全监测平台,抽样监测发现中国大陆地区约4.5万个IP地址的主机被植入木马,与2005年同期相比增加1倍;约有1千多万个IP地址的主机被植入僵尸程序,被境外约1.6万个主机进行控制。黑客利用木马、僵尸网络等技术操纵数万甚至上百万台被入侵的计算机,释放恶意代码、发送垃圾邮件,并实施分布式拒绝服务攻击,这对包括骨干网在内的整个互联网网络带来严重的威胁。由数万台机器同时发起的分布式拒绝服务攻击能够在短时间内耗尽城域网甚至骨干网的带宽,从而造成局部的互联网崩溃。由于政府、金融、证券、能源、海关等重要信息系统的诸多业务依赖互联网开展,互联网骨干网络的崩溃不仅会带来巨额的商业损失,还会严重威胁国家安全。据不完全统计,2001年7月19日爆发的红色代码蠕虫病毒造成的损失估计超过20亿美元;2001年9月18日爆发的Nimda蠕虫病毒造成的经济损失超过26亿美元;2003年1月爆发的SQL Slammer蠕虫病毒造成经济损失超过12亿美元。针对目前互联网宏观网络安全需求,本文研究并提出一种宏观网络流量异常检测方法,能够在骨干网络层面对流量异常进行分析,在大规模安全事件爆发时进行快速有效的监测,从而为网络防御赢得时间。1 网络流量异常检测研究现状在骨干网络层面进行宏观网络流量异常检测时,巨大流量的实时处理和未知攻击的检测给传统入侵检测技术带来了很大的挑战。在流量异常检测方面,国内外的学术机构和企业不断探讨并提出了多种检测方法[1]。经典的流量监测方法是基于阈值基线的检测方法,这种方法通过对历史数据的分析建立正常的参考基线范围,一旦超出此范围就判断为异常,它的特点是简单、计算复杂度小,适用于实时检测,然而它作为一种实用的检测手段时,需要结合网络流量的特点进行修正和改进。另一种常用的方法是基于统计的检测,如一般似然比(GLR)检测方法[2],它考虑两个相邻的时间窗口以及由这两个窗口构成的合并窗口,每个窗口都用自回归模型拟合,并计算各窗口序列残差的联合似然比,然后与某个预先设定的阈值T 进行比较,当超过阈值T 时,则窗口边界被认定为异常点。这种检测方法对于流量的突变检测比较有效,但是由于它的阈值不是自动选取,并且当异常持续长度超过窗口长度时,该方法将出现部分失效。统计学模型在流量异常检测中具有广阔的研究前景,不同的统计学建模方式能够产生不同的检测方法。最近有许多学者研究了基于变换域进行流量异常检测的方法[3],基于变换域的方法通常将时域的流量信号变换到频域或者小波域,然后依据变换后的空间特征进行异常监测。P. Barford等人[4]将小波分析理论运用于流量异常检测,并给出了基于其理论的4类异常结果,但该方法的计算过于复杂,不适于在高速骨干网上进行实时检测。Lakhina等人[5-6]利用主成分分析方法(PCA),将源和目标之间的数据流高维结构空间进行PCA分解,归结到3个主成分上,以3个新的复合变量来重构网络流的特征,并以此发展出一套检测方法。此外还有一些其他的监测方法[7],例如基于Markov模型的网络状态转换概率检测方法,将每种类型的事件定义为系统状态,通过过程转换模型来描述所预测的正常的网络特征,当到来的流量特征与期望特征产生偏差时进行报警。又如LERAD检测[8],它是基于网络安全特征的检测,这种方法通过学习得到流量属性之间的正常的关联规则,然后建立正常的规则集,在实际检测中对流量进行规则匹配,对违反规则的流量进行告警。这种方法能够对发生异常的地址进行定位,并对异常的程度进行量化。但学习需要大量正常模式下的纯净数据,这在实际的网络中并不容易实现。随着宏观网络异常流量检测成为网络安全的技术热点,一些厂商纷纷推出了电信级的异常流量检测产品,如Arbor公司的Peakflow、GenieNRM公司的GenieNTG 2100、NetScout公司的nGenius等。国外一些研究机构在政府资助下,开始部署宏观网络异常监测的项目,并取得了较好的成绩,如美国研究机构CERT建立了SiLK和AirCERT项目,澳大利亚启动了NMAC流量监测系统等项目。针对宏观网络异常流量监测的需要,CNCERT/CC部署运行863-917网络安全监测平台,采用分布式的架构,能够通过多点对骨干网络实现流量监测,通过分析协议、地址、端口、包长、流量、时序等信息,达到对中国互联网宏观运行状态的监测。本文基于863-917网络安全监测平台获取流量信息,构成监测矩阵,矩阵的行向量由源地址数量、目的地址数量、传输控制协议(TCP)字节数、TCP报文数、数据报协议(UDP)字节数、UDP报文数、其他流量字节数、其他流量报文书、WEB流量字节数、WEB流量报文数、TOP10个源IP占总字节比例、TOP10个源IP占总报文数比例、TOP10个目的IP占总字节数比例、TOP10个目的IP占总报文数比例14个部分组成,系统每5分钟产生一个行向量,观测窗口为6小时,从而形成了一个72×14的数量矩阵。由于在这14个观测向量之间存在着一定的相关性,这使得利用较少的变量反映原来变量的信息成为可能。本项目采用了主成份分析法对观测数据进行数据降维和特征提取,下面对该算法的工作原理进行介绍。 2 主成分分析技术主成分分析是一种坐标变换的方法,将给定数据集的点映射到一个新轴上面,这些新轴称为主成分。主成分在代数学上是p 个随机变量X 1, X 2……X p 的一系列的线性组合,在几何学中这些现线性组合代表选取一个新的坐标系,它是以X 1,X 2……X p 为坐标轴的原来坐标系旋转得到。新坐标轴代表数据变异性最大的方向,并且提供对于协方差结果的一个较为简单但更精练的刻画。主成分只是依赖于X 1,X 2……X p 的协方差矩阵,它是通过一组变量的几个线性组合来解释这些变量的协方差结构,通常用于高维数据的解释和数据的压缩。通常p 个成分能够完全地再现全系统的变异性,但是大部分的变异性常常能够只用少量k 个主成分就能够说明,在这种情况下,这k 个主成分中所包含的信息和那p 个原变量做包含的几乎一样多,于是可以使用k 个主成分来代替原来p 个初始的变量,并且由对p 个变量的n 次测量结果所组成的原始数据集合,能够被压缩成为对于k 个主成分的n 次测量结果进行分析。运用主成分分析的方法常常能够揭示出一些先前不曾预料的关系,因而能够对于数据给出一些不同寻常的解释。当使用零均值的数据进行处理时,每一个主成分指向了变化最大的方向。主轴以变化量的大小为序,一个主成分捕捉到在一个轴向上最大变化的方向,另一个主成分捕捉到在正交方向上的另一个变化。设随机向量X '=[X 1,X 1……X p ]有协方差矩阵∑,其特征值λ1≥λ2……λp≥0。考虑线性组合:Y1 =a 1 'X =a 11X 1+a 12X 2……a 1pX pY2 =a 2 'X =a 21X 1+a 22X 2……a 2pX p……Yp =a p'X =a p 1X 1+a p 2X 2……a p pX p从而得到:Var (Yi )=a i' ∑a i ,(i =1,2……p )Cov (Yi ,Yk )=a i '∑a k ,(i ,k =1,2……p )主成分就是那些不相关的Y 的线性组合,它们能够使得方差尽可能大。第一主成分是有最大方差的线性组合,也即它能够使得Var (Yi )=a i' ∑a i 最大化。我们只是关注有单位长度的系数向量,因此我们定义:第1主成分=线性组合a 1'X,在a1'a 1=1时,它能够使得Var (a1 'X )最大;第2主成分=线性组合a 2 'X,在a2'a 2=1和Cov(a 1 'X,a 2 'X )=0时,它能够使得Var (a 2 'X )最大;第i 个主成分=线性组合a i'X,在a1'a 1=1和Cov(a i'X,a k'X )=0(k<i )时,它能够使得Var (a i'X )最大。由此可知主成分都是不相关的,它们的方差等于协方差矩阵的特征值。总方差中属于第k个主成分(被第k个主成分所解释)的比例为:如果总方差相当大的部分归属于第1个、第2个或者前几个成分,而p较大的时候,那么前几个主成分就能够取代原来的p个变量来对于原有的数据矩阵进行解释,而且信息损失不多。在本项目中,对于一个包含14个特征的矩阵进行主成分分析可知,特征的最大变化基本上能够被2到3个主成分捕捉到,这种主成分变化曲线的陡降特性构成了划分正常子空间和异常子空间的基础。3 异常检测算法本项目的异常流量检测过程分为3个阶段:建模阶段、检测阶段和评估阶段。下面对每个阶段的算法进行详细的介绍。3.1 建模阶段本项目采用滑动时间窗口建模,将当前时刻前的72个样本作为建模空间,这72个样本的数据构成了一个数据矩阵X。在试验中,矩阵的行向量由14个元素构成。主成份分为正常主成分和异常主成份,它们分别代表了网络中的正常流量和异常流量,二者的区别主要体现在变化趋势上。正常主成份随时间的变化较为平缓,呈现出明显的周期性;异常主成份随时间的变化幅度较大,呈现出较强的突发性。根据采样数据,判断正常主成分的算法是:依据主成分和采样数据计算出第一主成分变量,求第一主成分变量这72个数值的均值μ1和方差σ1,找出第一主成分变量中偏离均值最大的元素,判断其偏离均值的程度是否超过了3σ1。如果第一主成分变量的最大偏离超过了阈值,取第一主成份为正常主成分,其他主成份均为异常主成分,取主成份转换矩阵U =[L 1];如果最大偏离未超过阈值,转入判断第下一主成分,最后取得U =[L 1……L i -1]。第一主成份具有较强的周期性,随后的主成份的周期性渐弱,突发性渐强,这也体现了网络中正常流量和异常流量的差别。在得到主成份转换矩阵U后,针对每一个采样数据Sk =xk 1,xk 2……xk p ),将其主成份投影到p维空间进行重建,重建后的向量为:Tk =UU T (Sk -X )T计算该采样数据重建前与重建后向量之间的欧氏距离,称之为残差:dk =||Sk -Tk ||根据采样数据,我们分别计算72次采样数据的残差,然后求其均值μd 和标准差σd 。转换矩阵U、残差均值μd 、残差标准差σd 是我们构造的网络流量模型,也是进行流量异常检测的前提条件。 3.2 检测阶段在通过建模得到网络流量模型后,对于新的观测向量N,(n 1,n 2……np ),采用与建模阶段类似的分析方法,将其中心化:Nd =N -X然后将中心化后的向量投影到p维空间重建,并计算残差:Td =UUTNdTd =||Nd -Td ||如果该观测值正常,则重建前与重建后向量应该非常相似,计算出的残差d 应该很小;如果观测值代表的流量与建模时发生了明显变化,则计算出的残差值会较大。本项目利用如下算法对残差进行量化:3.3 评估阶段评估阶段的任务是根据当前观测向量的量化值q (d ),判断网络流量是否正常。根据经验,如果|q (d )|<5,网络基本正常;如果5≤|q (d )|<10,网络轻度异常;如果10≤|q (d )|,网络重度异常。4 实验结果分析利用863-917网络安全监测平台,对北京电信骨干网流量进行持续监测,我们提取6小时的观测数据,由于篇幅所限,我们给出图1—4的时间序列曲线。由图1—4可知单独利用任何一个曲线都难以判定异常,而利用本算法可以容易地标定异常发生的时间。本算法计算结果如图5所示,异常发生时间在图5中标出。我们利用863-917平台的回溯功能对于异常发生时间进行进一步的分析,发现在标出的异常时刻,一个大规模的僵尸网络对网外的3个IP地址发起了大规模的拒绝服务攻击。 5 结束语本文提出一种基于主成分分析的方法来划分子空间,分析和发现网络中的异常事件。本方法能够准确快速地标定异常发生的时间点,从而帮助网络安全应急响应部门及时发现宏观网络的流量异常状况,为迅速解决网络异常赢得时间。试验表明,我们采用的14个特征构成的分析矩阵具有较好的识别准确率和分析效率,我们接下来将会继续寻找更具有代表性的特征来构成数据矩阵,并研究更好的特征矩阵构造方法来进一步提高此方法的识别率,并将本方法推广到短时分析中。6 参考文献[1] XU K, ZHANG Z L, BHATTACHARYYA S. Profiling Internet backbone traffic: Behavior models and applications [C]// Proceedings of ACM SIGCOMM, Aug 22- 25, 2005, Philadelphia, PA, USA. New York, NY,USA:ACM,2005:169-180.[2] HAWKINS D M, QQUI P, KANG C W. The change point model for statistical process control [J]. Journal of Quality Technology,2003, 35(4).[3] THOTTAN M, JI C. Anomaly detection in IP networks [J]. IEEE Transactions on Signal Processing, 2003, 51 )8):2191-2204.[4] BARFORD P, KLINE J, PLONKA D, et al. A signal analysis of network traffic anomalies [C]//Proceedings of ACM SIGCOMM Intemet Measurement Workshop (IMW 2002), Nov 6-8, 2002, Marseilles, France. New York, NY,USA:ACM, 2002:71-82.[5] LAKHINA A, CROVELLA M, DIOT C. Mining anomalies using traffic feature distributions [C]// Proceedings of SIGCOMM, Aug 22-25, 2005, Philadelphia, PA, USA. New York, NY,USA: ACM, 2005: 217-228.[6] LAKHINA A, CROVELLA M, DIOT C. Diagnosing network-wide traffic anomalies [C]// Proceedings of ACM SIGCOMM, Aug 30 - Sep 3, 2004, Portland, OR, USA. New York, NY,USA: ACM, 2004: 219-230.[7] SCHWELLER R, GUPTA A, PARSONS E, et al. Reversible sketches for efficient and accurate change detection over network data streams [C]//Proceedings of ACM SIGCOMM Internet Measurement Conference (IMC’04), Oct 25-27, 2004, Taormina, Sicily, Italy. New York, NY,USA: ACM, 2004:207-212.[8] MAHONEY M V, CHAN P K. Learning rules for anomaly detection of hostile network traffic [C]// Proceedings of International Conference on Data Mining (ICDM’03), Nov 19-22, Melbourne, FL, USA . Los Alamitos, CA, USA: IEEE Computer Society, 2003:601-604.

㈤ 对于入侵检测,统计异常检测方法和特征选择异常检测方法有什么区别

统计异常检测的方法用的是特征轮廓的异常值加权,而特征选择异常检测方法用的是特征空间构成入侵的子集来判断是否入侵。

这里ai表示与度量Mi的相关权重。一般而言,变量M1,M2…Mi 不是相互独立的,需要更复杂的函数处理其相关性。异常性测量值仅仅是数字,没有明确的理论依据支持这种处理方式。例如,使用多个独立的异常性变量作为结合的依据,概率计算在理论上是正确的。但是,异常性测量和贝叶斯概率计算之间的关系并不是很清晰的。常见的几种测量类型通常包括:



统计异常检测方法的优点是所应用的技术方法在统计学中已经得到很好的研究。例如,位于标准方差两侧的数据可认为是异常的。但统计入侵检测系统有以下几点不足:



特征选择异常检测方法

特征选择异常检测方法是通过从一组度量中挑选能检测出入侵的度量构成子集来准确地预测或分类已检测到的入侵。判断符合实际的度量是复杂的,因为合适地选择度量子集依赖于检测到的入侵类型,一个度量集对所有的各种各样的入侵类型不可能是足够的。预先确定特定的度量来检测入侵可能会错过单独的特别的环境下的入侵。最理想的检测入侵度量集必须动态地决策判断以获得最好的效果。假设与入侵潜在相关的度量有n 个,则这n个度量构成的子集数是2^n 个 。由于搜索空间同度量数是指数关系,所以穷尽搜索最理想的度量子集的开销不是很有效的。Maccabe提出遗传方法来搜索整个度量子空间以寻找正确的度量子集。其方法是使用学习分类器方法生成遗传交叉算子和基因突变算子,除去降低预测入侵的度量子集,而采用遗传算子产生更强的度量子集取代。这种方法采用与较高的预测度量子集相结合,允许搜索的空间大小比其它的启发式搜索技术更有效。

㈥ q空间诊断空间异常怎么办

QQ空间显示异常解决方法/步骤:

方法一:

1:可下载腾讯电脑管家并安装。

2:然后进入电百脑管家窗口,点击度电脑诊所。

3:在弹出的窗口中,选择腾讯专区中的QQ空间。

4:点击QQ空间无法正常显示,选择立即修复,这时会弹出一个小窗口,选择确定知就会立即修复了。

5:修复好后,再进入QQ空间,则会发现一切都正常了。(注:电脑网速过慢时,道也会导致网页不能正常显示)

方法二:

1:单击IE的“工具”菜单→“Internet选项”→“常规”选项卡。

2:再点内击“删除Cookies”按钮,清除Cookies后,接着单击“删除文件”按钮并单击“删除所有脱机内容”,然后单击“确定”。

3:等IE的临时文件删除完成后,按F5键刷新QQ空间容,此时QQ空间就能正常显示了。

㈦ 入侵检测系统异常检测方法有什么

入侵检测技术基础 1. IDS(入侵检测系统)存在与发展的必然性 (1)网络安全本身的复杂性,被动式的防御方式显得力不从心。(2)有关供触垛吠艹杜讹森番缉防火墙:网络边界的设备;自身可以被攻破;对某些攻击保护很弱;并非所有威胁均来自防火墙外部。(3)入侵很容易:入侵教程随处可见;各种工具唾手可得 2. 入侵检测(Intrusion Detection) ●定义:通过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分析,从中发现网络或系统中是否有违反安全策略的行为和遭到袭击的迹象的一种安全技术。入侵检测的分类(1)按照分析方法/检测原理分类 ●异常检测(Anomaly Detection):基于统计分析原理。首先总结正常操作应该具有的特征(用户轮廓),试图用定量的方式加以描述,当用户活动与正常行为有重大偏离时即被认为是入侵。前提:入侵是异常活动的子集。指标:漏报率低,误报率高。用户轮廓(Profile):通常定义为各种行为参数及其阀值的集合,用于描述正常行为范围。特点:异常检测系统的效率取决于用户轮廓的完备性和监控的频率;不需要对每种入侵行为进行定义,因此能有效检测未知的入侵;系统能针对用户行为的改变进行自我调整和优化,但随着检测模型的逐步精确,异常检测会消耗更多的系统资源 ●误用检测(Misuse Detection):基于模式匹配原理。收集非正常操作的行为特征,建立相关的特征库,当监测的用户或系统行为与库中的记录相匹配时,系统就认为这种行为是入侵。前提:所有的入侵行为都有可被检测到的特征。指标:误报低、漏报高。攻击特征库:当监测的用户或系统行为与库中的记录相匹配时,系统就认为这种行为是入侵。特点:采用模式匹配,误用模式能明显降低误报率,但漏报率随之增加。攻击特征的细微变化,会使得误用检测无能为力。

㈧ QQ空间异常诊断恢复失败怎么办

qq空间异常诊断恢复失败方法如下:

1、先查看网络连接是否正常。方法是右键打开桌面上的网络,点击属性,点击宽带连接,会出现网络连接的数据。也可借助360安全卫士或者qq电脑管家测网速来查看网络连接是否正常。

5、还可以清除IE缓存,方法如下:打开IE浏览器→点击【工具】→ 【Internet 选项】→【删除】:2. 勾选所有选项→点击【确定】→ 在确认窗口中点击【确定】。

㈨ 神经网络异常检测方法和机器学习异常检测方法对于入侵检测的应用

神经网络异常检测方法

神经网络入侵检测方法是通过训练神经网络连续的信息单元来进行异常检测,信息单元指的是命令。网络的输入为用户当前输入的命令和已执行过的W个命令;用户执行过的命令被神经网络用来预测用户输入的下一个命令,如下图。若神经网络被训练成预测用户输入命令的序列集合,则神经网络就构成用户的轮郭框架。当用这个神经网络预测不出某用户正确的后继命令,即在某种程度上表明了用户行为与其轮廓框架的偏离,这时表明有异常事件发生,以此就能作异常入侵检测。


上面式子用来分类识别,检测异常序列。实验结果表明这种方法检测迅速,而且误警率底。然而,此方法对于用户动态行为变化以及单独异常检测还有待改善。复杂的相似度量和先验知识加入到检测中可能会提高系统的准确性,但需要做进一步工作。

阅读全文

与空间异常检测算法相关的资料

热点内容
python怎么调用knn 浏览:807
excel怎么保存pdf 浏览:68
模拟退火算法matlab代码 浏览:115
算法工程师年龄大了以后怎么办 浏览:261
人教版高中化学pdf 浏览:706
pic单片机网口编程 浏览:25
大学必须学python吗 浏览:870
养什么植物解压 浏览:464
华为云服务器怎么装 浏览:481
ensp查看配置好的命令 浏览:85
短视频推荐系统python 浏览:805
加密超级大师怎么恢复文件 浏览:274
浏览器下载图片解压失败 浏览:197
android抢单 浏览:22
电信用联通游戏服务器地址 浏览:75
安卓缺什么软件 浏览:221
安卓app如何植入群号 浏览:765
php排序按钮 浏览:637
php位异或运算 浏览:866
服务器共享型有什么坏处 浏览:28