pythonica分析

Ⅰ ICA有哪些應用

ica的應用：
ICA 的主要應用是特徵提取、盲源信號分離]、生理學數據分析]、語音
信號處理、圖像處理及人臉識別等. 在這部分, 我們綜述一下ICA 的主要應用範例.
1在腦磁圖(MEG) 中分離非自然信號
腦磁圖是一種非擴散性的方法. 通過它, 活動或者腦皮層的神經元有很好的時間解析度
和中等的空間解析度. 作為研究和臨床的工具使用M EG 信號時, 研究人員面臨著在有非自
然信號的情況下提取神經元基本特徵的問題. 干擾信號的幅度可能比腦信號的幅度要高, 非
自然信號在形狀上像病態信號. 在文獻[36 ]中, 作者介紹了一種新的方法( ICA ) 來分離腦活
動和非自然信號. 這種方法是基於假設: 腦活動和非自然信號(像眼的運動或眨眼或感測器
失靈) 是解剖學和生理學上的不同過程, 這種不同反映在那些過程產生的磁信號間的統計獨
立性上. 在這之前, 人們用腦電圖(EEG) 信號進行過試驗[ 37 ] , 相關的方法見文獻[43 ].
試驗結果表明, ICA 能很好地從M EG 信號里分離出眼運動及眨眼時的信號, 還能分離
出心臟運動、肌肉運動及其它非自然信號. Fast ICA 演算法是一個很合適的演算法, 因為非自然
信號的去除是一個互動式的方法, 研究者可以很方便地選擇他所想要的獨立成分的數目. 除
了減少非自然信號外, ICA 還能分解激活區[ 38 ] , 使我們直接訪問基本的腦功能成為可能. 這
一點在神經科學的研究領域將很可能起非常重要的作用, 我們也正從事將ICA 運用到fM 2
R I 數據分析這方面的工作.
2在金融數據中找到隱藏的因素
將ICA 用在金融數據中是一個探索性的工作. 在這個應用中存在許多情況(並行的時
間序列) , 例如流通交易率或每日的股票成交量, 這里存在一些基本的因素, ICA 可以揭示一
些仍隱藏著的驅動機制. 在近年來的證券研究中, 人們發現ICA 是對PCA 的一種補充工
具, 它允許數據的基本結構能更輕易地觀察得到. 在文獻[ 44 ]中, 將ICA 用在了不同的問題
上, 屬於同一個銷售鏈的商店的現金流量, 盡量找到對現金流量數據有影響的一些基本因
素. 對獨立成分的假設有可能不現實, 例如假期和年度的變化, 顧客購買力的變化, 政府和經
營策略(像廣告) 等等因素, 通通假設它們之間是相互獨立的. 通過ICA , 利用現金流量時間
序列數據, 能分離出一些基本的影響因素和它們的權重, 並且以此還能對商店進行分組. 對
於試驗和解釋, 詳細情況請參見文獻[44 ].
3自然圖像中減少雜訊
第三個例子是為自然圖像找到ICA 過濾器. 它是基於ICA 分解, 從被高斯噪音污染的
自然圖像中去掉雜訊. 文獻[45 ]採用了一些數字的自然圖像, 向量x 代表了圖像窗口的像素
(灰度) 值. 注意, 相對前面的兩個應用, 這次考慮的不是多值的時間序列或圖像隨時間而改
變, 相反元素x 已經由圖像窗口的位置固定不變了. 采樣窗口采樣的是隨機位置, 窗口的
22D 結構在這里並不重要, 一行一行的掃描整幅圖像使其變成像素值的向量. 實驗結果發
現, 沒有經過邊界的模糊及銳化操作, 窗口的大部分雜訊被去掉了, 詳細的情況參見文獻
當前去雜訊方式有許多, 例如先作DFT 變換, 然後在作低通濾波, 最後作IDFT 恢復圖像, 這種方式不是很有效. 較好的方法是近年來發展起來的小波收縮方法(它用到了小
波變換) 和中值濾波. 但這些對圖像統計量來說並沒有很好的優越性. 近年來又發展了一
種統計原理的方法, 叫稀疏代碼收縮法 , 該方法與獨立成分分析法非常接近.
4人臉識別
人臉識別從20 世紀70 年代開始一直是一個很活躍而且很重要的研究領域, 當時比較
常用的方法是主成分分析(PCA ) 和本徵臉. 後來,Bart let t 和Sejnow sk i 提議用ICA 來表示
人臉.
將ICA 運用到人臉識別, 隨機變數為訓練的圖像. x i表示一個人臉的圖像. 用m 個隨機
變數來構造一個訓練圖像集{x1, x2, ⋯, xm }, 這些隨機變數被假設為n 個未知獨立成分s1,
⋯, sn的線性組合. 採用前面所講過的矩陣的記法: X = (x1, x2, ⋯, xm ) T , S = (s1, s2, ⋯, sn ) T ,
則有X = A S. 從這個表達式可看出, 每個圖像x i由s1, s2, ⋯, sn與ai1, ⋯, ain的線性組合來表
示. 因此, 混合矩陣A 也稱特徵矩陣, 可看作是所有訓練圖像的特徵. 與PCA 相比, ICA 有
如下幾個優點: 1) ICA 是從訓練信號里去高階統計量的相關性, 而PCA 則只對二階統計
量去相關性; 2) ICA 基向量比PCA 基向量在空間上更局部化, 而局部特徵對人臉表示很
重要; 3) 實踐證明, ICA 基向量識別精度比PCA 要高. 為此, ICA 可以作為模式識別分類
的一個預處理步驟.
5圖像分離
我們曾用Fast ICA 演算法將三幅混合圖像進行了成功的分離. 模擬結果表明, 原圖像與
分離出來的圖像十分相似, 而且每次迭代的次數不超過15 次, 計算量非常小. 下一步, 我們
的的工作是對快速定點演算法進行改進, 爭取在節省內存方面取得一定的成效.
6語音信號處理
ICA 最經典的應用是「雞尾酒會「問題. 在n 個麥克風記錄的n 個聲音源中, 通常僅僅希
望得到其中感興趣的一個聲音源, 而把其他的聲音源視為雜訊. 如果僅一個麥克風, 我們可
以用普通的去雜訊方法來去雜訊, 例如, 線性濾波, 小波或稀疏碼收縮方法. 當然, 這種去噪
聲的方法不是很令人滿意. 我們能利用多個麥克風來收集更多的數據, 以便更有效的去噪
聲. 因為在現場麥克風的位置是任意的, 而且混合過程也未知, 為此必須實行盲估計. 採用的
方法就是, 盲源信號分離中的一種, 即ICA 方法.
7遠程通信
最後, 提一下另外一個很有潛力的應用——遠程通信. 實時通信的應用例子是, 在CD2
MA 移動通迅[ 48 ]里, 從有其他用戶干擾的信號里分離用戶自己的聲音. 這個問題從某種意
義上說, 在CDMA 數據模型中預先給出了一些優先信息. 但是需估計的參數數目很大, 因此
選定某種合適的信號分離方法, 它考慮了這種優先信息, 從而產生了比傳統估計方法更優越
的性能.

Ⅱ 為什麼要進行知識建模,知識建模的方法是什麼

1.為什麼要進行知識建模:因為知識建模通常是知識的邏輯體系化過程,主要指應用知識來解決各種工程問題，自動完成工程中各種繁瑣和重復的工作。

2.知識建模的方法:

一、主成分分析

降維，找到數據中的主成分，並利用這些主成分表徵原始數據，從而達到降維的目的。

1. 對樣本數據進行中心化處理；

2. 求樣本協方差矩陣；

3. 對協方差矩陣進行特徵值分解，將特徵值從大到小排列；

4. 取特徵值前 n 個最大的對應的特徵向量 W1, W2, …, Wn ，這樣將原來 m 維的樣本降低到 n 維。

通過 PCA ，就可以將方差較小的特徵給拋棄，這里，特徵向量可以理解為坐標轉換中新坐標軸的方向，特徵值表示在對應特徵向量上的方差，特徵值越大，方差越大，信息量也就越大。這也是為什麼選擇前 n 個最大的特徵值對應的特徵向量，因為這些特徵包含更多重要的信息。

PCA 是一種線性降維方法，這也是它的一個局限性。不過也有很多解決方法，比如採用核映射對 PCA 進行拓展得到核主成分分析(KPCA)，或者是採用流形映射的降維方法，比如等距映射、局部線性嵌入、拉普拉斯特徵映射等，對一些 PCA 效果不好的復雜數據集進行非線性降維操作。

二、線性判別分析：還需要一個投影方向，適合帶類別信息。

三、獨立成分分析：PCA特徵轉換降維，提取的是不相關的部分，ICA獨立成分分析，獲得的是相互獨立的屬性。ICA演算法本質尋找一個線性變換 z = Wx，使得 z 的各個特徵分量之間的獨立性最大。

四、隨機森林：集成思想，涉及到決策樹和集成學習，將若干個弱分類器的分類結果進行投票選擇，從而組成一個強分類器。

隨機森林的既可以用於回歸也可以用於分類任務，並且很容易查看模型的輸入特徵的相對重要性。隨機森林演算法被認為是一種非常方便且易於使用的演算法，因為它是默認的超參數通常會產生一個很好的預測結果。超參數的數量也不是那麼多，而且它們所代表的含義直觀易懂。隨機森林有足夠多的樹，分類器就不會產生過度擬合模型。由於使用大量的樹會使演算法變得很慢，並且無法做到實時預測。一般而言，這些演算法訓練速度很快，預測十分緩慢。越准確的預測需要越多的樹，這將導致模型越慢。在大多數現實世界的應用中，隨機森林演算法已經足夠快，但肯定會遇到實時性要求很高的情況，那就只能首選其他方法。當然，隨機森林是一種預測性建模工具，而不是一種描述性工具。也就是說，如果您正在尋找關於數據中關系的描述，那建議首選其他方法。

五、FP-growth演算法：FP代表頻繁模式（Frequent Pattern）。
這里有幾點需要強調一下：
第一，FP-growth演算法只能用來發現頻繁項集，不能用來尋找關聯規則。
第二，FP-growth演算法發現頻繁集的效率比較高，Apriori演算法要對於每個潛在的頻繁項集都會掃描數據集來判定是否頻繁，FP-growth演算法只需要對數據集進行兩次掃描。這種演算法的執行速度要快於Apriori，通常性能要好兩個數量級以上。
第三，FP-growth演算法基於Apriori演算法構建，在完成相同任務的時候採用了一些不同技術。
發現頻繁項集的基本過程：
1、構建FP樹
2、從FP樹中挖掘頻繁項集
優點：一般要快於Apriori
缺點：實現比較困難，在某些數據集上性能會下降。
適用數據類型：標稱型數據。

六、粒子群演算法：優化、最優解

七、靈敏度分析：線性規劃問題

八、層次分析法：主要用於決策、確定權重

九、模擬退火演算法：在解空間隨機尋找目標函數的全局最優解

十、遺傳演算法：最優解，將方程求解問題轉化為生存問題。

十一、幾種問題：

P問題：P類問題就是所有復雜度為多項式時間的問題的集合。

NP問題：可以在多項式時間內驗證一個解是否正確的問題稱為NP問題。（它包括P問題）

十二、機理分析法：機理分析是根據對現實對象特性的認識，分析其因果關系，找出反映內部機理的規律。機理分析建模常用：常微分方程、偏微分方程、邏輯方法、比例方法、代數方法

建立微分方程模型時應用已知物理定律，可事半功倍。也可利用平衡與增長式微元法或者分析法。

求解常微分方程模型的常用方法：微分方程的數值解、微分方程的定性分析。

常微分方程數值解的定義：

在生產和科研中所處理的微分方程往往很復雜,且大多得不出一般解。而實際問題中對初值問題的求解，一般是要求得到在若干個點上滿足規定精確度的近似值，或者得到一個滿足精確度要求的便於計算的表達式。

建立數值解法的一些途徑：

Ø 用差商代替導數

Ø 使用數值積分

Ø 使用泰勒公式，以此方法為基礎，有龍格-庫塔法、線性多步法等方法。

Ø 數值公式的精度

歐拉法是一階公式，改進的歐拉法是二階公式．

龍格-庫塔法有二階公式和四階公式．

線性多步法有四階亞當斯外插公式和內插公式．

雖然動態過程的變化規律一般要用微分方程建立的動態模型來描述，但是對於某些實際問題，建模的主要目的並不是要尋求動態過程每個瞬時的性態，而是研究某種意義下穩定狀態的特徵，特別是當時間充分長以後動態過程的變化趨勢。譬如在什麼情況下描述過程的變數會越來越接近某些確定的數值，在什麼情況下又會越來越遠離這些數值 而導致過程不穩定。

為了分析這種穩定與不穩定的規律常常不需要求解微分方程，而可以利用微分方程穩定性理論，直接研究平衡狀態的穩定性就行了。

十三、動態規劃： 動態規劃是用來解決多階段決策過程最優化的一種數量方法。其特點在於，它可以把一個n 維決策問題變換為幾個一維最優化問題，從而一個一個地去解決。

需指出：動態規劃是求解某類問題的一種方法，是考察問題的一種途徑，而不是一種演算法。必須對具體問題進行具體分析，運用動態規劃的原理和方法，建立相應的模型，然後再用動態規劃方法去求解。

多階段線性規劃典型為：1、生產決策問題2、機器負荷分配問題

能用動態規劃方法求解的多階段決策過程是一類特殊的多階段決策過程，即具有無後效性的多階段決策過程。

十四、有限差分方法：有限差分法求解流動控制方程的基本過程是：首先將求解區域劃分為差分網格，用有限個網格點代替連續的求解域，將待求解的流動變數（如密度、速度等）存儲在各網格點上，並將偏微分方程中的微分項用相應的差商代替，從而將偏微分方程轉化為代數形式的差分方程，得到含有離散點上的有限個未知變數的差分方程組。求出該差分方程組的解，也就得到了網格點上流動變數的數值解。

十六、幾種特徵工程技巧：

（1） 數據分箱

（2） 獨熱編碼

（3） 特徵哈希

（4） 嵌套法

（5） 取對數

（6） 特徵縮放與標准化

（7） 特徵交互

Ⅲ 人工智慧的全部語言國外都開源了嗎

人工智慧有很多語言演算法的,都開源

個體學習器 Indivial learner

指示函數 Indicator function

獨立成分分析 Independent Component Analysis/ICA

獨立同分布 Independent and identically distributed/i.i.d.

增量學習 Incremental learning

等等,更多人工智慧演算法網頁鏈接

Ⅳ ica獨立成分分析是升維還是降維

ica獨立成分分析是升維還是降維
獨立成分分析近年來廣泛應用於人臉識別等模式領域。首先對人臉圖像進行預處理降維，然後利用ICA 演算法獲得人臉影像獨立基成分，利用人臉影像獨立基來構造一個子空間，最後利用待識別圖像在這個空間上的投影進行人臉識別。針對訓練樣本個數，訓練...

Ⅳ 盲源分離的概述

盲源信號分離是一種功能強大的信號處理方法，在生物醫學信號處理，陣列信號處理，語音信號識別，圖像處理及移動通信等領域得到了廣泛的應用。
盲源分離（BSS：Blind source separation），是信號處理中一個傳統而又極具挑戰性的問題，BSS指僅從若干觀測到的混合信號中恢復出無法直接觀測的各個原始信號的過程，這里的「盲」，指源信號不可測，混合系統特性事先未知這兩個方面。在科學研究和工程應用中，很多觀測信號都可以看成是多個源信號的混合，所謂雞尾酒會問題就是個典型的例子。其中獨立分量分析ICA（Independent component analysis）是一種盲源信號分離方法，它已成為陣列信號處理和數據分析的有力工具，而BSS比ICA適用范圍更寬。目前國內對盲信號分離問題的研究，在理論和應用方面取得了很大的進步，但是還有很多的問題有待進一步研究和解決。

Ⅵ ica是什麼意思

ica是獨立成分分析。

在信號處理中，獨立成分分析（ICA）是一種用於將多元信號分離為加性子分量的計算方法。這是通過假設子分量是非高斯信號，並且在統計上彼此獨立來完成的。ICA是盲源分離的特例。一個常見的示例應用程序是在嘈雜的房間中聆聽一個人的語音的「雞尾酒會問題」。

相關信息：

ICA(Independent Component Correlation Algorithm)是一種函數，X為n維觀測信號矢量，S為獨立的m（m<=n)維未知源信號矢量，矩陣A被稱為混合矩陣。ICA的目的就是尋找解混矩陣W（A的逆矩陣），然後對X進行線性變換，得到輸出向量U。

最簡單的即為最近鄰分類器用距離參數表示訓練集模板與測試樣本的差異，認為測試樣本與滿足最小距離的訓練樣本屬於同一種表情。

Ⅶ 怎樣看獨立成分分析ICA結果

K-L 變換，也就是PCA，得到的是MSE下的最優結構，但有時對於分類效果並不是很好。所以我們引入了ICA。如果是PCA是使二階積累量為0的話，那麼ICA就是前四階積累量都是0.那ICA是什麼意思呢？

類別信息的源頭是一組獨立的分量，但是類別信息表現出來的是一組互相相關的分量，當然這組分量的個數應該大於獨立分量的個數。我們的任務就是去除這種互相關；使分量由相關的一組，變為無關的一組，也就是獨立成分。

那具體該怎麼做呢？我們一下有這么三個方法:

(一)累積量法

k1(z) = E[zi] ;

k2(z) = E[zizj] ;

k3(z) = E[zizizk] ;

k4(z) = E[zizjzkzl] - E[zizj] E[zkzl] - E[zizk] E[zlzj] - E[zizl] E[zkzj];

對於一般的隨即變數，PDF（概率密度函數）都是對稱分布的。所以k1和k3為0.
那麼，要使k2為0，我們舊的使用主成分分析就好，也就是PCA。所以第一步就是先做PCA，求的PCA的線性變換矩陣。
y = Ax
第二步，我們要做的是進行k4的最小化， 根據數學可知，k4的最小化，也就是求一個正交矩陣，使下面的式子最大。(交叉積累量最小也就是自積累量最大。)
max Obj(B) = SUM(k4(yi)2)
之後結合上述信息，我們有：x = (BA)y. ICA變換矩陣 W = BA。
（2）最大熵法
你可能會問，我們要降低特徵的維數，這是壓縮，為什麼還要最大化熵呢？壓縮的話不是熵越小越好么？
的確，熵越小表示壓縮效果越好，但那是無損壓縮；對於本身我們已經確定下壓縮能力的有損壓縮模型而言，最大的接近原有的熵就意味著最大的保留了信息。所以我們用最大化熵的辦法。
其中：z = f(Wy + b); f 為Sigmoid函數。
（公式比較復雜，我就不寫了）
結果還是用迭代優化的演算法：
dW = (WT)-1 + (1 - 2z)yT
db = 1 - 2z
（3）最小互信息法
原理和（2）比較像，這里從略。

Ⅷ ica得到的各獨立成分的方差相同嗎

ica的應用： ICA 的主要應用是特徵提取、盲源信號分離]、生理學數據分析]、語音信號處理、圖像處理及人臉識別等. 在這部分, 我們綜述一下ICA 的主要應用範例. 1在腦磁圖(MEG) 中分離非自然信號腦磁圖是一種非擴散性的方法. 通過它, 活動或者腦皮層的神經元有很好的時間解析度和中等的空間解析度. 作為研究和臨床的工具使用M EG 信號時, 研究人員面臨著在有非自然信號的情況下提取神經元基本特徵的問題. 干擾信號的幅度可能比腦信號的幅度要高, 非自然信號在形狀上像病態信號. 在文獻[36 ]中, 作者介紹了一種新的方法( ICA ) 來分離腦活動和非自然信號. 這種方法是基於假設: 腦活動和非自然信號(像眼的運動或眨眼或感測器失靈) 是解剖學和生理學上的不同過程, 這種不同反映在那些過程產生的磁信號間的統計獨立性上. 在這之前, 人們用腦電圖(EEG) 信號進行過試驗[ 37 ] , 相關的方法見文獻[43 ]. 試驗結果表明, ICA 能很好地從M EG 信號里分離出眼運動及眨眼時的信號, 還能分離出心臟運動、肌肉運動及其它非自然信號. Fast ICA 演算法是一個很合適的演算法, 因為非自然信號的去除是一個互動式的方法, 研究者可以很方便地選擇他所想要的獨立成分的數目. 除 ...

Ⅸ 如何在 python 中模擬 post 表單來上傳文件

我比較喜歡用requests模塊，這是第三方模塊，需要自行安裝。

安裝方法如下：

C:UsersAdministrator>pip install requests

這個的關鍵是首先分析出post參數的值，我使用firefox的firebug插件的。

importrequests

xfid='12345678'

str1="/Q9kFgICAQ8PFgIfAAV75Y+/+6Zeu6"

str2="/fbMdfSobes="

url='http://*************/SZ_Result.aspx?infoid='+xfid
data={
'__EVENTTARGET':'',
'__EVENTARGUMENT':'',
'__LASTFOCUS':'',
'__VIEWSTATE':str1,
'__VIEWSTATEGENERATOR':'6FD494A2',
'__EVENTVALIDATION':str2,
'DropDownList1':'滿意',
'DropDownList2':'滿意',
'Button1':'提交',
'HiddenField1':xfid,
}
html=requests.get(url)
html_post=requests.post(url,data=data)
print'DONE!!!!'

這樣就完成post傳值了。

上面的代碼是示例代碼，是不能夠直接執行的。

Ⅹ 用ica實現盲源分離的python程序嗎

經常有人在群里問，運維人員需不需要學開發？需不需要學 PYTHON ？ PYTHON 和 SHELL 有什麼區別？天天問這種好水的問題，我實在受不了，決定幫大家掃掃盲，求求新手們，以後別他媽瞎問了。

現階段，掌握一門開發語言已經成為高級運維工程師的必備計能，不會開發，你就不能充分理解你們系統的業務流程，你就不能幫助調試、優化開發人開發的程序， 開發人員有的時候很少關注性能的問題，這些問題就得運維人員來做，一個業務上線了，導致 CPU 使用過高，內存佔用過大，如果你不會開發，你可能只能查到進程級別，也就是哪個進程佔用這么多，然後呢？然後就交給開發人員處理了，這樣咋體現你的價值？

另外，大一點的公司，伺服器都上幾百，上千，甚至數萬台，這種情況下怎樣做自動化運維？用 SHELL 寫腳本 FOR 循環？呵呵，歇了吧， SHELL 也就適合簡單的系統管理工作。到復雜的自動化任務還得要用專門的開發語言。你可能說了，自動化管理有專門的開源軟體＼監控也有，直接拿來用下就好了，但是現有的開源軟體如 puppet\saltstack\zabbix\nagio 多為通用的軟體，不可能完全適用你公司的所有需求，當你需要做定製、做二次開發的時候，你咋辦？找開發部門？開發部門不懂運維的實際業務邏輯，寫出來的東西爛爛不能用，這活最後還得交給運維開發人員來做。

其次，不會運維開發，你就不能自己寫運維平台＼復雜的運維工具，一切要藉助於找一些開源軟體拼拼湊湊，如果是這樣，那就請不要抱怨你的工資低，你的工作不受重視了。

為什麼要學 PYTHON ？

PYTHON 第一是個非常牛 B 的腳本語言， 能滿足絕大部分自動化運維的需求，又能做後端 C/S 架構，又能用 WEB 框架快速開發出高大上的 WEB 界面，只有當你自已有能力做出一套運維自動化系統的時候，你的價值才體現出來，你才有資格跟老闆談重視， 否則，還是老老實實回去裝機器吧。

運維開發為什麼要用 PYTHON ？

Good question, 為什麼不用 PHP ， JAVA ， C++ ， RUBY ，這里我只能說，見人見智， 如果你碰巧已經掌握了除 PYTHON 之外的其它語言，那你愛用啥用啥，如果你是一個連 SHELL 都還沒寫明白的新手，想學個語言的話，請用 PYTHON ， 為什麼呢？首先， PHP 是跟 PYTHON 比的最多的，其實他倆根本就不用比，為什麼呢？兩個語言適用性不同， PHP 主要適用於 WEB 開發，可以迅速的做出中小型，輕量級的 WEB 網站，但後端嘛，基本還是要藉助其它語言， 藉助什麼語言呢？ SHELL ？ PYTHON ？呵呵。 而 PYTHON 呢， 是個綜合語言， 前後端都可以，單拿出來比 WEB ，也一點不比 PHP 差，但為什麼WEB方向上 PHP 比 PYTHON 要火？ 先入為主嘛， PHP 90 年代誕生就是做 WEB 的， PYTHON2000 年後才出現 WEB 框架，但論優秀程度上， PYTHON 的 WEB 框架基本上出其無左，至少是跟 PHP 比。