1. 如何在win7中安裝ipython，並且設置環境變數
在caffe中，經常需要可視化卷積神經網路的feature map及各層的濾波器，Python可視化是一個不錯的選擇，ipython notebool的安裝具體如下，本文採用python2.7.6進行安裝，因為這個python版本比較穩定，python3.4.3安裝會出現些問題：
1. 下載安裝Python2.7.6
2. 設置環境變數
把c:\Python27添加到環境變數中.
3. 下載安裝pip
下載get_pip.py 到某一個目錄(如: f:\get-pip.py), 下載地址: http://www.pip-installer.org/en/latest/installing.html#install-or-upgrade-setuptools
安裝: 進入f:\, 運行:
python get-pip.py
在這個過程中, 系統會連接網路下載所需要的安裝包並完成安裝
4. 設置環境變數
把c:\Python27\Scripts 添加到環境變數中
作完前面四步, 就可以在Windows下面開始使用Python了.
1. 下載安裝IPython:
c:>pip install ipython
系統就會去網上尋找ipython的包, 進行下載及安裝. 等待差不多5分鍾, 整個安裝就完成了, 並且還把pyreadline也安裝了. ipython3.exe被安裝在c:\Python27\Scripts下面, 因為前面添加過環境變數的路徑支持, 所以可以直接輸入:
c:>ipython
2. 嘗試Notebook, 還需要下載一些其它咚咚
1) 下載安裝 pyzmq
c:>pip install pyzmq
2) 下載安裝 jinja2,
c:>pip install jinja2
3) 下載安裝 tornado,
c:>pip install tornado
好了，使用下面命令就可以把Notebook起來：
c:>ipython notebook
如果出現
ImportError: No mole named notebook.notebookapp
則
pip install jupyter
3. 嘗試科學計算的畫圖工具matplotlib
1) 下載安裝nose
c:>pip install nose
2) 下載numpy-1.11.1+mkl-cp27-cp27m-win_amd64.whl到f:\
f:>pip install numpy-1.11.1+mkl-cp27-cp27m-win_amd64.whl, 此步驟會安裝numpy和mkl
3)安裝 matplotlib-1.2.0.win-amd64-py3.3.exe
4) 安裝Scipy. 依舊到這個網站http://www.lfd.uci.e/~gohlke/pythonlibs/#scipy-stack 下載 scipy-0.13.2.win-amd64-py3.3.exe
好了, 這就大功告成了.
5) 運行ipython notebook， 如果出現
AttributeError: 'mole' object has no attribute 'PY2'
則執行pip uninstall six; pip install six; 重新安裝six，大功告成
=====================================
在notebook中, 試試下面的程序:
================================
import numpy as np
from scipy.ndimage import filters
import io
import matplotlib
import matplotlib.image as mpimg
img = np.zeros((300, 300))
img[np.random.randint(0, 300, 1000), np.random.randint(0, 300, 1000)] = 255
img2 = filters.gaussian_filter(img, 4, order=2)
import io
import matplotlib
import matplotlib.image as mpimg
from IPython import display
buf = io.BytesIO()
matplotlib.image.imsave(buf, img2, cmap="gray")
display.Image(buf.getvalue())
2. 從零開始用Python構建神經網路
從零開始用Python構建神經網路
動機：為了更加深入的理解深度學習，我們將使用 python 語言從頭搭建一個神經網路，而不是使用像 Tensorflow 那樣的封裝好的框架。我認為理解神經網路的內部工作原理，對數據科學家來說至關重要。
這篇文章的內容是我的所學，希望也能對你有所幫助。
神經網路是什麼?
介紹神經網路的文章大多數都會將它和大腦進行類比。如果你沒有深入研究過大腦與神經網路的類比，那麼將神經網路解釋為一種將給定輸入映射為期望輸出的數學關系會更容易理解。
神經網路包括以下組成部分
? 一個輸入層，x
? 任意數量的隱藏層
? 一個輸出層，?
? 每層之間有一組權值和偏置，W and b
? 為隱藏層選擇一種激活函數，σ。在教程中我們使用 Sigmoid 激活函數
下圖展示了 2 層神經網路的結構(注意：我們在計算網路層數時通常排除輸入層)
2 層神經網路的結構
用 Python 可以很容易的構建神經網路類
訓練神經網路
這個網路的輸出 ? 為：
你可能會注意到，在上面的等式中，輸出 ? 是 W 和 b 函數。
因此 W 和 b 的值影響預測的准確率. 所以根據輸入數據對 W 和 b 調優的過程就被成為訓練神經網路。
每步訓練迭代包含以下兩個部分:
? 計算預測結果 ?，這一步稱為前向傳播
? 更新 W 和 b,，這一步成為反向傳播
下面的順序圖展示了這個過程：
前向傳播
正如我們在上圖中看到的，前向傳播只是簡單的計算。對於一個基本的 2 層網路來說，它的輸出是這樣的：
我們在 NeuralNetwork 類中增加一個計算前向傳播的函數。為了簡單起見我們假設偏置 b 為0：
但是我們還需要一個方法來評估預測結果的好壞(即預測值和真實值的誤差)。這就要用到損失函數。
損失函數
常用的損失函數有很多種，根據模型的需求來選擇。在本教程中，我們使用誤差平方和作為損失函數。
誤差平方和是求每個預測值和真實值之間的誤差再求和，這個誤差是他們的差值求平方以便我們觀察誤差的絕對值。
訓練的目標是找到一組 W 和 b，使得損失函數最好小，也即預測值和真實值之間的距離最小。
反向傳播
我們已經度量出了預測的誤差(損失)，現在需要找到一種方法來傳播誤差，並以此更新權值和偏置。
為了知道如何適當的調整權值和偏置，我們需要知道損失函數對權值 W 和偏置 b 的導數。
回想微積分中的概念，函數的導數就是函數的斜率。
梯度下降法
如果我們已經求出了導數，我們就可以通過增加或減少導數值來更新權值 W 和偏置 b(參考上圖)。這種方式被稱為梯度下降法。
但是我們不能直接計算損失函數對權值和偏置的導數，因為在損失函數的等式中並沒有顯式的包含他們。因此，我們需要運用鏈式求導發在來幫助計算導數。
鏈式法則用於計算損失函數對 W 和 b 的導數。注意，為了簡單起見。我們只展示了假設網路只有 1 層的偏導數。
這雖然很簡陋，但是我們依然能得到想要的結果—損失函數對權值 W 的導數(斜率)，因此我們可以相應的調整權值。
現在我們將反向傳播演算法的函數添加到 Python 代碼中
為了更深入的理解微積分原理和反向傳播中的鏈式求導法則，我強烈推薦 3Blue1Brown 的如下教程：
Youtube：https://youtu.be/tIeHLnjs5U8
整合並完成一個實例
既然我們已經有了包括前向傳播和反向傳播的完整 Python 代碼，那麼就將其應用到一個例子上看看它是如何工作的吧。
神經網路可以通過學習得到函數的權重。而我們僅靠觀察是不太可能得到函數的權重的。
讓我們訓練神經網路進行 1500 次迭代，看看會發生什麼。 注意觀察下面每次迭代的損失函數，我們可以清楚地看到損失函數單調遞減到最小值。這與我們之前介紹的梯度下降法一致。
讓我們看看經過 1500 次迭代後的神經網路的最終預測結果：
經過 1500 次迭代訓練後的預測結果
我們成功了!我們應用前向和方向傳播演算法成功的訓練了神經網路並且預測結果收斂於真實值。
注意預測值和真實值之間存在細微的誤差是允許的。這樣可以防止模型過擬合並且使得神經網路對於未知數據有著更強的泛化能力。
下一步是什麼?
幸運的是我們的學習之旅還沒有結束，仍然有很多關於神經網路和深度學習的內容需要學習。例如：
? 除了 Sigmoid 以外，還可以用哪些激活函數
? 在訓練網路的時候應用學習率
? 在面對圖像分類任務的時候使用卷積神經網路
我很快會寫更多關於這個主題的內容，敬請期待!
最後的想法
我自己也從零開始寫了很多神經網路的代碼
雖然可以使用諸如 Tensorflow 和 Keras 這樣的深度學習框架方便的搭建深層網路而不需要完全理解其內部工作原理。但是我覺得對於有追求的數據科學家來說，理解內部原理是非常有益的。
這種練習對我自己來說已成成為重要的時間投入，希望也能對你有所幫助
3. 13個最常用的Python深度學習庫介紹
13個最常用的Python深度學習庫介紹
如果你對深度學習和卷積神經網路感興趣，但是並不知道從哪裡開始，也不知道使用哪種庫，那麼這里就為你提供了許多幫助。
在這篇文章里，我詳細解讀了9個我最喜歡的Python深度學習庫。
這個名單並不詳盡，它只是我在計算機視覺的職業生涯中使用並在某個時間段發現特別有用的一個庫的列表。
這其中的一些庫我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。
其他的一些我是間接的使用，比如Theano和TensorFlow（庫包括Keras、deepy和Blocks等）。
另外的我只是在一些特別的任務中用過（比如nolearn和他們的Deep Belief Network implementation）。
這篇文章的目的是向你介紹這些庫。我建議你認真了解這里的每一個庫，然後在某個具體工作情境中你就可以確定一個最適用的庫。
我想再次重申，這份名單並不詳盡。此外，由於我是計算機視覺研究人員並長期活躍在這個領域，對卷積神經網路（細胞神經網路）方面的庫會關注更多。
我把這個深度學習庫的列表分為三個部分。
第一部分是比較流行的庫，你可能已經很熟悉了。對於這些庫，我提供了一個通俗的、高層次的概述。然後，針對每個庫我詳細解說了我的喜歡之處和不喜歡之處，並列舉了一些適當的應用案例。
第二部分進入到我個人最喜歡的深度學習庫，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。
最後，我對第一部分中不經常使用的庫做了一個「福利」板塊，你或許還會從中發現有用的或者是在第二板塊中我還沒有嘗試過但看起來很有趣的庫。
接下來就讓我們繼續探索。
針對初學者：
Caffe
提到「深度學習庫」就不可能不說到Caffe。事實上，自從你打開這個頁面學習深度學習庫，我就敢打保票你肯定聽說Caffe。
那麼，究竟Caffe是什麼呢？
Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度學習框架。它是模塊化的，速度極快。而且被應用於學術界和產業界的start-of-the-art應用程序中。
事實上，如果你去翻閱最新的深度學習出版物（也提供源代碼），你就很可能會在它們相關的GitHub庫中找到Caffe模型。
雖然Caffe本身並不是一個Python庫，但它提供綁定到Python上的編程語言。我們通常在新領域開拓網路的時候使用這些綁定。
我把Caffe放在這個列表的原因是它幾乎被應用在各個方面。你可以在一個空白文檔里定義你的模型架構和解決方案，建立一個JSON文件類型的.prototxt配置文件。Caffe二進制文件提取這些.prototxt文件並培訓你的網路。Caffe完成培訓之後，你可以把你的網路和經過分類的新圖像通過Caffe二進制文件，更好的就直接通過Python或MATLAB的API。
雖然我很喜歡Caffe的性能（它每天可以在K40 GPU上處理60萬張圖片），但相比之下我更喜歡Keras和mxnet。
主要的原因是，在.prototxt文件內部構建架構可能會變得相當乏味和無聊。更重要的是， Caffe不能用編程方式調整超參數！由於這兩個原因，在基於Python的API中我傾向於對允許我實現終端到終端聯播網的庫傾斜（包括交叉驗證和調整超參數）。
Theano
在最開始我想說Theano是美麗的。如果沒有Theano，我們根本不會達到現有的深度學習庫的數量（特別是在Python）。同樣的，如果沒有numpy，我們就不會有SciPy、scikit-learn和 scikit-image,，同樣可以說是關於Theano和深度學習更高級別的抽象。
非常核心的是，Theano是一個Python庫，用來定義、優化和評估涉及多維數組的數學表達式。 Theano通過與numpy的緊密集成，透明地使用GPU來完成這些工作。
雖然可以利用Theano建立深度學習網路，但我傾向於認為Theano是神經網路的基石，同樣的numpy是作為科學計算的基石。事實上，大多數我在文章中提到的庫都是圍繞著Theano，使自己變得更加便利。
不要誤會我的意思，我愛Theano，我只是不喜歡用Theano編寫代碼。
在Theano建設卷積神經網路就像只用本機Python中的numpy寫一個定製的支持向量機（SVM），當然這個對比並不是很完美。
你可以做到嗎？
當然可以。
它值得花費您的時間和精力嗎？
嗯，也許吧。這取決於你是否想擺脫低級別或你的應用是否需要。
就個人而言，我寧願使用像Keras這樣的庫，它把Theano包裝成更有人性化的API，同樣的方式，scikit-learn使機器學習演算法工作變得更加容易。
TensorFlow
與Theano類似，TensorFlow是使用數據流圖進行數值計算的開源庫（這是所有神經網路固有的特徵）。最初由谷歌的機器智能研究機構內的Google Brain Team研究人員開發，此後庫一直開源，並提供給公眾。
相比於Theano ，TensorFlow的主要優點是分布式計算，特別是在多GPU的環境中（雖然這是Theano正在攻克的項目）。
除了用TensorFlow而不是Theano替換Keras後端，對於TensorFlow庫我並沒有太多的經驗。然而在接下來的幾個月里，我希望這有所改變。
Lasagne
Lasagne是Theano中用於構建和訓練網路的輕量級庫。這里的關鍵詞是輕量級的，也就意味著它不是一個像Keras一樣圍繞著Theano的重包裝的庫。雖然這會導致你的代碼更加繁瑣，但它會把你從各種限制中解脫出來，同時還可以讓您根據Theano進行模塊化的構建。
簡而言之：Lasagne的功能是Theano的低級編程和Keras的高級抽象之間的一個折中。
我最喜歡的：
Keras
如果我必須選出一個最喜歡的深度學習Python庫，我將很難在Keras和mxnet中做出抉擇——但最後，我想我會選Keras。
說真的，Keras的好處我說都說不完。
Keras是一個最低限度的、模塊化的神經網路庫，可以使用Theano或TensorFlow作為後端。Keras最主要的用戶體驗是，從構思到產生結果將會是一個非常迅速的過程。
在Keras中架構網路設計是十分輕松自然的。它包括一些state-of-the-art中針對優化（Adam，RMSProp）、標准化（BatchNorm）和激活層（PReLU，ELU，LeakyReLU）最新的演算法。
Keras也非常注重卷積神經網路，這也是我十分需要的。無論它是有意還是無意的，我覺得從計算機視覺的角度來看這是非常有價值的。
更重要的是，你既可以輕松地構建基於序列的網路（其中輸入線性流經網路）又可以創建基於圖形的網路（輸入可以「跳過」某些層直接和後面對接）。這使得創建像GoogLeNet和SqueezeNet這樣復雜的網路結構變得容易得多。
我認為Keras唯一的問題是它不支持多GPU環境中並行地訓練網路。這可能會也可能不會成為你的大忌。
如果我想盡快地訓練網路，那麼我可能會使用mxnet。但是如果我需要調整超參數，我就會用Keras設置四個獨立的實驗（分別在我的Titan X GPUs上運行）並評估結果。
mxnet
我第二喜歡的深度學習Python庫無疑就是mxnet（重點也是訓練圖像分類網路）。雖然在mxnet中站立一個網路可能需要較多的代碼，但它會提供給你驚人數量的語言綁定（C ++、Python、R、JavaScript等）。
Mxnet庫真正出色的是分布式計算，它支持在多個CPU / GPU機訓練你的網路，甚至可以在AWS、Azure以及YARN集群。
它確實需要更多的代碼來設立一個實驗並在mxnet上運行（與Keras相比），但如果你需要跨多個GPU或系統分配訓練，我推薦mxnet。
sklearn-theano
有時候你並不需要終端到終端的培養一個卷積神經網路。相反，你需要把CNN看作一個特徵提取器。當你沒有足夠的數據來從頭培養一個完整的CNN時它就會變得特別有用。僅僅需要把你的輸入圖像放入流行的預先訓練架構，如OverFeat、AlexNet、VGGNet或GoogLeNet，然後從FC層提取特徵（或任何您要使用的層）。
總之，這就是sklearn-theano的功能所在。你不能用它從頭到尾的訓練一個模型，但它的神奇之處就是可以把網路作為特徵提取器。當需要評估一個特定的問題是否適合使用深度學習來解決時，我傾向於使用這個庫作為我的第一手判斷。
nolearn
我在PyImageSearch博客上用過幾次nolearn，主要是在我的MacBook Pro上進行一些初步的GPU實驗和在Amazon EC2 GPU實例中進行深度學習。
Keras把 Theano和TensorFlow包裝成了更具人性化的API，而nolearn也為Lasagne做了相同的事。此外，nolearn中所有的代碼都是與scikit-learn兼容的，這對我來說絕對是個超級的福利。
我個人不使用nolearn做卷積神經網路（CNNs），但你當然也可以用（我更喜歡用Keras和mxnet來做CNNs）。我主要用nolearn來製作Deep Belief Networks (DBNs)。
DIGITS
DIGITS並不是一個真正的深度學習庫（雖然它是用Python寫的）。DIGITS（深度學習GPU培訓系統）實際上是用於培訓Caffe深度學習模式的web應用程序（雖然我認為你可以破解源代碼然後使用Caffe以外其他的後端進行工作，但這聽起來就像一場噩夢）。
如果你曾經用過Caffe，那麼你就會知道通過它的終端來定義.prototxt文件、生成圖像數據、運行網路並監管你的網路訓練是相當繁瑣的。 DIGITS旨在通過讓你在瀏覽器中執行這些任務來解決這個問題。
此外，DIGITS的用戶界面非常出色，它可以為你提供有價值的統計數據和圖表作為你的模型訓練。另外，你可以通過各種輸入輕松地可視化網路中的激活層。最後，如果您想測試一個特定的圖像，您可以把圖片上傳到你的DIGITS伺服器或進入圖片的URL，然後你的Caffe模型將會自動分類圖像並把結果顯示在瀏覽器中。干凈利落！
Blocks
說實話，雖然我一直想嘗試，但截至目前我的確從來沒用過Blocks（這也是我把它包括在這個列表裡的原因）。就像許多個在這個列表中的其他庫一樣，Blocks建立在Theano之上，呈現出一個用戶友好型的API。
deepy
如果讓你猜deepy是圍繞哪個庫建立的，你會猜什麼？
沒錯，就是Theano。
我記得在前一段時間用過deepy（做了初始提交），但在接下里的大概6-8個月我都沒有碰它了。我打算在接下來的博客文章里再嘗試一下。
pylearn2
雖然我從沒有主動地使用pylearn2，但由於歷史原因，我覺得很有必要把它包括在這個列表裡。 Pylearn2不僅僅是一般的機器學習庫（地位類似於scikit-learn），也包含了深度學習演算法的實現。
對於pylearn2我最大的擔憂就是（在撰寫本文時），它沒有一個活躍的開發者。正因為如此，相比於像Keras和mxnet這樣的有積極維護的庫，推薦pylearn2我還有些猶豫。
Deeplearning4j
這本應是一個基於Python的列表，但我想我會把Deeplearning4j包括在這里，主要是出於對他們所做事跡的無比崇敬——Deeplearning4j為JVM建立了一個開源的、分布式的深度學習庫。
如果您在企業工作，你可能會有一個塞滿了用過的Hadoop和MapRece伺服器的儲存器。也許這些你還在用，也許早就不用了。
你怎樣才能把這些相同的伺服器應用到深度學習里？
事實證明是可以的——你只需要Deeplearning4j。
總計
以上就是本文關於13個最常用的Python深度學習庫介紹的全部內容