編譯器深度學習框架交流

❶ python深度學習框架學哪個

Python 深度學習生態系統在這幾年中的演變實屬驚艷。pylearn2，已經不再被積極地開發或者維護，大量的深度學習庫開始接替它的位置。這些庫每一個都各有千秋。我們已經在 indico 的產品或者開發中使用了以下列表中的大部分的技術，但是對於剩下一些我們沒有使用的，我將會借鑒他人的經驗來幫助給出 Python 深度學習生態系統的清晰的、詳盡的理解。
確切地說，我們將會關註：
Theano
Lasagne
Blocks
TensorFlow
Keras
MXNet
PyTorch
下面是對這 7 大 Python 深度學習框架的描述以及優缺點的介紹。
Theano
描述：Theano 是一個 Python 庫，允許你定義、優化並且有效地評估涉及到多維數組的數學表達式。它與 GPUs 一起工作並且在符號微分方面表現優秀。
概述：Theano 是數值計算的主力，它支持了許多我們列表當中的其他的深度學習框架。Theano 由 Frédéric Bastien 創建，這是蒙特利爾大學機器學習研究所(MILA)背後的一個非常優秀的研究團隊。它的 API 水平較低，並且為了寫出效率高的 Theano，你需要對隱藏在其他框架幕後的演算法相當的熟悉。如果你有著豐富的學術機器學習知識，正在尋找你的模型的精細的控制方法，或者想要實現一個新奇的或者不同尋常的模型，Theano 是你的首選庫。總而言之，為了靈活性，Theano 犧牲了易用性。
優點：
靈活
正確使用時的高性能
缺點：
較高的學習難度
低水平的 API
編譯復雜的符號圖可能很慢
Lasagne
描述：在 Theano 上建立和訓練神經網路的輕量級庫
概述：因為 Theano 致力於成為符號數學中最先且最好的庫，Lasagne 提供了在 Theano 頂部的抽象，這使得它更適合於深度學習。它主要由當前 DeepMind 研究科學家 Sander Dieleman 編寫並維護。Lasagne 並非是根據符號變數之間的函數關系來指定網路模型，而是允許用戶在層級思考，為用戶提供了例如「Conv2DLayer」和「DropoutLayer」的構建塊。Lasagne 在犧牲了很少的靈活性的同時，提供了豐富的公共組件來幫助圖層定義、圖層初始化、模型正則化、模型監控和模型訓練。
優點：
仍舊非常靈活
比 Theano 更高級的抽象
文檔和代碼中包含了各種 Pasta Puns
缺點：
社區小
Blocks
描述：用於構建和訓練神經網路的 Theano 框架
概述：與 Lasagne 類似，Blocks 是在 Theano 頂部添加一個抽象層使深度學習模型比編寫原始的 Theano 更清晰、更簡單、定義更加標准化。它是由蒙特利爾大學機器學習研究所(MILA)編寫，其中一些人為搭建 Theano 和第一個神經網路定義的高級介面(已經淘汰的 PyLearn2)貢獻了自己的一份力量。比起 Lasagne，Blocks 靈活一點，代價是入門台階較高，想要高效的使用它有不小的難度。除此之外，Blocks 對遞歸神經網路架構(recurrent neural network architectures)有很好的支持，所以如果你有興趣探索這種類型的模型，它值得一看。除了 TensorFlow，對於許多我們已經部署在 indico 產品中的 API，Blocks 是其首選庫。
優點：
仍舊非常靈活
比 Theano 更高級的抽象
易於測試
缺點：
較高的學習難度
更小的社區
TensorFlow
描述：用於數值計算的使用數據流圖的開源軟體庫
概述：TensorFlow 是較低級別的符號庫(比如 Theano)和較高級別的網路規范庫(比如 Blocks 和 Lasagne)的混合。即使它是 Python 深度學習庫集合的最新成員，在 Google Brain 團隊支持下，它可能已經是最大的活躍社區了。它支持在多 GPUs 上運行深度學習模型，為高效的數據流水線提供使用程序，並具有用於模型的檢查，可視化和序列化的內置模塊。最近，TensorFlow 團隊決定支持 Keras(我們列表中下一個深度學習庫)。雖然 TensorFlow 有著自己的缺點，但是社區似乎同意這一決定，社區的龐大規模和項目背後巨大的動力意味著學習 TensorFlow 是一次安全的賭注。因此，TensorFlow 是我們今天在 indico 選擇的深度學習庫。
優點：
由軟體巨頭 Google 支持
非常大的社區
低級和高級介面網路訓練
比基於 Theano 配置更快的模型編譯
完全地多 GPU 支持
缺點：
雖然 Tensorflow 正在追趕，但是最初在許多基準上比基於 Theano 的慢。
RNN 支持仍不如 Theano
Keras
描述：Python 的深度學習庫。支持 Convnets、遞歸神經網路等。在 Theano 或者 TensorFlow 上運行。
概述：Keras 也許是水平最高，對用戶最友好的庫了。由 Francis Chollet(Google Brain 團隊中的另一個成員)編寫和維護。它允許用戶選擇其所構建的模型是在 Theano 上或是在 TensorFlow 上的符號圖上執行。Keras 的用戶界面受啟發於 Torch，所以如果你以前有過使用 Lua 語言的機器學習經驗，Keras 絕對值得一看。由於部分非常優秀的文檔和其相對易用性，Keras 的社區非常大並且非常活躍。最近，TensorFlow 團隊宣布計劃與 Keras 一起支持內置，所以很快 Keras 將是 TensorFlow 項目的一個分組。
優點：
可供選擇的 Theano 或者 TensorFlow 後端
直觀、高級別的埠
更易學習
缺點：
不太靈活，比其他選擇更規范
MXNet
描述：MXNet 是一個旨在提高效率和靈活性的深度學習框架。
概述：MXNet 是亞馬遜(Amazon)選擇的深度學習庫，並且也許是最優秀的庫。它擁有類似於 Theano 和 TensorFlow 的數據流圖，為多 GPU 配置提供了良好的配置，有著類似於 Lasagne 和 Blocks 更高級別的模型構建塊，並且可以在你可以想像的任何硬體上運行(包括手機)。對 Python 的支持只是其冰山一角—MXNet 同樣提供了對 R、Julia、C++、Scala、Matlab，和 Javascript 的介面。如果你正在尋找最佳的性能，選擇 MXNet 吧，但是你必須願意處理與之相對的一些 MXNet 的怪癖。
優點：
速度的標桿
非常靈活
缺點：
最小的社區
比 Theano 更困難的學習難度
PyTorch
描述：Python 中的張量(Tensors)和動態神經網路，有著強大的 GPU 加速。
概述：剛剛放出一段時間，PyTorch 就已經是我們 Python 深度學習框架列表中的一個新的成員了。它是從 Lua 的 Torch 庫到 Python 的鬆散埠，由於它由 Facebook 的 人工智慧研究團隊(Artificial Intelligence Research team (FAIR))支持且因為它用於處理動態計算圖(Theano，TensorFlow 或者其他衍生品沒有的特性，編譯者註：現在 TensorFlow 好像支持動態計算圖)，它變得非常的有名。PyTorch 在 Python 深度學習生態系統將扮演怎樣的角色還不得而知，但所有的跡象都表明，PyTorch 是我們列表中其他框架的一個非常棒的選擇。
優點:
來自 Facebook 組織的支持
完全地對動態圖的支持
高級和低級 API 的混合
缺點：
比其他選擇，PyTorch 還不太成熟

❷ 什麼是程序的編輯器,編譯器,什麼是Framework(框架)

編譯器是程序輔助工具，一般會生成一些幫助代碼
框架是編程的一種模式，把正個代碼實現的功能按起的作用分類，可以使思路清析

❸ 13個最常用的Python深度學習庫介紹

13個最常用的Python深度學習庫介紹
如果你對深度學習和卷積神經網路感興趣，但是並不知道從哪裡開始，也不知道使用哪種庫，那麼這里就為你提供了許多幫助。
在這篇文章里，我詳細解讀了9個我最喜歡的Python深度學習庫。
這個名單並不詳盡，它只是我在計算機視覺的職業生涯中使用並在某個時間段發現特別有用的一個庫的列表。
這其中的一些庫我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。
其他的一些我是間接的使用，比如Theano和TensorFlow（庫包括Keras、deepy和Blocks等）。
另外的我只是在一些特別的任務中用過（比如nolearn和他們的Deep Belief Network implementation）。
這篇文章的目的是向你介紹這些庫。我建議你認真了解這里的每一個庫，然後在某個具體工作情境中你就可以確定一個最適用的庫。
我想再次重申，這份名單並不詳盡。此外，由於我是計算機視覺研究人員並長期活躍在這個領域，對卷積神經網路（細胞神經網路）方面的庫會關注更多。
我把這個深度學習庫的列表分為三個部分。
第一部分是比較流行的庫，你可能已經很熟悉了。對於這些庫，我提供了一個通俗的、高層次的概述。然後，針對每個庫我詳細解說了我的喜歡之處和不喜歡之處，並列舉了一些適當的應用案例。
第二部分進入到我個人最喜歡的深度學習庫，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。
最後，我對第一部分中不經常使用的庫做了一個「福利」板塊，你或許還會從中發現有用的或者是在第二板塊中我還沒有嘗試過但看起來很有趣的庫。
接下來就讓我們繼續探索。
針對初學者：
Caffe
提到「深度學習庫」就不可能不說到Caffe。事實上，自從你打開這個頁面學習深度學習庫，我就敢打保票你肯定聽說Caffe。
那麼，究竟Caffe是什麼呢？
Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度學習框架。它是模塊化的，速度極快。而且被應用於學術界和產業界的start-of-the-art應用程序中。
事實上，如果你去翻閱最新的深度學習出版物（也提供源代碼），你就很可能會在它們相關的GitHub庫中找到Caffe模型。
雖然Caffe本身並不是一個Python庫，但它提供綁定到Python上的編程語言。我們通常在新領域開拓網路的時候使用這些綁定。
我把Caffe放在這個列表的原因是它幾乎被應用在各個方面。你可以在一個空白文檔里定義你的模型架構和解決方案，建立一個JSON文件類型的.prototxt配置文件。Caffe二進制文件提取這些.prototxt文件並培訓你的網路。Caffe完成培訓之後，你可以把你的網路和經過分類的新圖像通過Caffe二進制文件，更好的就直接通過Python或MATLAB的API。
雖然我很喜歡Caffe的性能（它每天可以在K40 GPU上處理60萬張圖片），但相比之下我更喜歡Keras和mxnet。
主要的原因是，在.prototxt文件內部構建架構可能會變得相當乏味和無聊。更重要的是， Caffe不能用編程方式調整超參數！由於這兩個原因，在基於Python的API中我傾向於對允許我實現終端到終端聯播網的庫傾斜（包括交叉驗證和調整超參數）。
Theano
在最開始我想說Theano是美麗的。如果沒有Theano，我們根本不會達到現有的深度學習庫的數量（特別是在Python）。同樣的，如果沒有numpy，我們就不會有SciPy、scikit-learn和 scikit-image,，同樣可以說是關於Theano和深度學習更高級別的抽象。
非常核心的是，Theano是一個Python庫，用來定義、優化和評估涉及多維數組的數學表達式。 Theano通過與numpy的緊密集成，透明地使用GPU來完成這些工作。
雖然可以利用Theano建立深度學習網路，但我傾向於認為Theano是神經網路的基石，同樣的numpy是作為科學計算的基石。事實上，大多數我在文章中提到的庫都是圍繞著Theano，使自己變得更加便利。
不要誤會我的意思，我愛Theano，我只是不喜歡用Theano編寫代碼。
在Theano建設卷積神經網路就像只用本機Python中的numpy寫一個定製的支持向量機（SVM），當然這個對比並不是很完美。
你可以做到嗎？
當然可以。
它值得花費您的時間和精力嗎？
嗯，也許吧。這取決於你是否想擺脫低級別或你的應用是否需要。
就個人而言，我寧願使用像Keras這樣的庫，它把Theano包裝成更有人性化的API，同樣的方式，scikit-learn使機器學習演算法工作變得更加容易。
TensorFlow
與Theano類似，TensorFlow是使用數據流圖進行數值計算的開源庫（這是所有神經網路固有的特徵）。最初由谷歌的機器智能研究機構內的Google Brain Team研究人員開發，此後庫一直開源，並提供給公眾。
相比於Theano ，TensorFlow的主要優點是分布式計算，特別是在多GPU的環境中（雖然這是Theano正在攻克的項目）。
除了用TensorFlow而不是Theano替換Keras後端，對於TensorFlow庫我並沒有太多的經驗。然而在接下來的幾個月里，我希望這有所改變。
Lasagne
Lasagne是Theano中用於構建和訓練網路的輕量級庫。這里的關鍵詞是輕量級的，也就意味著它不是一個像Keras一樣圍繞著Theano的重包裝的庫。雖然這會導致你的代碼更加繁瑣，但它會把你從各種限制中解脫出來，同時還可以讓您根據Theano進行模塊化的構建。
簡而言之：Lasagne的功能是Theano的低級編程和Keras的高級抽象之間的一個折中。
我最喜歡的：
Keras
如果我必須選出一個最喜歡的深度學習Python庫，我將很難在Keras和mxnet中做出抉擇——但最後，我想我會選Keras。
說真的，Keras的好處我說都說不完。
Keras是一個最低限度的、模塊化的神經網路庫，可以使用Theano或TensorFlow作為後端。Keras最主要的用戶體驗是，從構思到產生結果將會是一個非常迅速的過程。
在Keras中架構網路設計是十分輕松自然的。它包括一些state-of-the-art中針對優化（Adam，RMSProp）、標准化（BatchNorm）和激活層（PReLU，ELU，LeakyReLU）最新的演算法。
Keras也非常注重卷積神經網路，這也是我十分需要的。無論它是有意還是無意的，我覺得從計算機視覺的角度來看這是非常有價值的。
更重要的是，你既可以輕松地構建基於序列的網路（其中輸入線性流經網路）又可以創建基於圖形的網路（輸入可以「跳過」某些層直接和後面對接）。這使得創建像GoogLeNet和SqueezeNet這樣復雜的網路結構變得容易得多。
我認為Keras唯一的問題是它不支持多GPU環境中並行地訓練網路。這可能會也可能不會成為你的大忌。
如果我想盡快地訓練網路，那麼我可能會使用mxnet。但是如果我需要調整超參數，我就會用Keras設置四個獨立的實驗（分別在我的Titan X GPUs上運行）並評估結果。
mxnet
我第二喜歡的深度學習Python庫無疑就是mxnet（重點也是訓練圖像分類網路）。雖然在mxnet中站立一個網路可能需要較多的代碼，但它會提供給你驚人數量的語言綁定（C ++、Python、R、JavaScript等）。
Mxnet庫真正出色的是分布式計算，它支持在多個CPU / GPU機訓練你的網路，甚至可以在AWS、Azure以及YARN集群。
它確實需要更多的代碼來設立一個實驗並在mxnet上運行（與Keras相比），但如果你需要跨多個GPU或系統分配訓練，我推薦mxnet。
sklearn-theano
有時候你並不需要終端到終端的培養一個卷積神經網路。相反，你需要把CNN看作一個特徵提取器。當你沒有足夠的數據來從頭培養一個完整的CNN時它就會變得特別有用。僅僅需要把你的輸入圖像放入流行的預先訓練架構，如OverFeat、AlexNet、VGGNet或GoogLeNet，然後從FC層提取特徵（或任何您要使用的層）。
總之，這就是sklearn-theano的功能所在。你不能用它從頭到尾的訓練一個模型，但它的神奇之處就是可以把網路作為特徵提取器。當需要評估一個特定的問題是否適合使用深度學習來解決時，我傾向於使用這個庫作為我的第一手判斷。
nolearn
我在PyImageSearch博客上用過幾次nolearn，主要是在我的MacBook Pro上進行一些初步的GPU實驗和在Amazon EC2 GPU實例中進行深度學習。
Keras把 Theano和TensorFlow包裝成了更具人性化的API，而nolearn也為Lasagne做了相同的事。此外，nolearn中所有的代碼都是與scikit-learn兼容的，這對我來說絕對是個超級的福利。
我個人不使用nolearn做卷積神經網路（CNNs），但你當然也可以用（我更喜歡用Keras和mxnet來做CNNs）。我主要用nolearn來製作Deep Belief Networks (DBNs)。
DIGITS
DIGITS並不是一個真正的深度學習庫（雖然它是用Python寫的）。DIGITS（深度學習GPU培訓系統）實際上是用於培訓Caffe深度學習模式的web應用程序（雖然我認為你可以破解源代碼然後使用Caffe以外其他的後端進行工作，但這聽起來就像一場噩夢）。
如果你曾經用過Caffe，那麼你就會知道通過它的終端來定義.prototxt文件、生成圖像數據、運行網路並監管你的網路訓練是相當繁瑣的。 DIGITS旨在通過讓你在瀏覽器中執行這些任務來解決這個問題。
此外，DIGITS的用戶界面非常出色，它可以為你提供有價值的統計數據和圖表作為你的模型訓練。另外，你可以通過各種輸入輕松地可視化網路中的激活層。最後，如果您想測試一個特定的圖像，您可以把圖片上傳到你的DIGITS伺服器或進入圖片的URL，然後你的Caffe模型將會自動分類圖像並把結果顯示在瀏覽器中。干凈利落！
Blocks
說實話，雖然我一直想嘗試，但截至目前我的確從來沒用過Blocks（這也是我把它包括在這個列表裡的原因）。就像許多個在這個列表中的其他庫一樣，Blocks建立在Theano之上，呈現出一個用戶友好型的API。
deepy
如果讓你猜deepy是圍繞哪個庫建立的，你會猜什麼？
沒錯，就是Theano。
我記得在前一段時間用過deepy（做了初始提交），但在接下里的大概6-8個月我都沒有碰它了。我打算在接下來的博客文章里再嘗試一下。
pylearn2
雖然我從沒有主動地使用pylearn2，但由於歷史原因，我覺得很有必要把它包括在這個列表裡。 Pylearn2不僅僅是一般的機器學習庫（地位類似於scikit-learn），也包含了深度學習演算法的實現。
對於pylearn2我最大的擔憂就是（在撰寫本文時），它沒有一個活躍的開發者。正因為如此，相比於像Keras和mxnet這樣的有積極維護的庫，推薦pylearn2我還有些猶豫。
Deeplearning4j
這本應是一個基於Python的列表，但我想我會把Deeplearning4j包括在這里，主要是出於對他們所做事跡的無比崇敬——Deeplearning4j為JVM建立了一個開源的、分布式的深度學習庫。
如果您在企業工作，你可能會有一個塞滿了用過的Hadoop和MapRece伺服器的儲存器。也許這些你還在用，也許早就不用了。
你怎樣才能把這些相同的伺服器應用到深度學習里？
事實證明是可以的——你只需要Deeplearning4j。
總計
以上就是本文關於13個最常用的Python深度學習庫介紹的全部內容

❹ 如何選擇深度學習框架 TensorFlow/Torch/Mxnet/Theano

深度學習目前的應用領域很多，主要是計算機視覺和自然語言處理，以及各種預測等。對於計算機視覺，可以做圖像分類、目標檢測、視頻中的目標檢測等，對於自然語言處理，可以做語音識別、語音合成、對話系統、機器翻譯、文章摘要、情感分析等。
對於剛入行深度學習，想從事人工智慧工業應用和研發的小白來說，選擇一個適合自己的深度學習框架顯得尤為重要。那麼在選擇深度學習框架的時候，要注意哪些內容呢?
通常我們在選擇框架時要考慮易用性、性能、社區、平台支持等問題。初學者應該考慮容易上手的框架，偏工業應用的開發者可以考慮使用穩定性高、性能好的框架，偏研究性的開發者，一般選擇易用而且有領先的模型基線的框架。
目前這個階段，TensorFlow因為背靠谷歌公司這座靠山，再加上擁有龐大的開發者群體，而且採用了稱為「可執行的偽代碼」的Python語言，成為最受歡迎的主流框架之一。一些外圍的第三方庫(如Keras、TFLearn)也基於它實現了很多成果，Keras還得到TensorFlow官方的支持。TensorFlow支持的上層語言也在逐漸擴大，對於不同工程背景的人轉入的門檻正在降低。
因此，對於剛入行深度學習的小白，TensorFlow是一個非常好的選擇，掌握TensorFlow對以後的求職發展很有幫助。
為了讓大家更快地掌握深度學習技術，成為人工智慧領域高端人才，中公教育聯合中科院自動化研究所專家，強力推出人工智慧《深度學習》，讓大家學有所成、真正掌握機器學習模型以及演算法背後的原理。

❺ 如何評價最新的深度學習框架cxxnet

這篇文章介紹的是關於並行深度神經網路的設計。在今年發布的兩個機器學習項目中，cxxnet是最精彩的一個。因為它包含了我們團隊可以發揮到的機器學習和系統的各個方面的極致： 除了前沿的深度學習之外，它的兩個獨到特點也是讓我們在設計實現中最為享受的
1) 靈活的公式支持和極致的C++模板編程；
深度神經網路的實現大致分兩類：以python為主的編程效率派和以c++為核心的為代表的追逐性能派。前者支持直接tensor的計算，而後者往往需要給每個神經網路的層和更新公式編寫獨立的cuda kernel。編程效率派認為機器學習程序員應該是寫公式來達到代碼最大的可讀性和易改寫性。而很多以C++為核心的代碼之所以沒有支持非常靈活的張量計算，是因為因為運算符重載和臨時空間的分配會帶來效率的降低。
cxxnet的核心mshadow在這兩者之間做了一個平衡。使得我們在不損失效率的前提下可以通過模板編程技術允許開發者編寫和matlab/numpy類似的代碼，並且在編譯時自動展開成優化的kernel。其背後的expressiontemplate技術是我最喜歡的c++ trick之一。非常值得最求效率抽象和優美的同學了解。
因為採用了mshadow作為核心，直接導致cxxnet的各種實現可以非常簡單可讀，編寫一份代碼就可以在GPU和CPU上面跑。使得其在代碼簡潔和可擴展上更加容易。
2) 通用的並行參數共享和更新方案
多卡和多機計算一直是大規模機器學習中一個讓人興奮的話題。提到神經網路並行，最讓我頭疼的是可以選擇的方案很多，而都涉及到不同的hack。單機多卡到底是用P2P，還是拷貝到內存，是用stream開始開多線程。分布式到底是用parameter server，MPI還是自己寫一個框架。可以選擇的方法很多。設計出一個分布式的代碼不難，困難的是如何讓並行的介面自然的獨立出來，使得其不會影響其它部分的實現。經過不斷地考慮，最終我決定採用了mshadow-ps這樣一個統一的參數共享介面。
簡單的說，mshadow-ps是一個GPU的非同步parameter server介面（應該也是目前為止唯一一個，因為GPU線程模型和CPU不同，原有的的ps庫並不能直接用於GPU）。非同步通信對於神經網路的更新非常重要。在backprop演算法中，我們很早就可以獲得梯度並且進行梯度同步，而只有到下一次forward到對應層的時候才會需要這個weight。
我和limu合作設計了ps風格的三個介面來解決這樣的同步問題，Push/PullReq和Pullwait。當獲backprop得梯度的時候直接調用push把梯度發送出去，並且調用pullreq請求結果。Push和Pullreq都是非同步操作，背後會有單獨的線程同時完成數據拷貝同步，以及拷回的操作。而當我們需要weight之前在調用Pullwait來等待可能沒有完成的操作。這樣簡單的三個介面，使得我們可以經過很少的改動就可以設計出多卡和分布式的神經網路來，並且在調用這些介面的時候完全不需要關系同步的實現是什麼。
值得一提的是，這樣的編程模式把多GPU，分布式以及各個通信框架直接結合起來。mshadow-ps支持單機多卡的GPU PS，以及基於parameter-server的分布式PS實現。同樣的也可以很容易MPI來支持多機通信。使得一個統一的介面，可以完成從單機多卡到分布式各種後端實現的支持。並且因為高效的非同步通信，使得我們可以在alexnet上面達到linearspeep(註：並行的難度在於計算和通信的時間比，weight少更加復雜的網路反而更加容易線性加速，而alexnet是非常困難的例子)。
經過團隊裡面大家不斷地努力，cxxnet的V2終於可以和大家見面了。除了上述介紹的技術亮點之外，還有各種好玩的特性。現在把特點總結如下：
1. 輕量而齊全的框架： 我們盡力維持最小的依賴庫實現最多的功能。推薦環境下僅需要CUDA, OpenCV, MKL或BLAS即可編譯。
2. 強大的統一的並行計算介面：基於mshadow-ps的並行計算介面採用了一份代碼解決了多GPU，多機的非同步同步。同步和計算重疊，在多份測試中均可以得到線性加速比。
3. 易於擴展的代碼結構：cxxnet計算核心由mshadow提供。Mshadow使用戶可以編寫numpy/matlab風格的代碼，但仍具備手動優化cuda 代碼的靈活性。CPU和GPU共享同一份代碼，在編譯期間通過模板自動翻譯成CUDA/MKL調用。

另外一些特性包括：
4. CuDNN支持：Nvidia原生卷積支持，可加速計算30%！
5. 及時更新的最新技術：我們將及時跟進學術界的動態，例如現在已經支持MSRA的ParametricRelu和Google的Batch Normalization
6. Caffe模型轉換：支持將訓練好的Caffe模型直接轉化為cxxnet模型（本周內上線！）
7. 方便的語言介面：在Python中直接進行訓練，方便可視化。Matlab也將很快提供
我們相信可以通過最簡潔清晰的代碼來完成高效的C++深度神經網路實現。我們也歡迎對於系統和機器學習有興趣的同學加入到項目中來

❻ 各種編程語言的深度學習庫整理大全！

各種編程語言的深度學習庫整理大全！
Python1. Theano是一個python類庫，用數組向量來定義和計算數學表達式。它使得在Python環境下編寫深度學習演算法變得簡單。在它基礎之上還搭建了許多類庫。
1.Keras是一個簡潔、高度模塊化的神經網路庫，它的設計參考了Torch，用Python語言編寫，支持調用GPU和CPU優化後的Theano運算。
2.Pylearn2是一個集成大量深度學習常見模型和訓練演算法的庫，如隨機梯度下降等。它的功能庫都是基於Theano之上。
3.Lasagne是一個搭建和訓練神經網路的輕量級封裝庫，基於Theano。它遵循簡潔化、透明化、模塊化、實用化和專一化的原則。
4.Blocks也是一個基於Theano的幫助搭建神經網路的框架。
2. Caffe是深度學習的框架，它注重於代碼的表達形式、運算速度以及模塊化程度。它是由伯克利視覺和學習中心（Berkeley Vision and Learning Center, BVLC）以及社區成員共同開發。谷歌的DeepDream項目就是基於Caffe框架完成。這個框架是使用BSD許可證的C++庫，並提供了Python調用介面。
3. nolearn囊括了大量的現有神經網路函數庫的封裝和抽象介面、大名鼎鼎的Lasagne以及一些機器學習的常用模塊。
4. Genism也是一個用Python編寫的深度學習小工具，採用高效的演算法來處理大規模文本數據。
5. Chainer在深度學習的理論演算法和實際應用之間架起一座橋梁。它的特點是強大、靈活、直觀，被認為是深度學習的靈活框架。
6. deepnet是基於GPU的深度學習演算法函數庫，使用Python語言開發，實現了前饋神經網路（FNN）、受限玻爾茲曼機（RBM）、深度信念網路（DBN）、自編碼器（AE）、深度玻爾茲曼機（DBM）和卷積神經網路（CNN）等演算法。
7. Hebel也是深度學習和神經網路的一個Python庫，它通過pyCUDA控制支持CUDA的GPU加速。它實現了最重要的幾類神經網路模型，提供了多種激活函數和模型訓練方法，例如momentum、Nesterov momentum、dropout、和early stopping等方法。
8. CXXNET是一個基於MShadow開發的快速、簡潔的分布式深度學習框架。它是一個輕量級、易擴展的C++/CUDA神經網路工具箱，提供友好的Python/Matlab介面來進行訓練和預測。
9. DeepPy是基於NumPy的深度學習框架。
10. DeepLearning是一個用C++和Python共同開發的深度學習函數庫。
11. Neon是Nervana System 的深度學習框架，使用Python開發。
Matlab
1. ConvNet 卷積神經網路是一類深度學習分類演算法，它可以從原始數據中自主學習有用的特徵，通過調節權重值來實現。
2. DeepLearnToolBox是用於深度學習的Matlab/Octave工具箱，它包含深度信念網路（DBN）、棧式自編碼器（stacked AE）、卷積神經網路（CNN）等演算法。
3. cuda-convet是一套卷積神經網路（CNN）代碼，也適用於前饋神經網路，使用C++/CUDA進行運算。它能對任意深度的多層神經網路建模。只要是有向無環圖的網路結構都可以。訓練過程採用反向傳播演算法（BP演算法）。
4. MatConvNet是一個面向計算機視覺應用的卷積神經網路（CNN）Matlab工具箱。它簡單高效，能夠運行和學習最先進的機器學習演算法。
CPP
1. eblearn是開源的機器學習C++封裝庫，由Yann LeCun主導的紐約大學機器學習實驗室開發。它用基於能量的模型實現卷積神經網路，並提供可視化交互界面（GUI）、示例以及示範教程。
2. SINGA是Apache軟體基金會支持的一個項目，它的設計目標是在現有系統上提供通用的分布式模型訓練演算法。
3. NVIDIA DIGITS是用於開發、訓練和可視化深度神經網路的一套新系統。它把深度學習的強大功能用瀏覽器界面呈現出來，使得數據科學家和研究員可以實時地可視化神經網路行為，快速地設計出最適合數據的深度神經網路。
4. Intel? Deep Learning Framework提供了Intel?平台加速深度卷積神經網路的一個統一平台。
Java
1. N-Dimensional Arrays for Java (ND4J) 是JVM平台的科學計算函數庫。它主要用於產品中，也就是說函數的設計需求是運算速度快、存儲空間最省。
2. Deeplearning4j 是第一款商業級別的開源分布式深度學習類庫，用Java和Scala編寫。它的設計目的是為了在商業環境下使用，而不是作為一款研究工具。
3. Encog是一個機器學習的高級框架，涵蓋支持向量機、人工神經網路、遺傳編程、貝葉斯網路、隱馬可夫模型等，也支持遺傳演算法。
JavaScript
1. Convnet.js 由JavaScript編寫，是一個完全在瀏覽器內完成訓練深度學習模型（主要是神經網路）的封裝庫。不需要其它軟體，不需要編譯器，不需要安裝包，不需要GPU，甚至不費吹灰之力。
Lua
1. Torch是一款廣泛適用於各種機器學習演算法的科學計算框架。它使用容易，用快速的腳本語言LuaJit開發，底層是C/CUDA實現。Torch基於Lua編程語言。
Julia
1. Mocha是Julia的深度學習框架，受C++框架Caffe的啟發。Mocha中通用隨機梯度求解程序和通用模塊的高效實現，可以用來訓練深度/淺層（卷積）神經網路，可以通過（棧式）自編碼器配合非監督式預訓練（可選）完成。它的優勢特性包括模塊化結構、提供上層介面，可能還有速度、兼容性等更多特性。
Lisp
1. Lush(Lisp Universal Shell)是一種面向對象的編程語言，面向對大規模數值和圖形應用感興趣的廣大研究員、實驗員和工程師們。它擁有機器學習的函數庫，其中包含豐富的深度學習庫。
Haskell
1. DNNGraph是Haskell用於深度神經網路模型生成的領域特定語言（DSL）。
.NET
1. Accord.NET 是完全用C#編寫的.NET機器學習框架，包括音頻和圖像處理的類庫。它是產品級的完整框架，用於計算機視覺、計算機音頻、信號處理和統計應用領域。
R
1. darch包可以用來生成多層神經網路（深度結構）。訓練的方法包括了對比散度的預訓練和眾所周知的訓練演算法（如反向傳播法或共軛梯度法）的細調。
2. deepnet實現了許多深度學習框架和神經網路演算法，包括反向傳播(BP)、受限玻爾茲曼機(RBM)、深度信念網路(DBP)、深度自編碼器(Deep autoencoder)等等。

❼ 深度學習的學習框架是什麼

AI 深度學習課綱

1、了解AI及前沿應用成果；

2、掌握人工神經網路及卷積神經網路原理；

3、循環神經網路原理及項目實戰；

4、生成式對抗網路原理及項目實戰；

5、深度學習的分布式處理及項目實戰；

6、深度強化學習及項目實戰；

7、企業級項目實戰-車牌識別項目實戰；

8、深度學習最新前沿技術簡介

❽ 2019年十大最佳深度學習框架

作者 | Python語音識別

來源 | 濤哥聊Python

雖然我們大多數人都驚嘆為什麼DL這么好？在使用大量數據進行訓練時，它在准確性方面非常出色。近幾年隨著深度學習演算法的發展，出現了很多深度學習的框架，這些框架各有所長，各具特色。下面將為大家介紹2019年最受歡迎的十大深度學習框架。

TensorFlow

谷歌的Tensorflow可以說是當今最受歡迎的深度學習框架。Gmail，Uber，Airbnb，Nvidia以及其他許多知名品牌都在使用。TF是目前深度學習的主流框架，Tensorflow主要特性：

TensorFlow支持python、JavaScript、C ++、Java和Go，C＃和Julia等多種編程語言。 TF不僅擁有強大的計算集群，還可以在iOS和Android等移動平台上運行模型。 TF編程入門難度較大。初學者需要仔細考慮神經網路的架構，正確評估輸入和輸出數據的維度和數量。 TF使用靜態計算圖進行操作 。也就是說我們需要先定義圖形，然後運行計算，如果我們需要對架構進行更改，我們會重新訓練模型。選擇這樣的方法是為了提高效率，但是許多現代神經網路工具能夠在學習過程中考慮改進而不會顯著降低學習速度。在這方面，TensorFlow的主要競爭對手是PyTorch 。

TensorFlow優點：

它非常適合創建和試驗深度學習架構，便於數據集成，如輸入圖形，SQL表和圖像。 它得到谷歌的支持，這就說明該模型短期內不會被拋棄，因此值得投入時間來學習它。 PyTorch

Tensorflow之後用於深度學習的主要框架是PyTorch。PyTorch框架是Facebook開發的，已被Twitter和Salesforce等公司使用。

PyTorch基本特性：

與TensorFlow不同，PyTorch庫使用動態更新的圖形進行操作 。這意味著它可以在流程中更改體系結構。 在PyTorch中，您可以使用標准調試器 ，例如pdb或PyCharm。

PyTorch優點：

訓練神經網路的過程簡單明了。同時，PyTorch支持數據並行和分布式學習模型，並且還包含許多預先訓練的模型。 PyTorch更適合小型項目和原型設計。 Sonnet

Sonnet深度學習框架是建立在TensorFlow的基礎之上。它是DeepMind用於創建具有復雜架構的神經網路。

Sonnet基本特性：

面向對象的庫，在開發神經網路（NN）或其他機器學習（ML）演算法時更加抽象。 Sonnet的想法是構造對應於神經網路的特定部分的主要Python對象。此外，這些對象獨立地連接到計算TensorFlow圖。分離創建對象並將其與圖形相關聯的過程簡化了高級體系結構的設計。

Sonnet優點：

Sonnet的主要優點是可以使用它來重現DeepMind論文中展示的研究，比Keras更容易，因為DeepMind論文模型就是使用Sonnet搭建的。 Keras

Keras是一個機器學習框架，如果您擁有大量數據和/或你想快速入門深度學習，那麼Keras將非常適合學習。Keras是TensorFlow高級集成APi，可以非常方便的和TensorFlow進行融合。這是我強烈推薦學習的一個庫。

Keras基本特性：

除了Tensorflow之外，Keras還是其他流行的庫（如Theano和CNTK）的高級API。 在Keras中更容易創建大規模的深度學習模型，但Keras框架環境配置比其他底層框架要復雜一些。

Keras優點：

對於剛剛入門的人來說，Keras是最好的深度學習框架。它是學習和原型化簡單概念的理想選擇，可以理解各種模型和學習過程的本質。 Keras是一個簡潔的API。 可以快速幫助您創建應用程序。 Keras中代碼更加可讀和簡潔。 Keras模型序列化/反序列化API，回調和使用Python生成器的數據流非常成熟。

順便說一下TensorFlow和Keras的對比：

PS：Tensorflow處於底層框架：這和MXNet，Theano和PyTorch等框架一樣。包括實現諸如廣義矩陣 - 矩陣乘法和諸如卷積運算的神經網路原語之類的數學運算。

Keras處於高度集成框架。雖然更容易創建模型，但是面對復雜的網路結構時可能不如TensorFlow。

MXNet

MXNet是一種高度可擴展的深度學習工具，可用於各種設備。雖然與TensorFlow相比，它似乎沒有被廣泛使用，但MXNet的增長可能會因為成為一個Apache項目而得到提升。

MXNet基本特性：

該框架支持多種語言，如C ++，Python，R，Julia，JavaScript，Scala，Go，甚至Perl。 可以在多個GPU和許多機器上非常有效地並行計算。

MXNet優點：

支持多個GPU（具有優化的計算和快速上下文切換） 清晰且易於維護的代碼（Python，R，Scala和其他API） 快速解決問題的能力（對於像我這樣的深度學習新手至關重要）

雖然它不像TF那麼受歡迎，但MXNet具有詳細的文檔並且易於使用，能夠在命令式和符號式編程風格之間進行選擇，使其成為初學者和經驗豐富的工程師的理想選擇。

GLUON

Gluon是一個更好的深度學習框架，可以用來創建復雜的模型。GLUON基本特性：

Gluon的特殊性是具有一個靈活的界面，簡化了原型設計，構建和培訓深度學習模型，而不會犧牲學習速度。 Gluon基於MXNet，提供簡單的API，簡化深度學習模型的創建。 與PyTorch類似，Gluon框架支持使用動態圖表 ，將其與高性能MXNet相結合。從這個角度來看，Gluon看起來像是分布式計算的Keras非常有趣的替代品。

GLUON優點：

在Gluon中，您可以使用簡單，清晰和簡潔的代碼定義神經網路。 它將訓練演算法和神經網路模型結合在一起，從而在不犧牲性能的情況下提供開發過程的靈活性。 Gluon可以定義動態的神經網路模型，這意味著它們可以動態構建，使用任何結構，並使用Python的任何本機控制流。 SWIFT

當你聽到Swift時，您可能會考慮iOS或MacOS的應用程序開發。但是如果你正在學習深度學習，那麼你一定聽說過Swens for Tensorflow。通過直接與通用編程語言集成，Swift for TensorFlow可以以前所未有的方式表達更強大的演算法。SWIFT基本特性：

可以輕松獲得可微分的自定義數據結構。 下一代API 。通過實踐和研究獲得的新API更易於使用且更強大。 在TensorFlow的基礎上 ，Swift API為您提供對所有底層TensorFlow運算符的直接調用。 基於Jupyter、LLDB或者Swift in Colab的編程工具提高了您的工作效率。

SWIFT優點：

如果動態語言不適合您的任務，那麼這將是一個很好的選擇。當你訓練運行了幾個小時，然後你的程序遇到類型錯誤，那麼使用Swift，一種靜態類型語言。您將看到代碼錯誤的地方。 Chainer

直到CMU的DyNet和Facebook的PyTorch出現之前，Chainer是動態計算圖或網路的領先神經網路框架，它允許輸入數據長度不一致。chainer基本特性：

Chainer代碼是在Numpy和CuPy庫的基礎之上用純Python編寫的， Chainer是第一個使用動態架構模型的框架。

Chainer優點：

通過自己的基準測試，Chainer明顯比其他面向Python的框架更快，TensorFlow是包含MxNet和CNTK的測試組中最慢的。 比TensorFlow更好的GPU和GPU數據中心性能。最近Chainer成為GPU數據中心性能的全球冠軍。 DL4J

那些使用Java或Scala的人應該注意DL4J（Deep Learning for Java的簡稱）。DL4J的基本特性：

DL4J中的神經網路訓練通過簇的迭代並行計算。 該過程由Hadoop和Spark架構支持。 使用Java允許您在Android設備的程序開發周期中使用。

DL4J優點：

如果您正在尋找一個良好的Java深度學習框架，這會是一個非常好的平台。 ONNX

ONNX項目誕生於微軟和Facebook，旨在尋找深度學習模型呈現的開放格式。ONNX簡化了在人工智慧的不同工作方式之間傳遞模型的過程。因此ONNX具有各種深度學習框架的優點。

ONNX基本特性：

ONNX使模型能夠在一個框架中進行訓練並轉移到另一個框架中進行推理。ONNX模型目前在Caffe2，Microsoft Cognitive Toolkit，MXNet和PyTorch中得到支持，並且還有許多其他常見框架和庫的連接器。

ONNX優點：

對於PyTorch開發人員來說，ONNX是一個好的選擇。但是對於那些喜歡TensorFlow的人來說，Keras等可能好一點。 總結

那麼您應該使用哪種深度學習框架？下面是幾點建議：

如果你剛剛開始學習，那麼最好的選擇是Keras 。 出於研究目的，請選擇PyTorch 。 對於生產，您需要關注環境。因此對於Google Cloud，最好的選擇是TensorFlow ，適用於AWS - MXNet和Gluon 。 Android開發人員應該關注D4LJ ，對於iOS來說， Core ML會破壞類似的任務范圍。 最後， ONNX將幫助解決不同框架之間的交互問題。

❾ 什麼叫做深度學習框架，其作用是什麼

深度學習框架是一種為了深度學習開發而生的工具，庫和預訓練模型等資源的總和。有了這種框架，看似復雜神秘的深度學習模型開發被大大簡化，成為AI開發者的必用利器。

目前，TensorFlow和PyTorch明顯領先，其他框架勢微。如下圖所示，基於TensorFlow和PyTorch的開源項目，明顯領先其它框架。註：Keras不算完整的AI框架，另外KerasAPI已經成為TF2.0的高層API。

TensorFlow和PyTorch兩種框架未來相當時間內會趨同共存。現在PyTorch的在學術界廣泛採用；而TensorFlow依賴強大的部署能力，是應用首選。未來TensorFlow2.0大大提高易用性（集成Keras，支持動態庫EagerExecution等）; PyTorch也在利用ONNX提高部署能力。TensorFlow和PyTorch會越來越趨同。

TensorFlow和PyTorch已是未來幾年最主流的深度學習框架。圍繞這兩種框架的軟，硬體，和開發者生態將會迅猛發展，新框架越來越難以成長，其他框架差距越來越大。

❿ 有沒有針對深度學習演算法特性設計的硬體架構

推薦品牌： LINKZOL(聯眾集群)，可咨詢：1381O114665或 Q：3O8837972
他們可以提供軟體的安裝調試；
操作系統(安裝Ubuntu 14.04 LTS)、網路設備驅動安裝調試,並行環境(MPI庫安裝調試)、編譯工具及函數庫(GCC編譯套件、Intel編譯器、C/C++/Fortran)的安裝和調試等。
以及安裝所必須的CUDA環境如以下軟體：
編譯器：GNU編譯器，包括C/C++/Fortran編譯器；
Intel編譯器，包括C/C++/Fortran編譯器、MKL、MPI等；
並行環境：配置OpenMP並行環境；
配置OpenMPI、MPICH等MPI並行環境；
GPU開發環境：配置最新CUDA驅動、編譯器、調試器、SDK及例子文件等；
支持cuDNN加速，CUDA FFT、CUDA BLAS等；
深度學習框架：預裝Caffe, Torch, Theano, BIDMach、TensorFlow；其中，Caffe需要編譯提供python介面和Matla（支持mex編譯）介面；
DNN平台：基於B/S架構，便於用戶實時且可視化地進行DNN的訓練、測試等工作

推薦配置一：
計算平台採用：LZ743GR-2G/Q
系統：Ubuntu 14.04.3 x64
CPU:Intel Xeon十核E5-2630v4(2.2GHz,8.0 GT/s)
內存：原廠64GB內存 (16GB×4) DDR4 2133MHZ ECC-REG.（帶內存校錯技術，最大支持2T）
系統硬碟：INTEL 2.5寸240G 企業級SSD固態硬碟（最大支持8塊硬碟，類型：SATA,SSD）
系統硬碟:希捷3.5寸4T 7200RPM 企業級硬碟（最大支持8塊硬碟，類型：SATA,SSD;）
GPU卡：2塊NVIDIA TATAN-X GPU卡 （CUDA核心數3584個核心，12G DDR5 顯存，最大2個GPU卡）
電源：1200W High efficiency (96%)金牌電源

推薦配置二：
計算平台採用：LZ-748GT
系統：Ubuntu 14.04.3 x64
CPU:Intel Xeon十二核E5-2650v4(2.2GHz,9.6 GT/s)
內存：原廠256GB內存 (16GB×16) DDR4 2133MHZ ECC-REG.（帶內存校錯技術，最大支持2T）
系統硬碟：2塊INTEL 2.5寸480G 企業級SSD固態硬碟（最大支持8塊硬碟，類型：SATA,SSD）
系統硬碟:3塊希捷3.5寸4T 7200RPM 企業級硬碟（最大支持8塊硬碟，類型：SATA,SSD;）
GPU卡：4塊TESLA TITANX GPU計算卡或者4塊tesla P4O GPU卡 （CUDA核心數3584個核心，12G DDR5 顯存，最大4個GPU卡）
電源：2000W High efficiency (94%)冗餘鈦金電源

推薦配置三：
計算平台採用：LZ428GR-8G/Q
系統：Ubuntu 14.04.3 x64
CPU:Intel Xeon十四核E5-2690v4(2.6GHz,9.6GT/s)
內存：原廠256GB內存 (16GB×16) DDR4 2133MHZ ECC-REG.（帶內存校錯技術，最大支持2T）
系統硬碟：2塊INTEL 2.5寸480G 企業級SSD固態硬碟（最大支持8塊硬碟，類型：SATA,SSD）
系統硬碟:3塊希捷2.5寸2T 7200RPM 企業級硬碟（最大支持8塊硬碟，類型：SATA,SSD;）
GPU卡：8塊TESLA P40 GPU計算卡或者8塊NVIDIA TATAN-X GPU卡 （CUDA核心數3584個核心，12G DDR5 顯存，最大8個GPU卡）
電源：1600W（2+2） High efficiency (96%)鈦金電源