怎麼使用伺服器進行深度學習訓練

❶ 如何進行深度學習

深度學習是一個心理學概念，也是人工智慧的核心目標。
人工智慧方面的深度學習是指通過資料庫的形式解析事物的內在邏輯，用計算機語言進行識別、讀取、操作、反饋、修正等等這個過程。
而我理解的關於人的深度學習是不是跟深度睡眠一樣，深度睡眠的人享受睡眠過程，完全沉浸入其中，一時半會兒都喚不醒？
可以分為兩個方面探討：
1、人的深度學習要進行，是不是要對事物的本質，即內在邏輯了解清楚呢？比如說牛頓的萬有引力定律的發現，他是從蘋果掉地上的啟發而來，從而尋根究底，探尋到這個規律。這與興趣和韌性有關。
2、人的深度學習不要被不斷干擾。這與睡眠類似，不斷被吵醒的人，睡眠質量肯定不高，所以，要想深度學習，時間、空間都需要安排好來，還有工具、資料等等。

❷ 如何搭建一台深度學習伺服器

A、購買組裝好的伺服器，例如NVIDIA DIGITS DEVBOX
B、購買雲服務，例如Amazon的GPU服務
C、自己攢一台深度學習伺服器

❸ 如何配置一台深度學習主機

搞AI，誰又能沒有「GPU之惑」？下面列出了一些適合進行深度學習模型訓練的GPU，並將它們進行了橫向比較，一起來看看吧！

❹ 做深度學習的伺服器需要哪些配置

做一個深度學習伺服器，需要的配置，有散熱器，因為我們在使用這些東西的時候，他就一定會產生一些熱量，這個時候就需要一些散熱器，可以讓這個深度學習的服務去持續工作，而且散熱器最好選擇，容易非常實用，無噪音的那種。

❺ GPU伺服器的作用是什麼

GPU伺服器，簡單來說，GPU伺服器是基於GPU的應用於視頻編解碼、深度學習、科學計算等多種場景的快速、穩定、彈性的計算服務，我們提供和標准雲伺服器一致的管理方式。出色的圖形處理能力和高性能計算能力提供極致計算性能，有效解放計算壓力，提升產品的計算處理效率與競爭力。

下面幾個場景我們可以使用CPU伺服器，如果辦公場景需要建議大家配置GPU伺服器，如果場景無關，使用普通的伺服器也無妨。在下會根據大家的使用場景給到大家相匹配的伺服器類型和配置！

一、簡單深度學習模型

使用GPU伺服器為機器學習提供訓練或者預測，騰訊GPU雲伺服器帶有強大的計算能力，可作為深度學習訓練的平台，

可直接與外界連接通信。可以使用GPU伺服器作為簡單深度學習訓練系統，幫助完成基本的深度學習模型

二、復雜深度學習模型，騰訊雲GPU伺服器具有強大的計算能力，可以將

GPU伺服器作為深度學習訓練的平台。結合雲伺服器 CVM提供的計算服務、對象存儲

COS提供的雲存儲服務、雲資料庫MySQL提供的在線資料庫服務、雲監控和大禹提供的安全監控服務，圖片、視頻編解碼，可以採用GPU伺服器進行渲染，利用 GPU 加速器指令，讓數以千計的核心為您所用，加快圖形圖像編碼渲染速度。

這些是一些可以用到GPU伺服器的場景，所以如果您的使用需要比較高端，建議還是使用GPU伺服器。

❻ 如何通過python進行深度學習

作者 | Vihar Kurama

編譯 | 荷葉

來源 | 雲棲社區

摘要：深度學習背後的主要原因是人工智慧應該從人腦中汲取靈感。本文就用一個小例子無死角的介紹一下深度學習！

人腦模擬

深度學習背後的主要原因是人工智慧應該從人腦中汲取靈感。此觀點引出了「神經網路」這一術語。人腦中包含數十億個神經元，它們之間有數萬個連接。很多情況下，深度學習演算法和人腦相似，因為人腦和深度學習模型都擁有大量的編譯單元（神經元），這些編譯單元（神經元）在獨立的情況下都不太智能，但是當他們相互作用時就會變得智能。

我認為人們需要了解到深度學習正在使得很多幕後的事物變得更好。深度學習已經應用於谷歌搜索和圖像搜索，你可以通過它搜索像「擁抱」這樣的詞語以獲得相應的圖像。－傑弗里·辛頓

神經元

神經網路的基本構建模塊是人工神經元，它模仿了人類大腦的神經元。這些神經元是簡單、強大的計算單元，擁有加權輸入信號並且使用激活函數產生輸出信號。這些神經元分布在神經網路的幾個層中。

inputs 輸入 outputs 輸出 weights 權值 activation 激活

人工神經網路的工作原理是什麼？

深度學習由人工神經網路構成，該網路模擬了人腦中類似的網路。當數據穿過這個人工網路時，每一層都會處理這個數據的一方面，過濾掉異常值，辨認出熟悉的實體，並產生最終輸出。

輸入層：該層由神經元組成，這些神經元只接收輸入信息並將它傳遞到其他層。輸入層的圖層數應等於數據集里的屬性或要素的數量。輸出層：輸出層具有預測性，其主要取決於你所構建的模型類型。隱含層：隱含層處於輸入層和輸出層之間，以模型類型為基礎。隱含層包含大量的神經元。處於隱含層的神經元會先轉化輸入信息，再將它們傳遞出去。隨著網路受訓練，權重得到更新，從而使其更具前瞻性。

神經元的權重

權重是指兩個神經元之間的連接的強度或幅度。你如果熟悉線性回歸的話，可以將輸入的權重類比為我們在回歸方程中用的系數。權重通常被初始化為小的隨機數值，比如數值0-1。

前饋深度網路

前饋監督神經網路曾是第一個也是最成功的學習演算法。該網路也可被稱為深度網路、多層感知機（MLP）或簡單神經網路，並且闡明了具有單一隱含層的原始架構。每個神經元通過某個權重和另一個神經元相關聯。

該網路處理向前處理輸入信息，激活神經元，最終產生輸出值。在此網路中，這稱為前向傳遞。

inputlayer 輸入層 hidden layer 輸出層 output layer 輸出層

激活函數

激活函數就是求和加權的輸入到神經元的輸出的映射。之所以稱之為激活函數或傳遞函數是因為它控制著激活神經元的初始值和輸出信號的強度。

用數學表示為：

我們有許多激活函數，其中使用最多的是整流線性單元函數、雙曲正切函數和solfPlus函數。

激活函數的速查表如下：

反向傳播

在網路中，我們將預測值與預期輸出值相比較，並使用函數計算其誤差。然後，這個誤差會傳回這個網路，每次傳回一個層，權重也會根絕其導致的誤差值進行更新。這個聰明的數學法是反向傳播演算法。這個步驟會在訓練數據的所有樣本中反復進行，整個訓練數據集的網路更新一輪稱為一個時期。一個網路可受訓練數十、數百或數千個時期。

prediction error 預測誤差

代價函數和梯度下降

代價函數度量了神經網路對給定的訓練輸入和預期輸出「有多好」。該函數可能取決於權重、偏差等屬性。

代價函數是單值的，並不是一個向量，因為它從整體上評估神經網路的性能。在運用梯度下降最優演算法時，權重在每個時期後都會得到增量式地更新。

兼容代價函數

用數學表述為差值平方和：

target 目標值 output 輸出值

權重更新的大小和方向是由在代價梯度的反向上採取步驟計算出的。

其中η 是學習率

其中Δw是包含每個權重系數w的權重更新的向量，其計算方式如下：

target 目標值 output 輸出值

圖表中會考慮到單系數的代價函數

initial weight 初始權重 gradient 梯度 global cost minimum 代價極小值

在導數達到最小誤差值之前，我們會一直計算梯度下降，並且每個步驟都會取決於斜率（梯度）的陡度。

多層感知器（前向傳播）

這類網路由多層神經元組成，通常這些神經元以前饋方式（向前傳播）相互連接。一層中的每個神經元可以直接連接後續層的神經元。在許多應用中，這些網路的單元會採用S型函數或整流線性單元（整流線性激活）函數作為激活函數。

現在想想看要找出處理次數這個問題，給定的賬戶和家庭成員作為輸入

要解決這個問題，首先，我們需要先創建一個前向傳播神經網路。我們的輸入層將是家庭成員和賬戶的數量，隱含層數為1， 輸出層將是處理次數。

將圖中輸入層到輸出層的給定權重作為輸入：家庭成員數為2、賬戶數為3。

現在將通過以下步驟使用前向傳播來計算隱含層（i，j）和輸出層（k）的值。

步驟：

1， 乘法－添加方法。

2， 點積（輸入＊權重）。

3，一次一個數據點的前向傳播。

4， 輸出是該數據點的預測。

i的值將從相連接的神經元所對應的輸入值和權重中計算出來。

i = (2 * 1) + (3* 1) → i = 5

同樣地，j = (2 * -1) + (3 * 1) → j =1

K = (5 * 2) + (1* -1) → k = 9

Python中的多層感知器問題的解決

激活函數的使用

為了使神經網路達到其最大預測能力，我們需要在隱含層應用一個激活函數，以捕捉非線性。我們通過將值代入方程式的方式來在輸入層和輸出層應用激活函數。

這里我們使用整流線性激活（ReLU）:

用Keras開發第一個神經網路

關於Keras：

Keras是一個高級神經網路的應用程序編程介面，由Python編寫，能夠搭建在TensorFlow,CNTK,或Theano上。

使用PIP在設備上安裝Keras,並且運行下列指令。

在keras執行深度學習程序的步驟

1，載入數據；

2，創建模型；

3，編譯模型；

4，擬合模型；

5，評估模型。

開發Keras模型

全連接層用Dense表示。我們可以指定層中神經元的數量作為第一參數，指定初始化方法為第二參數，即初始化參數，並且用激活參數確定激活函數。既然模型已經創建，我們就可以編譯它。我們在底層庫（也稱為後端）用高效數字型檔編譯模型，底層庫可以用Theano或TensorFlow。目前為止，我們已經完成了創建模型和編譯模型，為進行有效計算做好了准備。現在可以在PIMA數據上運行模型了。我們可以在模型上調用擬合函數f（），以在數據上訓練或擬合模型。

我們先從KERAS中的程序開始，

神經網路一直訓練到150個時期，並返回精確值。

❼ 如何在阿里ECS雲端運行Jupyter Notebook進行機器/深度學習

1.首先你得有一台雲伺服器，這里我選用的是阿里雲ECS基礎版。別的伺服器都是大同小異，按步驟應該都可以。
2.下載遠程連接軟體putty,點擊下載，輸入阿里雲ECS公網IP,埠填22，SSH連接，按open按鈕就可以連接到遠程主機了。輸入賬號密碼就可以登陸遠程主機。(linux輸入密碼不會有任何顯示，不要懷疑自己鍵盤出問題了)

2.安裝Anaconda.Anaconda集成了大量的第三方pyhton庫，使用簡單，這里我們就選它了。
mkdir是新建一個目錄，用於放置我們的Anaconda.(這里並未分區，因為我也不會啊！委屈)
cd是進入目錄
wget 是從某個網址下載某個文件，後面是下載地址。你可以選擇你需要的版本，anaconda下載地址：https://www.continuum.io/downloads#linux
bash就是安裝anaconda

3.設置Jupyter登陸密碼
4.修改jupyper配置文件
5.啟動jupyter。在命令行輸入jupyter notebook &將jupyter加入任務。
6.遠程訪問。最重要的一步，退出所有連接！ecs不允許多終端在線的打開瀏覽器，輸入訪問地址http://ip:8888，輸入第3步設置的Jupyter密碼即可登錄

❽ 做深度學習，需要配置專門的GPU伺服器嗎

深度學習是需要配置專門的GPU伺服器的:

深度學習的電腦配置要求：

1、數據存儲要求

在一些深度學習案例中，數據存儲會成為明顯的瓶頸。做深度學習首先需要一個好的存儲系統，將歷史資料保存起來。

主要任務：歷史數據存儲，如：文字、圖像、聲音、視頻、資料庫等。

數據容量：提供足夠高的存儲能力。

讀寫帶寬：多硬碟並行讀寫架構提高數據讀寫帶寬。

介面：高帶寬，同時延遲低。

傳統解決方式：專門的存儲伺服器，藉助萬兆埠訪問。

缺點：帶寬不高，對深度學習的數據讀取過程時間長(延遲大，兩台機器之間數據交換)，成本還巨高。

2、CPU要求

當你在GPU上跑深度網路時，CPU進行的計算很少，但是CPU仍然需要處理以下事情：

（1）數據從存儲系統調入到內存的解壓計算。

（2）GPU計算前的數據預處理。

（3）在代碼中寫入並讀取變數，執行指令如函數調用，創建小批量數據，啟動到GPU的數據傳輸。

（4）GPU多卡並行計算前，每個核負責一塊卡的所需要的數據並行切分處理和控制。

（5）增值幾個變數、評估幾個布爾表達式、在GPU或在編程裡面調用幾個函數——所有這些會取決於CPU核的頻率，此時唯有提升CPU頻率。

傳統解決方式：CPU規格很隨意，核數和頻率沒有任何要求。

3、GPU要求

如果你正在構建或升級你的深度學習系統，你最關心的應該也是GPU。GPU正是深度學習應用的核心要素——計算性能提升上，收獲巨大。

主要任務：承擔深度學習的數據建模計算、運行復雜演算法。

傳統架構：提供1~8塊GPU。

4、內存要求

至少要和你的GPU顯存存大小相同的內存。當然你也能用更小的內存工作，但是，你或許需要一步步轉移數據。總而言之，如果錢夠而且需要做很多預處理，就不必在內存瓶頸上兜轉，浪費時間。

主要任務：存放預處理的數據，待GPU讀取處理，中間結果存放。

深度學習需要強大的電腦算力，因此對電腦的硬體配置自然是超高的，那麼現在普通的高算力電腦需要高配置硬體。

❾ 如何在後台部署深度學習模型

搭建深度學習後台伺服器

我們的Keras深度學習REST API將能夠批量處理圖像，擴展到多台機器(包括多台web伺服器和Redis實例)，並在負載均衡器之後進行循環調度。

為此，我們將使用:

• KerasRedis(內存數據結構存儲)

• Flask (Python的微web框架)

• 消息隊列和消息代理編程範例

本篇文章的整體思路如下：

我們將首先簡要討論Redis數據存儲，以及如何使用它促進消息隊列和消息代理。然後，我們將通過安裝所需的Python包來配置Python開發環境，以構建我們的Keras深度學習REST API。一旦配置了開發環境，就可以使用Flask web框架實現實際的Keras深度學習REST API。在實現之後，我們將啟動Redis和Flask伺服器，然後使用cURL和Python向我們的深度學習API端點提交推理請求。最後，我們將以對構建自己的深度學習REST API時應該牢記的注意事項的簡短討論結束。

第一部分：簡要介紹Redis如何作為REST API消息代理/消息隊列



測試和原文的命令一致。




第三部分：配置Python開發環境以構建Keras REST API

文章中說需要創建新的虛擬環境來防止影響系統級別的python項目（但是我沒有創建），但是還是需要安裝rest api所需要依賴的包。以下為所需要的包。





第四部分：實現可擴展的Keras REST API

首先是Keras Redis Flask REST API數據流程圖

讓我們開始構建我們的伺服器腳本。為了方便起見，我在一個文件中實現了伺服器，但是它可以按照您認為合適的方式模塊化。為了獲得最好的結果和避免復制/粘貼錯誤，我建議您使用本文的「下載」部分來獲取相關的腳本和圖像。

為了簡單起見，我們將在ImageNet數據集上使用ResNet預訓練。我將指出在哪裡可以用你自己的模型交換ResNet。flask模塊包含flask庫(用於構建web API)。redis模塊將使我們能夠與redis數據存儲介面。從這里開始，讓我們初始化將在run_keras_server.py中使用的常量.




我們將向伺服器傳遞float32圖像，尺寸為224 x 224，包含3個通道。我們的伺服器可以處理一個BATCH_SIZE = 32。如果您的生產系統上有GPU(s)，那麼您需要調優BATCH_SIZE以獲得最佳性能。我發現將SERVER_SLEEP和CLIENT_SLEEP設置為0.25秒(伺服器和客戶端在再次輪詢Redis之前分別暫停的時間)在大多數系統上都可以很好地工作。如果您正在構建一個生產系統，那麼一定要調整這些常量。

讓我們啟動我們的Flask app和Redis伺服器:





在這里你可以看到啟動Flask是多麼容易。在運行這個伺服器腳本之前，我假設Redis伺服器正在運行(之前的redis-server)。我們的Python腳本連接到本地主機6379埠(Redis的默認主機和埠值)上的Redis存儲。不要忘記將全局Keras模型初始化為None。接下來我們來處理圖像的序列化:





Redis將充當伺服器上的臨時數據存儲。圖像將通過諸如cURL、Python腳本甚至是移動應用程序等各種方法進入伺服器，而且，圖像只能每隔一段時間(幾個小時或幾天)或者以很高的速率(每秒幾次)進入伺服器。我們需要把圖像放在某個地方，因為它們在被處理前排隊。我們的Redis存儲將作為臨時存儲。

為了將圖像存儲在Redis中，需要對它們進行序列化。由於圖像只是數字數組，我們可以使用base64編碼來序列化圖像。使用base64編碼還有一個額外的好處，即允許我們使用JSON存儲圖像的附加屬性。

base64_encode_image函數處理序列化。類似地，在通過模型傳遞圖像之前，我們需要反序列化圖像。這由base64_decode_image函數處理。

預處理圖片





我已經定義了一個prepare_image函數，它使用Keras中的ResNet50實現對輸入圖像進行預處理，以便進行分類。在使用您自己的模型時，我建議修改此函數，以執行所需的預處理、縮放或規范化。

從那裡我們將定義我們的分類方法





classify_process函數將在它自己的線程中啟動，我們將在下面的__main__中看到這一點。該函數將從Redis伺服器輪詢圖像批次，對圖像進行分類，並將結果返回給客戶端。

在model = ResNet50(weights="imagenet")這一行中，我將這個操作與終端列印消息連接起來——根據Keras模型的大小，載入是即時的，或者需要幾秒鍾。

載入模型只在啟動這個線程時發生一次——如果每次我們想要處理一個映像時都必須載入模型，那麼速度會非常慢，而且由於內存耗盡可能導致伺服器崩潰。

載入模型後，這個線程將不斷輪詢新的圖像，然後將它們分類（注意這部分代碼應該時尚一部分的繼續）





在這里，我們首先使用Redis資料庫的lrange函數從隊列(第79行)中獲取最多的BATCH_SIZE圖像。

從那裡我們初始化imageIDs和批處理(第80和81行)，並開始在第84行開始循環隊列。

在循環中，我們首先解碼對象並將其反序列化為一個NumPy數組image(第86-88行)。

接下來，在第90-96行中，我們將向批處理添加圖像(或者如果批處理當前為None，我們將該批處理設置為當前圖像)。

我們還將圖像的id附加到imageIDs(第99行)。

讓我們完成循環和函數

在這個代碼塊中，我們檢查批處理中是否有圖像(第102行)。如果我們有一批圖像，我們通過模型(第105行)對整個批進行預測。從那裡，我們循環一個圖像和相應的預測結果(110-122行)。這些行向輸出列表追加標簽和概率，然後使用imageID將輸出存儲在Redis資料庫中(第116-122行)。

我們使用第125行上的ltrim從隊列中刪除了剛剛分類的圖像集。最後，我們將睡眠設置為SERVER_SLEEP時間並等待下一批圖像進行分類。下面我們來處理/predict我們的REST API端點





稍後您將看到，當我們發布到REST API時，我們將使用/predict端點。當然，我們的伺服器可能有多個端點。我們使用@app。路由修飾符以第130行所示的格式在函數上方定義端點，以便Flask知道調用什麼函數。我們可以很容易地得到另一個使用AlexNet而不是ResNet的端點，我們可以用類似的方式定義具有關聯函數的端點。你懂的，但就我們今天的目的而言，我們只有一個端點叫做/predict。

我們在第131行定義的predict方法將處理對伺服器的POST請求。這個函數的目標是構建JSON數據，並將其發送回客戶機。如果POST數據包含圖像(第137和138行)，我們將圖像轉換為PIL/Pillow格式，並對其進行預處理(第141-143行)。

在開發這個腳本時，我花了大量時間調試我的序列化和反序列化函數，結果發現我需要第147行將數組轉換為C-contiguous排序(您可以在這里了解更多)。老實說，這是一個相當大的麻煩事，但我希望它能幫助你站起來，快速跑。

如果您想知道在第99行中提到的id，那麼實際上是使用uuid(通用唯一標識符)在第151行生成的。我們使用UUID來防止hash/key沖突。

接下來，我們將圖像的id和base64編碼附加到d字典中。使用rpush(第153行)將這個JSON數據推送到Redis db非常簡單。

讓我們輪詢伺服器以返回預測

我們將持續循環，直到模型伺服器返回輸出預測。我們開始一個無限循環，試圖得到157-159條預測線。從這里，如果輸出包含預測，我們將對結果進行反序列化，並將結果添加到將返回給客戶機的數據中。我們還從db中刪除了結果(因為我們已經從資料庫中提取了結果，不再需要將它們存儲在資料庫中)，並跳出了循環(第163-172行)。

否則，我們沒有任何預測，我們需要睡覺，繼續投票(第176行)。如果我們到達第179行，我們已經成功地得到了我們的預測。在本例中，我們向客戶機數據添加True的成功值(第179行)。注意:對於這個示例腳本，我沒有在上面的循環中添加超時邏輯，這在理想情況下會為數據添加一個False的成功值。我將由您來處理和實現。最後我們稱燒瓶。jsonify對數據，並將其返回給客戶端(第182行)。這就完成了我們的預測函數。

為了演示我們的Keras REST API，我們需要一個__main__函數來實際啟動伺服器

第186-196行定義了__main__函數，它將啟動classify_process線程(第190-192行)並運行Flask應用程序(第196行)。

第五部分：啟動可伸縮的Keras REST API

要測試我們的Keras深度學習REST API，請確保使用本文的「下載」部分下載源代碼示例圖像。從這里，讓我們啟動Redis伺服器，如果它還沒有運行:

• redis-server



然後，在另一個終端中，讓我們啟動REST API Flask伺服器:

• python run_keras_server.py



另外，我建議在向伺服器提交請求之前，等待您的模型完全載入到內存中。現在我們可以繼續使用cURL和Python測試伺服器。

第七部分：使用cURL訪問Keras REST API

使用cURL來測試我們的Keras REST API伺服器。這是我的家庭小獵犬Jemma。根據我們的ResNet模型，她被歸類為一隻擁有94.6%自信的小獵犬。

• curl -X POST -F [email protected] 'http://localhost:5000/predict'



你會在你的終端收到JSON格式的預測:

• {"predictions": [{"label": "beagle","probability": 0.9461546540260315},{"label": "bluetick","probability": 0.031958919018507004},{"label": "redbone","probability": 0.006617196369916201},{"label": "Walker_hound","probability": 0.0033879687543958426},{"label": "Greater_Swiss_Mountain_dog","probability": 0.0025766862090677023}],"success": true}



第六部分：使用Python向Keras REST API提交請求

如您所見，使用cURL驗證非常簡單。現在，讓我們構建一個Python腳本，該腳本將發布圖像並以編程方式解析返回的JSON。

讓我們回顧一下simple_request.py

• # import the necessary packagesimport requests# initialize the Keras REST API endpoint URL along with the input# image pathKERAS_REST_API_URL = "http://localhost:5000/predict"IMAGE_PATH = "jemma.png"



我們在這個腳本中使用Python請求來處理向伺服器提交數據。我們的伺服器運行在本地主機上，可以通過埠5000訪問端點/predict，這是KERAS_REST_API_URL變數(第6行)指定的。

我們還定義了IMAGE_PATH(第7行)。png與我們的腳本在同一個目錄中。如果您想測試其他圖像，請確保指定到您的輸入圖像的完整路徑。

讓我們載入圖像並發送到伺服器:

• # load the input image and construct the payload for the requestimage = open(IMAGE_PATH, "rb").read()payload = {"image": image}# submit the requestr = requests.post(KERAS_REST_API_URL, files=payload).json()# ensure the request was sucessfulif r["success"]: # loop over the predictions and display them for (i, result) in enumerate(r["predictions"]): print("{}. {}: {:.4f}".format(i + 1, result["label"], result["probability"]))# otherwise, the request failedelse: print("Request failed")



我們在第10行以二進制模式讀取圖像並將其放入有效負載字典。負載通過請求發送到伺服器。在第14行發布。如果我們得到一個成功消息，我們可以循環預測並將它們列印到終端。我使這個腳本很簡單，但是如果你想變得更有趣，你也可以使用OpenCV在圖像上繪制最高的預測文本。

第七部分：運行簡單的請求腳本

編寫腳本很容易。打開終端並執行以下命令(當然，前提是我們的Flask伺服器和Redis伺服器都在運行)。

• python simple_request.py



使用Python以編程方式使用我們的Keras深度學習REST API的結果

第八部分：擴展深度學習REST API時的注意事項

如果您預期在深度學習REST API上有較長一段時間的高負載，那麼您可能需要考慮一種負載平衡演算法，例如循環調度，以幫助在多個GPU機器和Redis伺服器之間平均分配請求。

記住，Redis是內存中的數據存儲，所以我們只能在隊列中存儲可用內存中的盡可能多的圖像。

使用float32數據類型的單個224 x 224 x 3圖像將消耗602112位元組的內存。

❿ 學生能去哪裡租用便宜的gpu雲伺服器來進行深度學習計算

其實你可以去騰訊雲去租用GPU雲伺服器來進行深度學習計算。騰訊雲 GPU 實例類型眾多，應用廣泛，不同的實例類型有不同的產品定位。用戶可以根據自身的應用場景，結合性能、價格等因素，選擇最符合業務需求的實例。

比如你要進行深度學習計算，建議使用騰訊雲GN8/GN10X 實例。GN10Xp配備Tesla V100 NVLink 32GB GPU，具有強大的單精度浮點運算能力，並具備較大的 GPU 板載內存。最大實例規格配置8個 V100 ，80個 vGPU 和320GB主機內存，是深度學習訓練的首選。

GN10Xp 最大實例規格具備125.6 TFLOPS 單精度浮點運算能力，支持 Tensor Core 加速，單卡搭載32GB顯存，GPU 卡之間通過300GB/s的 NVLink 高速互連。強大的計算與數據吞吐能力大大縮短訓練周期，使得復雜模型的快速迭代成為可能，人工智慧相關業務得以把握先機。

騰訊雲GPU雲伺服器，管理很簡單GPU雲伺服器採用和雲伺服器CVM一致的管理方式，無需跳板機登錄，簡單易用。清晰的顯卡驅動的安裝、部署指引，免去高學習成本。而且節約成本，你無需預先採購、准備硬體資源，一次性購買，免除硬體更新帶來的額外費用，有效降低基礎設施建設投入。目前，騰訊雲的GPU雲伺服器已全面支持包年包月計費和按量計費，你可以根據需要選擇計費模式。