演算法benchmark

❶ Spark Streaming性能測試有什麼好的benchmark嗎

科普Spark，Spark是什麼，如何使用Spark

1.Spark基於什麼演算法的分布式計算（很簡單）
2.Spark與MapRece不同在什麼地方
3.Spark為什麼比Hadoop靈活
4.Spark局限是什麼
5.什麼情況下適合使用Spark

什麼是Spark
Spark是UC Berkeley AMP lab所開源的類Hadoop MapRece的通用的並行計算框架，Spark基於map rece演算法實現的分布式計算，擁有Hadoop MapRece所具有的優點；但不同於MapRece的是Job中間輸出和結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用於數據挖掘與機器學習等需要迭代的map rece的演算法。其架構如下圖所示：

Spark與Hadoop的對比
Spark的中間數據放到內存中，對於迭代運算效率更高。
Spark更適合於迭代運算比較多的ML和DM運算。因為在Spark裡面，有RDD的抽象概念。
Spark比Hadoop更通用
Spark提供的數據集操作類型有很多種，不像Hadoop只提供了Map和Rece兩種操作。比如map, filter, flatMap, sample, groupByKey, receByKey, union, join, cogroup, mapValues, sort,partionBy等多種操作類型，Spark把這些操作稱為Transformations。同時還提供Count, collect, rece, lookup, save等多種actions操作。
這些多種多樣的數據集操作類型，給給開發上層應用的用戶提供了方便。各個處理節點之間的通信模型不再像Hadoop那樣就是唯一的Data Shuffle一種模式。用戶可以命名，物化，控制中間結果的存儲、分區等。可以說編程模型比Hadoop更靈活。
不過由於RDD的特性，Spark不適用那種非同步細粒度更新狀態的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對於那種增量修改的應用模型不適合。
容錯性
在分布式數據集計算時通過checkpoint來實現容錯，而checkpoint有兩種方式，一個是checkpoint data，一個是logging the updates。用戶可以控制採用哪種方式來實現容錯。
可用性
Spark通過提供豐富的Scala, Java，Python API及互動式Shell來提高可用性。
Spark與Hadoop的結合
Spark可以直接對HDFS進行數據的讀寫，同樣支持Spark on YARN。Spark可以與MapRece運行於同集群中，共享存儲資源與計算，數據倉庫Shark實現上借用Hive，幾乎與Hive完全兼容。
Spark的適用場景
Spark是基於內存的迭代計算框架，適用於需要多次操作特定數據集的應用場合。需要反復操作的次數越多，所需讀取的數據量越大，受益越大，數據量小但是計算密集度較大的場合，受益就相對較小（大資料庫架構中這是是否考慮使用Spark的重要因素）
由於RDD的特性，Spark不適用那種非同步細粒度更新狀態的應用，例如web服務的存儲或者是增量的web爬蟲和索引。就是對於那種增量修改的應用模型不適合。總的來說Spark的適用面比較廣泛且比較通用。
運行模式
本地模式
Standalone模式
Mesoes模式
yarn模式
Spark生態系統
Shark ( Hive on Spark): Shark基本上就是在Spark的框架基礎上提供和Hive一樣的H iveQL命令介面，為了最大程度的保持和Hive的兼容性，Shark使用了Hive的API來實現query Parsing和 Logic Plan generation，最後的PhysicalPlan execution階段用Spark代替Hadoop MapRece。通過配置Shark參數，Shark可以自動在內存中緩存特定的RDD，實現數據重用，進而加快特定數據集的檢索。同時，Shark通過UDF用戶自定義函數實現特定的數據分析學習演算法，使得SQL數據查詢和運算分析能結合在一起，最大化RDD的重復使用。
Spark streaming: 構建在Spark上處理Stream數據的框架，基本的原理是將Stream數據分成小的時間片斷（幾秒），以類似batch批量處理的方式來處理這小部分數據。Spark Streaming構建在Spark上，一方面是因為Spark的低延遲執行引擎（100ms+）可以用於實時計算，另一方面相比基於Record的其它處理框架（如Storm），RDD數據集更容易做高效的容錯處理。此外小批量處理的方式使得它可以同時兼容批量和實時數據處理的邏輯和演算法。方便了一些需要歷史數據和實時數據聯合分析的特定應用場合。
Bagel: Pregel on Spark，可以用Spark進行圖計算，這是個非常有用的小項目。Bagel自帶了一個例子，實現了Google的PageRank演算法。
End.

❷ visual tracker benchmark有什麼用

在2015年的時候數據集由原來的50個序列擴充到現在的100個。
現在多數使用的是Benchmark V1.0來運行測試所有tracking的結果，在官網下載完代碼之後，裡面已經存在了關於各種tracker在不同數據集上的結果了。
想要驗證自己的tracker在這個基準上的結果，說來非常的簡單。
直接的方法：
首先將代碼先拷到benchmark_v1.0/tackers/這個文件夾下，你會發現裡面已有好幾個演算法的代碼文件夾了。
這邊注意了，我就是這樣的，沒有注意把代碼拷貝進去之後要自己寫一個調用函數，benchmark在運行的時候調用我們的演算法的函數，就是每個tracker文件夾當中的run_trackers名字，這個一定要有，格式也很簡單，參照其他的演算法應該很容易就能寫出來了。
第二步是：到benchmark_v1.0/util/configTrackers.m這個函數中，在trackers1這個結構體中添加上你的代碼的名字，比如：struct(『name』,』KCF』,』namePaper』,』KCF』),…。
第三步是：運行main_running.m函數。
這個過程當中你可能會遇到一些問題：第一個會是路徑的問題，這個需要你更改的路徑有configTrackers.m和configSeqs.m裡面的路徑，對應修改就可以了。還有一點就是在修改configTrackers.m的時候，你可能添加一個自己的tracker到已知的結構體當中會遇到運行main_running函數時出現錯誤，這個時候嘗試單獨把自己的tracker作為一個結構體，把其他的演算法都注釋掉，只剩下自己的tracker然後試試，因為這個時候其他的tracker結果都已經保存下來了，只需要自己的tracker的結果出來就好了。

❸ C++的粒子群演算法運行結果

PSO粒子群優化演算法 摘自：人工智慧論壇 1. 引言
粒子群優化演算法(PSO)是一種進化計算技術(evolutionary computation)，有Eberhart博士和kennedy博士發明。源於對鳥群捕食的行為研究 PSO同遺傳演算法類似，是一種基於疊代的優化工具。系統初始化為一組隨機解，通過疊代搜尋最優值。但是並沒有遺傳演算法用的交叉(crossover)以及變異(mutation)。而是粒子在解空間追隨最優的粒子進行搜索。詳細的步驟以後的章節介紹 同遺傳演算法比較，PSO的優勢在於簡單容易實現並且沒有許多參數需要調整。目前已廣泛應用於函數優化，神經網路訓練，模糊系統控制以及其他遺傳演算法的應用領域
2. 背景: 人工生命 "人工生命"是來研究具有某些生命基本特徵的人工系統. 人工生命包括兩方面的內容 1. 研究如何利用計算技術研究生物現象
2. 研究如何利用生物技術研究計算問題 我們現在關注的是第二部分的內容. 現在已經有很多源於生物現象的計算技巧. 例如, 人工神經網路是簡化的大腦模型. 遺傳演算法是模擬基因進化過程的. 現在我們討論另一種生物系統- 社會系統. 更確切的是, 在由簡單個體組成的群落與環境以及個體之間的互動行為. 也可稱做"群智能"(swarm intelligence). 這些模擬系統利用局部信息從而可能產生不可預測的群體行為 例如floys 和 boids, 他們都用來模擬魚群和鳥群的運動規律, 主要用於計算機視覺和計算機輔助設計. 在計算智能(computational intelligence)領域有兩種基於群智能的演算法. 蟻群演算法(ant colony optimization)和粒子群演算法(particle swarm optimization). 前者是對螞蟻群落食物採集過程的模擬. 已經成功運用在很多離散優化問題上. 粒子群優化演算法(PSO) 也是起源對簡單社會系統的模擬. 最初設想是模擬鳥群覓食的過程. 但後來發現PSO是一種很好的優化工具. 3. 演算法介紹 如前所述，PSO模擬鳥群的捕食行為。設想這樣一個場景：一群鳥在隨機搜索食物。在這個區域里只有一塊食物。所有的鳥都不知道食物在那裡。但是他們知道當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢。最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。 PSO從這種模型中得到啟示並用於解決優化問題。PSO中，每個優化問題的解都是搜索空間中的一隻鳥。我們稱之為「粒子」。所有的例子都有一個由被優化的函數決定的適應值(fitness value)，每個粒子還有一個速度決定他們飛翔的方向和距離。然後粒子們就追隨當前的最優粒子在解空間中搜索 PSO 初始化為一群隨機粒子(隨機解)。然後通過疊代找到最優解。在每一次疊代中，粒子通過跟蹤兩個"極值"來更新自己。第一個就是粒子本身所找到的最優解。這個解叫做個體極值pBest. 另一個極值是整個種群目前找到的最優解。這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分最為粒子的鄰居，那麼在所有鄰居中的極值就是局部極值。 在找到這兩個最優值時, 粒子根據如下的公式來更新自己的速度和新的位置 v[] = v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[]) (a)
present[] = persent[] + v[] (b) v[] 是粒子的速度, persent[] 是當前粒子的位置. pbest[] and gbest[] 如前定義 rand () 是介於（0， 1）之間的隨機數. c1, c2 是學習因子. 通常 c1 = c2 = 2. 程序的偽代碼如下 For each particle
____Initialize particle
END Do
____For each particle
________Calculate fitness value
________If the fitness value is better than the best fitness value (pBest) in history
____________set current value as the new pBest
____End ____Choose the particle with the best fitness value of all the particles as the gBest
____For each particle
________Calculate particle velocity according equation (a)
________Update particle position according equation (b)
____End
While maximum iterations or minimum error criteria is not attained 在每一維粒子的速度都會被限制在一個最大速度Vmax，如果某一維更新後的速度超過用戶設定的Vmax，那麼這一維的速度就被限定為Vmax 4. 遺傳演算法和 PSO 的比較 大多數演化計算技術都是用同樣的過程
1. 種群隨機初始化
2. 對種群內的每一個個體計算適應值(fitness value).適應值與最優解的距離直接有關
3. 種群根據適應值進行復制
4. 如果終止條件滿足的話，就停止，否則轉步驟2 從以上步驟，我們可以看到PSO和GA有很多共同之處。兩者都隨機初始化種群，而且都使用適應值來評價系統，而且都根據適應值來進行一定的隨機搜索。兩個系統都不是保證一定找到最優解 但是，PSO 沒有遺傳操作如交叉(crossover)和變異(mutation). 而是根據自己的速度來決定搜索。粒子還有一個重要的特點，就是有記憶。 與遺傳演算法比較, PSO 的信息共享機制是很不同的. 在遺傳演算法中，染色體(chromosomes) 互相共享信息，所以整個種群的移動是比較均勻的向最優區域移動. 在PSO中, 只有gBest (or lBest) 給出信息給其他的粒子， 這是單向的信息流動. 整個搜索更新過程是跟隨當前最優解的過程. 與遺傳演算法比較, 在大多數的情況下，所有的粒子可能更快的收斂於最優解 5. 人工神經網路 和 PSO 人工神經網路(ANN)是模擬大腦分析過程的簡單數學模型，反向轉播演算法是最流行的神經網路訓練演算法。進來也有很多研究開始利用演化計算(evolutionary computation)技術來研究人工神經網路的各個方面。 演化計算可以用來研究神經網路的三個方面：網路連接權重，網路結構(網路拓撲結構，傳遞函數)，網路學習演算法。 不過大多數這方面的工作都集中在網路連接權重，和網路拓撲結構上。在GA中，網路權重和/或拓撲結構一般編碼為染色體(Chromosome)，適應函數(fitness function)的選擇一般根據研究目的確定。例如在分類問題中，錯誤分類的比率可以用來作為適應值 演化計算的優勢在於可以處理一些傳統方法不能處理的例子例如不可導的節點傳遞函數或者沒有梯度信息存在。但是缺點在於：在某些問題上性能並不是特別好。2. 網路權重的編碼而且遺傳運算元的選擇有時比較麻煩 最近已經有一些利用PSO來代替反向傳播演算法來訓練神經網路的論文。研究表明PSO 是一種很有潛力的神經網路演算法。PSO速度比較快而且可以得到比較好的結果。而且還沒有遺傳演算法碰到的問題 這里用一個簡單的例子說明PSO訓練神經網路的過程。這個例子使用分類問題的基準函數(Benchmark function)IRIS數據集。(Iris 是一種鳶尾屬植物) 在數據記錄中，每組數據包含Iris花的四種屬性：萼片長度，萼片寬度，花瓣長度，和花瓣寬度，三種不同的花各有50組數據. 這樣總共有150組數據或模式。 我們用3層的神經網路來做分類。現在有四個輸入和三個輸出。所以神經網路的輸入層有4個節點，輸出層有3個節點我們也可以動態調節隱含層節點的數目，不過這里我們假定隱含層有6個節點。我們也可以訓練神經網路中其他的參數。不過這里我們只是來確定網路權重。粒子就表示神經網路的一組權重，應該是4*6+6*3=42個參數。權重的范圍設定為[-100，100] (這只是一個例子，在實際情況中可能需要試驗調整).在完成編碼以後，我們需要確定適應函數。對於分類問題，我們把所有的數據送入神經網路，網路的權重有粒子的參數決定。然後記錄所有的錯誤分類的數目作為那個粒子的適應值。現在我們就利用PSO來訓練神經網路來獲得盡可能低的錯誤分類數目。PSO本身並沒有很多的參數需要調整。所以在實驗中只需要調整隱含層的節點數目和權重的范圍以取得較好的分類效果。 6. PSO的參數設置 從上面的例子我們可以看到應用PSO解決優化問題的過程中有兩個重要的步驟: 問題解的編碼和適應度函數
PSO的一個優勢就是採用實數編碼, 不需要像遺傳演算法一樣是二進制編碼(或者採用針對實數的遺傳操作.例如對於問題 f(x) = x1^2 + x2^2+x3^2 求解, 粒子可以直接編碼為 (x1, x2, x3), 而適應度函數就是f(x). 接著我們就可以利用前面的過程去尋優.這個尋優過程是一個疊代過程, 中止條件一般為設置為達到最大循環數或者最小錯誤 PSO中並沒有許多需要調節的參數,下面列出了這些參數以及經驗設置 粒子數: 一般取 20 – 40. 其實對於大部分的問題10個粒子已經足夠可以取得好的結果, 不過對於比較難的問題或者特定類別的問題, 粒子數可以取到100 或 200 粒子的長度: 這是由優化問題決定, 就是問題解的長度 粒子的范圍: 由優化問題決定,每一維可是設定不同的范圍 Vmax: 最大速度,決定粒子在一個循環中最大的移動距離,通常設定為粒子的范圍寬度,例如上面的例子里,粒子 (x1, x2, x3) x1 屬於 [-10, 10], 那麼 Vmax 的大小就是 20 學習因子: c1 和 c2 通常等於 2. 不過在文獻中也有其他的取值. 但是一般 c1 等於 c2 並且范圍在0和4之間 中止條件: 最大循環數以及最小錯誤要求. 例如, 在上面的神經網路訓練例子中, 最小錯誤可以設定為1個錯誤分類, 最大循環設定為2000, 這個中止條件由具體的問題確定. 全局PSO和局部PSO: 我們介紹了兩種版本的粒子群優化演算法: 全局版和局部版. 前者速度快不過有時會陷入局部最優. 後者收斂速度慢一點不過很難陷入局部最優. 在實際應用中, 可以先用全局PSO找到大致的結果,再有局部PSO進行搜索. 另外的一個參數是慣性權重, 由Shi 和Eberhart提出, 有興趣的可以參考他們1998年的論文(題目: A modified particle swarm optimizer)

❹ 基於機器學習的目標跟蹤演算法和傳統的目標跟蹤演算法相比，有什麼優點

benchmark 2015版：Visual Tracker Benchmark 不過這些演算法都比較新 要看老的話主要是06年這篇paper 和09年有一篇暫時忘記paper名字了
古老的方法比如optical flow，kalman filter(後面的particle filter)……了解不多不瞎扯了

目前tracking主要是兩種，discriminative 和 generative，當然也有combine兩個的比如SCM。你提到的都是前者，就是演算法裡面基本有一個classifier可以分辨要追蹤的物體。這類除了你說的最近比較火的還有速度極占優勢的CSK（後來進化成KCF/DCF了）
另一種generative的方法，大致就是用模版（或者sparse code）抽一堆feature，按距離函數來匹配。L1，ASLA，LOT，MTT都是。

最近才開始了解tracking，所以說得可能並不是很對，僅供參考

❺ 如何證明演化演算法得到的解是近似最優解

1,用你的演化演算法作一個benchmark，如果達到近似最優解，說明你的演化演算法比較好。
2，演算法沒有缺點時，進行足夠的時間計算，可以作為近似最優解。
3，鬆弛約束後，根據差可以基本判斷是否最優解

❻ 偏移（shift）對優化演算法尋優的影響

對函數進行旋轉，最優點的位置並沒有改變；
對函數進行偏移，最優點的位置變了。
旋轉偏移操作，整個坐標位置也全都改變，對尋優演算法有個旋轉不變性的考驗。

❼ 誰有tsp的benchmark~即每個TSP問題的城市坐標及最優解！！跪求啊啊！

我這里有所有算例集數據以及各種演算法的的解和最優解，請問你還需要嗎

❽ ubuntu benchmark怎麼進行測試

一、Linpack簡介
Linpack是國際上最流行的用於測試高性能計算機系統浮點性能的benchmark。通過對高性能計算機採用高斯消元法求解一元N次稠密線性代數方程組的測試，評價高性能計算機的浮點性能。

Performance Linpack，也叫高度並行計算基準測試，它對數組大小N沒有限制，求解問題的規模可以改變，除基本演算法（計算量）不可改變外，可以採用其它任何優化方法。前兩種測試運行規模較小，已不是很適合現代計算機的發展。
HPL 是針對現代並行計算機提出的測試方式。用戶在不修改任意測試程序的基礎上，可以調節問題規模大小(矩陣大小)、使用CPU數目、使用各種優化方法等等來執 行該測試程序，以獲取最佳的性能。HPL採用高斯消元法求解線性方程組。求解問題規模為N時，浮點運算次數為(2/3 * N^3－2*N^2)。因此，只要給出問題規模N，測得系統計算時間T，峰值=計算量(2/3 * N^3－2*N^2)/計算時間T，測試結果以浮點運算每秒（Flops）給出。HPL測試結果是TOP500排名的重要依據。

二、Linpack安裝與測試
1． Linpack安裝條件：
在安裝HPL之前，系統中必須已經安裝了編譯器、並行環境MPI以及基本線性代數子方程(BLAS)或矢量圖形信號處理庫(VSIPL)兩者之一。

在Ubuntu下，使用apt-get安裝gfortran，mpich2，每個計算節點都需要安裝
安裝完後，可先使用mpicc編譯helloworld驗證mpi集群是否工作正常

hpl linpack預設配置是使用atlas的庫，所以這里我們安裝ATLAS
參考http://blog.sina.com.cn/s/blog_708532ea0100m8nt.html

根據atlas的安裝文檔, 首先要switch off cpu throttling.首先安裝cpufrequtils和cpufreqd這兩個包, 也許還要安裝powernowd包

從http://sourceforge.net/projects/math-atlas/files/下載atlas
cd ATLAS
mkdir build
cd build
../configure
make

編譯沒有問題的話會在lib目錄下生成幾個靜態庫

2． 安裝與編譯Linpack：
第一步，從www.netlib.org/benchmark/hpl 網站上下載HPL包hpl.tar.gz並解包

cd hpl-2.1
cp setup/Make.Linux_PII_CBLAS_gm Make.x86_64
vi Make.x86_64

修改下列配置：
ARCH = x86_64
TOPdir = $(HOME)/projects/hpl-2.1

LAdir = $(HOME)/projects/ATLAS/build/lib
LAinc =
LAlib = $(LAdir)/libcblas.a $(LAdir)/libatlas.a

然後開始編譯：
make arch=x86_64
如果出現符號找不到的問題，請檢查LAlib的庫的位置

cd bin/x86_64
在這個目錄下生成了兩個文件， HPL.dat是linpack計算的配置文件， xhpl是測試程序

這里有關於HPL.dat的配置說明：
http://blog.csdn.net/yosoqoo/article/details/3563349
其中幾個重要的參數(必須針對集群環境修改）
1 # 表示只做一次計算，使用下面的第一個數
100000 30 34 35 Ns #矩陣大小，為了測試性能，一般取N*N*8 ~ 內存總量，集群時考慮總內存量

1 # of NBs
192 2 3 4 NBs #分塊大小，經驗值192
4 1 4 Ps # PxQ 應該等於整個集群的進程數，一般等於cpu核數
16 4 1 Qs # P 一般<=Q

如果是單機，可以運行mpiexec -n 64 ./xhpl來看一下是否工作正常。
對於集群，首先需要保證所有機器的可以相互使用ssh無密碼登錄（比如要從s1登錄到s2,需要把s1上的.ssh/id_rsa.pub內容拷貝到s2的.ssh/authorized_keys里。
然後創建mpi_hosts文件，內容就是集群內各機器名稱，每個機器一行。

在每個機器上，都需要有相同的用戶，以及同樣的hpl-2.1路徑和文件HPL.data，xhpl程序

運行mpiexec -n 64 -f mpi_hosts, ./xhpl

注意：
1. 矩陣不能太小，要保證矩陣數據可以佔用大量內存，運行時可以free來查看內存使用量，用top，然後按1來查看cpu每個核的使用情況
2. 節點間數據傳輸量比較大，應該使用萬兆網路，否則網路會成為瓶頸。
3.本文只是為了驗證，並不是為了優化benchmark。如果要達到更好的benchmark數值，應該使用優化的blas庫，比如intel的mkl。intel的mkl本身就帶了linpack測試程序

❾ benchmark模型是什麼模型該模型是干什麼用的

沒有用過橋梁的benchmark，但是以前看過結構的，它們實際上出自一家。
首先，建議你把.m源程序通讀一遍，有規律可循，不費事的。當要加入自己的控制思路時，需要把源文件中的關於控制力分布，感測器分布，以及控制演算法這些部分都改成你自己的。
如果只是把這個benchmark問題中的結構模型當作自己論文中的一個例子模型拿來計算，那當然可以用ansys了；但要是論文的意圖側重benchmark的本來意圖（控制策略quot;比武quot;），最好還是用它提供的計算工具。

❿ 計算機視覺中，目前有哪些經典的目標跟蹤演算法

benchmark 2015版：Visual Tracker Benchmark 不過這些演算法都比較新 要看老的話主要是06年這篇paper http://crcv.ucf.e/papers/Object%20Tracking.pdf 和09年有一篇暫時忘記paper名字了
古老的方法比如optical flow，kalman filter(後面的particle filter)……了解不多不瞎扯了

目前tracking主要是兩種，discriminative 和 generative，當然也有combine兩個的比如SCM。你提到的都是前者，就是演算法裡面基本有一個classifier可以分辨要追蹤的物體。這類除了你說的最近比較火的還有速度極占優勢的CSK（後來進化成KCF/DCF了）
另一種generative的方法，大致就是用模版（或者sparse code）抽一堆feature，按距離函數來匹配。L1，ASLA，LOT，MTT都是。

最近才開始了解tracking，所以說得可能並不是很對，僅供參考