⑴ 使用集群運行你的python代碼
集群中有四台主機，master（無GPU），node01,node02,node03(GPU主機)，直接運行 python main.py 程序將在CPU中運行。
如下步驟可以運行你的程序：
在你的文件目錄下新建一個 lsf.sh 文件，正文寫入：
其中 python main.py 是你運行程序的命令，然後:
source activate 你的conda環境
開啟環境，用
bsub <lsf.sh 向集群提交運算任務。
即可運行程序，終端會給你一個任務序號，輸出文件就是 序號.out 和 序號.err 。
** 其他命令：**
bjobs -W 查看你的任務運行狀況
bhosts -gpu 查看集群GPU使用情況。
⑵ GMX中常見小錯誤匯總
Q: gmx genion命令：往溶劑中添加離子時報錯："No line with moleculetype SOL found the [ molecules ] section of file "topol.top"
A: 首先檢查拓撲文件是否正確，如果在拓撲沒有問題的情況下依然報錯，往往可能是由於拓撲文件在Windows系統下處理過，行尾標記有問題。用dos2unix工具處理一下拓撲文件即可。
Q: 到底是什麼錯誤導致了LINCS Warning？
A: 導致LINCS Warning的錯誤種類很多，導致這個問題比較難排查。但本質上是由於構型不合理導致的。具體可以參看有關這篇 譯文 。今日又發現一個導致LINCS Warning的錯誤：體系盒子太小！當模擬體系的盒子太小時，會導致mdrun過程中區域分解不合理，引發LINCS Warning。
Q: 傘形抽樣結果產生的histogram文件中只有一個峰？
A: 傘形抽樣過程中挑選了幾個窗口就會在histogram文件中產生幾個峰，不過在用xmgrace查看圖形時應使用 xmgrace -nxy histo.xvg 讀取多列數據。
Q: 使用虛原子時報錯atom XX (Res XXX) has mass 0 (state A) / 0 (state B)。
A: 虛原子的質量應當設置為一個非零的極小數，一般可以設為0.001。
Q: 如何使用constraint約束原子之間的角度。
A: 在[ constraint ]中添加一對原子即可強制採用約束演算法對兩者之間的相對位置進行約束，LINCS演算法精度更高但不會約束角度，SHAKE演算法則可實現對角度的約束。對於三原子間特殊的鍵角可以通過添加兩組constraint來實現。關於constraint的詳細信息可參照sob老師的 博文 。
Q: 運行模擬時報錯：
A: 這個錯誤不太常見，在網上並沒有查詢到很多的信息。在gmx郵件列表中僅有三四個相關的問題，Justin的回答也並沒有明確指出更正方法，只是指出該錯誤與拓撲文件以及約束設置有關，可以重點檢查。詳細信息參見 gmx郵件列表 。該問題的題主將constraints設置為all-bonds後沒用再出現該錯誤。此處我也通過修改all-bonds解決。
⑶ K8s集群上使用Helm部署2.4.6版本Rancher集群
參考文檔
Helm安裝Rancher
Rancher簡介
Rancher是一套容器管理平台，它可以幫助組織在生產環境中輕鬆快捷的部署和管理容器。 Rancher可以輕松地管理各種環境的Kubernetes，滿足IT需求並為DevOps團隊提供支持。
Kubernetes不僅已經成為的容器編排標准，它也正在迅速成為各類雲和虛擬化廠商提供的標准基礎架構。Rancher用戶可以選擇使用Rancher Kubernetes Engine(RKE)創建Kubernetes集群，也可以使用GKE，AKS和EKS等雲Kubernetes服務。 Rancher用戶還可以導入和管理現有的Kubernetes集群。
Rancher支持各類集中式身份驗證系統來管理Kubernetes集群。例如，大型企業的員工可以使用其公司Active Directory憑證訪問GKE中的Kubernetes集群。IT管理員可以在用戶，組，項目，集群和雲中設置訪問控制和安全策略。 IT管理員可以在單個頁面對所有Kubernetes集群的健康狀況和容量進行監控。
Rancher為DevOps工程師提供了一個直觀的用戶界面來管理他們的服務容器，用戶不需要深入了解Kubernetes概念就可以開始使用Rancher。 Rancher包含應用商店，支持一鍵式部署Helm和Compose模板。Rancher通過各種雲、本地生態系統產品認證，其中包括安全工具，監控系統，容器倉庫以及存儲和網路驅動程序。下圖說明了Rancher在IT和DevOps組織中扮演的角色。每個團隊都會在他們選擇的公共雲或私有雲上部署應用程序。
集群環境
Helm環境
添加Chart倉庫地址
通過Helm安裝Rancher
注意：這里指定了hostname=rancher.minminmsn.com，必須使用域名訪問才行。
注意：rancher默認使用https訪問，因此，需要有一個公網的SSL才行，可以使用之前ingress-secret2021。
注意：其中有幾個參數需要特別注意，如果不注意後續再修改服務配置也可，比如namespace、hostname、ingress等，下面正式helm部署rancher
發現默認是3節點rancher集群，測試k8s集群只有2個節點，所以有1個pod沒有啟動，這里需要修改deploy中的replicas為2
修改其中replicas由2變為2
全部內容如下
修改ingress證書
需要修改rancher默認ingress的secretName由tls-rancher-ingress變更為ingress-secret2021
登陸rancher設置環境
默認密碼為admin需要設置復雜密碼，默認語言為英文可以改為中文，默認管理本地k8s集群
添加TKE集群
創建ptech集群並導入，需要在ptech集群上執行如下
創建enterprise集群並導入，需要在enterprise集群上執行如下
最終效果如下
⑷ linux集群使用命令
存儲NAS 文件操作
df -h查看空間使用情況
警惕超大 nohup.out
任務提交
任務提交前
qhost--查看集群負載狀態
qsub / qsub-sge.pl--提交任務
qstat--查看任務狀態
qdel / qmod--任務控制
任務查看
qhost -j---列出所有用戶在每個節點上的任務
qhost -q---列出每個節點上每個隊列的任務數
qhost -u username---列出某個用戶在每個節點上的任務
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh
任務查看2
qstat -u username---查看某個用戶的任務
qstat -u *,---查看所有用戶的任務
qstat –j jobs_ID---查看某個任務的詳細信息
查看.e和.o文件
.e：錯誤信息
.o：標准輸出
任務控制
qdel jobID---刪除某個任務
qdel -u username---刪除某個用戶的所有任務
qmod -s jobID--掛起某個任務
qmod -us jobID---繼續運行某個掛起的任務
按任務佔用內存大小選擇相應的隊列
查看隊列 qstat -g c
QUEUE
PE.q--並行
cloud.q--雲平台
general.q--96G節點
middle.q--96G節點
great.q--大內存節點
plus.q--大內存節點
single.q--Trinity組裝
single._p.q---Trinity組裝（佔用內存較大）
TOP監視
編輯於 2017-04-21
⑸ 【Redis】Redis Cluster-集群數據遷移
Redis通過對KEY計算hash，將KEY映射到slot，集群中每個節點負責一部分slot的方式管理數據，slot最大個數為16384。
在集群節點對應的結構體變數clusterNode中可以看到slots數組，數組的大小為CLUSTER_SLOTS除以8，CLUSTER_SLOTS的值是16384：
clusterState
clusterNode裡面保存了節點相關的信息，集群數據遷移信息並未保存在clusterNode中，而是使用了clusterState結構體來保存：
clusterState與clusterNode的關系
在手動進行數據遷移時，需要執行以下步驟：
在進行數據遷移之前，首先在需要遷入的目標節點使用 SETSLOT 命令標記要將SLOT從哪個節點遷入到當前節點：
然後在源節點也就是slot所在節點使用 MIGRATING 命令標記將數據遷出到哪個節點：
比如slot1當前在node1中，需要將slot1遷出到node2,那麼首先在nodd2上執行 IMPORTING 命令，標記slot准備從node1遷到當前節點node2中：
然後在node1中執行 MIGRATING 命令標記slot1需要遷移到node2：
clusterCommand
SETSLOT 命令的處理在clusterCommand函數（cluster.c文件中）中：
在標記完遷入、遷出節點後，就可以使用 CLUSTER GETKEYSINSLOT 命令獲取待遷出的KEY：
<slot>：哈希槽的值
<count>：遷出KEY的數量
getkeysinslot 命令的處理也在clusterCommand函數中，處理邏輯如下：
完成上兩步之後，接下來需要在源節點中執行 MIGRATE 命令進行數據遷移， MIGRATE 既支持單個KEY的遷移，也支持多個KEY的遷移，語法如下：
migrateCommand
MIGRATE 命令對應的處理函數在migrateCommand中（cluster.c文件中），處理邏輯如下：
createDumpPayload
createDumpPayload函數在cluster.c文件中：
restoreCommand
目標節點收到遷移的數據的處理邏輯在restoreCommand中（cluster.c文件中）：
數據遷移的最後一步， 需要使用 CLUSTER SETSLOT 命令，在源節點和目標節點執行以下命令，標記slot最終所屬的節點，並清除第一步中標記的遷移信息 ：
<slot>：哈希槽
<node>：哈希槽最終所在節點id
clusterCommand
CLUSTER SETSLOT <slot> NODE <node> 命令的處理依舊在 clusterCommand 函數中，處理邏輯如下：
總結
參考
極客時間 - Redis源碼剖析與實戰(蔣德鈞)
Redis版本：redis-6.2.5
⑹ TOOLs:slurm集群的使用
目前用過的集群系統有PBS/qsub系統，感覺是命令簡單，容易上手。
現在使用的是SLURM系統，
SLURM系統常用命令如下：
注意把 username 替換成你自己的賬戶名
1.常用的查看、取消、運行命令
任務狀態碼說明：PD排隊；R運行；S掛起；CG正在退出
中心的伺服器node01大節點，80核，500G mem,node02-09小節點，56核，120G mem。
當提交的任務的cpu數量超過node的總cpu數量時候，任務可以被正常提交，但是無法被執行。
2.test.s的內容和參數
注意：partition需要自己查看自己的伺服器的分區名稱，使用 sinfo 命令可以查看到。
參考1 PBS和slurm的命令對比
⑺ 如何在Linux下搭建hadoop集群環境 小殘's Blog
前期准備
l 兩台linux虛擬機（本文使用redhat5，IP分別為 IP1、IP2）
l JDK環境（本文使用jdk1.6，網上很多配置方法，本文省略）
l Hadoop安裝包（本文使用Hadoop1.0.4）
搭建目標
210作為主機和節點機，211作為節點機。
搭建步驟
1修改hosts文件
在/etc/hosts中增加：
IP1 hadoop1
IP2 hadoop2
2 實現ssh無密碼登陸
2.1 主機（master）無密碼本機登陸
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
直接回車，完成後會在 ~/.ssh/ 生成兩個文件： id_dsa 和 id_dsa.pub 。
這兩個是成對出現，類似鑰匙和鎖。
再把 id_dsa.pub 追加到授權 key 裡面 ( 當前並沒有 authorized_key s文件 ) ：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost hostname
還是要輸入密碼，一般這種情況都是因為目錄或文件的許可權問題，看看系統日誌，確實是許可權問題
.ssh下的authorized_keys許可權為600，其父目錄和祖父目錄應為755
2.2 無密碼登陸節點機（slave）
slave上執行：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
生成.ssh目錄。
將master上的authorized_keys復制到slave上：
scp authorized_keys hadoop2:~/.ssh/
實驗：在master上執行
ssh hadoop2
實現無密碼登陸。
3 配置Hadoop
3.1拷貝hadoop
將hadoop-1.0.4.tar.gz ,拷貝到usr/local 文件夾下，然後解壓。
解壓命令：
tar –zxvf hadoop-1.0.4.tar.gz
3.2查看 cat /etc/hosts
IP1 hadoop1
IP2 hadoop2
3.3 配置 conf/masters 和 conf/slaves
conf/masters：
1
IP1
conf/slaves：
1
2
IP2
IP2
3.4 配置 conf/hadoop-env.sh
加入
1
export JAVA_HOME=/home/elvis/soft/jdk1.7.0_17
3.5 配置 conf/core-site.xml
1
2
3
4
<property>
<name>fs.default.name</name>
<value>hdfs://IP1:9000</value>
</property>
3.6 配置 conf/hdfs-site.xml
加入
<property>
<name>dfs.http.address</name>
<value>IP1:50070</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
3.7 配置conf/mapred-site.xml
加入
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.50:8012</value>
</property>
3.8 建立相關的目錄
1
/usr/local/hadoop/ //hadoop數據和namenode目錄
【注意】只創建到hadoop目錄即可，不要手動創建data和namenode目錄。
其他節點機也同樣建立該目錄。
3.9 拷貝hadoop文件到其他節點機
將hadoop文件遠程到其他節點（這樣前面的配置就都映射到了其他節點上），
命令：
1
scp -r hadoop-1.0.4 IP2:/usr/local/
3.10 格式化Active master
命令：
bin/hadoop namenode -format
3.11 啟動集群 ./start-all.sh
現在集群啟動起來了，看一下，命令：
1
bin/hadoop dfsadmin -report
2個datanode，打開web看一下
瀏覽器輸入:IP1:50070
打完收工，集群安裝完成！