① linux無網情況下 如何安裝 sbt
1、下載sbt通用平台壓縮包：sbt-0.13.5.tgz
http://www.scala-sbt.org/download.html
2、建立目錄，解壓文件到所建立目錄
$ sudo tar zxvf sbt-0.13.5.tgz -C /opt/scala/
3、建立啟動sbt的腳本文件
/*選定一個位置，建立啟動sbt的腳本文本文件，如/opt/scala/sbt/ 目錄下面新建文件 名為sbt的文本文件*/
$ cd /opt/scala/sbt/
$ vim sbt
/*在sbt文本文件中添加
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"
然後按esc鍵 輸入 :wq 保存退出，注意紅色字體中的路徑是定位到解壓的sbt文件包中的sbt-launch.jar文件的絕對路徑*/
/×修改sbt文件許可權×/
$ chmod u+x sbt
4、配置PATH環境變數，保證在控制台中可以使用sbt命令
$ vim ~/.bashrc
/*在文件尾部添加如下代碼後，保存退出*/
export PATH=/opt/scala/sbt/:$PATH
/*使配置文件立刻生效*/
$ source ~/.bashrc
5、測試sbt是否安裝成功
/*第一次執行時，會下載一些文件包，然後才能正常使用，要確保聯網了，安裝成功後顯示如下*/
$ sbt sbt-version
[info] Set current project to sbt (in build file:/opt/scala/sbt/)
[info] 0.13.5
② 如何解決Oracle10gR2 ORA-19554關於SBT
ORA-19554: 配置設備時出錯, 設備類型: SBT_TAPE, 設備名稱
執行DELETE BACKUP,就報ORA-19554: 配置設備時出錯, 設備類型: SBT_TAPE, 設備名稱錯誤,RMAN配置如下:
代碼:--------------------------------------------------------------------------------
RMAN> show all;
RMAN 配置參數為:
CONFIGURE RETENTION POLICY TO REDUNDANCY 5;
CONFIGURE BACKUP OPTIMIZATION ON;
CONFIGURE DEFAULT DEVICE TYPE TO DISK;
CONFIGURE CONTROLFILE AUTOBACKUP OFF; # default
CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO '%F'; # default
CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE SBT_TAPE TO '%F'; # defa
ult
CONFIGURE DEVICE TYPE DISK PARALLELISM 1 BACKUP TYPE TO BACKUPSET; # default
CONFIGURE DEVICE TYPE SBT_TAPE PARALLELISM 1 BACKUP TYPE TO BACKUPSET; # default
CONFIGURE DATAFILE BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE DATAFILE BACKUP COPIES FOR DEVICE TYPE SBT_TAPE TO 1; # default
CONFIGURE ARCHIVELOG BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE ARCHIVELOG BACKUP COPIES FOR DEVICE TYPE SBT_TAPE TO 1; # default
CONFIGURE CHANNEL DEVICE TYPE DISK MAXPIECESIZE 80 M;
CONFIGURE CHANNEL DEVICE TYPE 'SBT_TAPE' MAXPIECESIZE 80 M;
CONFIGURE MAXSETSIZE TO UNLIMITED; # default
CONFIGURE ENCRYPTION FOR DATABASE OFF; # default
CONFIGURE ENCRYPTION ALGORITHM 'AES128'; # default
CONFIGURE ARCHIVELOG DELETION POLICY TO NONE; # default
CONFIGURE SNAPSHOT CONTROLFILE NAME TO 'D:ORACLEPRODUCT10.2.0DB_2DATABASES
NCFORCL.ORA'; # default
--------------------------------------------------------------------------------
錯誤：
RMAN> list backup;
使用目標資料庫控制文件替代恢復目錄
備份集列表
===================
BS 關鍵字 類型 LV 大小 設備類型 經過時間 完成時間
------- ---- -- ---------- ----------- ------------ ----------
26 Incr 1 6.80M DISK 00:00:03 22-10月-07
BP 關鍵字: 80 狀態: AVAILABLE 已壓縮: NO 標記: TAG20071022T090135
段名<img src="images/smilies/29.gif" border="0" alt="大笑">:ORACLEPRODUCT10.2.0FLASH_RECOVERY_AREAORCLBACKUPSET2007_10_22O1_M
F_NCSN1_TAG20071022T090135_3KQXPZCO_.BKP
包括的控制文件: Ckp SCN: 994967 Ckp 時間: 22-10月-07
包含的 SPFILE: 修改時間: 22-10月-07
RMAN> delete backup;
分配的通道: ORA_DISK_1
通道 ORA_DISK_1: sid=140 devtype=DISK
釋放的通道: ORA_DISK_1
RMAN-00571: ===========================================================
RMAN-00569: =============== ERROR MESSAGE STACK FOLLOWS ===============
RMAN-00571: ===========================================================
RMAN-03002: delete 命令 (在 10/23/2007 22:35:33 上) 失敗
ORA-19554: 配置設備時出錯, 設備類型: SBT_TAPE, 設備名稱:
ORA-27211: 未
--------------------------------------------------------------------------------
有很多sbt_tape,雖然default的配置仍然是Disk，可是這些參數可能是導致問題的罪魁禍首。
RMAN> show default device type;
RMAN configuration parameters are:
CONFIGURE DEFAULT DEVICE TYPE TO DISK;
解決方法：
清除以上設置，清除後恢復正常。
CONFIGURE CHANNEL DEVICE TYPE 'SBT_TAPE' clear;
③ scala程序怎麼形成jar包 sbt
一、編寫第一個用scala寫的spark應用：
仿照spark的 quick-start的Self-Contained Applications寫出第一個scala完整程序
鏈接如下：
即：
/* SimpleApp.scala */import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject SimpleApp {
def main(args: Array[String]) {
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}}
整個程序作用是：找到這個文件
YOUR_SPARK_HOME/README.md
中有幾個a和幾個b。
二、用sbt進行打包成jar：
命令：sbt package
具體步驟見
中的Self-Contained Applications
打包時候幾點注意：
1、
目錄結構一定要對
目錄結構可以通過find .來看
有點類似cmake的感覺
2、
總時間，近30分鍾，開始打開會terminal沒現象10分鍾，然後開始要各種resolve，之後要下載很多庫，我這邊網速超慢
sbt是個聯網編譯器，
Spark的應用用到了很多RDD的變換，來編譯這些庫都得去網上下相應的包
最後顯示，編譯時間11s
這時成功完成SimpleApp
三、在本機上測試：
命令為：
YOUR_SPARK_HOME/bin/spark-submit \
--class "SimpleApp" \
--master local[4] \
target/scala-2.10/simple-project_2.10-1.0.jar
我對jar的理解就是一個可執行文件了，這個可執行文件在JVM上就可以跑了，local中4是指設置成4個線程，但具體原因我也不知道
注意submit的參數：
--class中 SimpleApp是包名
上傳的的jar的地址別寫錯
一、編寫第一個用scala寫的spark應用：
仿照spark的 quick-start的Self-Contained Applications寫出第一個scala完整程序
鏈接如下：
即：
/* SimpleApp.scala */import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.SparkConfobject SimpleApp {
def main(args: Array[String]) {
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}}
整個程序作用是：找到這個文件
YOUR_SPARK_HOME/README.md
中有幾個a和幾個b。
二、用sbt進行打包成jar：
命令：sbt package
具體步驟見
中的Self-Contained Applications
打包時候幾點注意：
1、
目錄結構一定要對
目錄結構可以通過find .來看
有點類似cmake的感覺
2、
總時間，近30分鍾，開始打開會terminal沒現象10分鍾，然後開始要各種resolve，之後要下載很多庫，我這邊網速超慢
sbt是個聯網編譯器，
Spark的應用用到了很多RDD的變換，來編譯這些庫都得去網上下相應的包
最後顯示，編譯時間11s
這時成功完成SimpleApp
三、在本機上測試：
命令為：
YOUR_SPARK_HOME/bin/spark-submit \
--class "SimpleApp" \
--master local[4] \
target/scala-2.10/simple-project_2.10-1.0.jar
我對jar的理解就是一個可執行文件了，這個可執行文件在JVM上就可以跑了，local中4是指設置成4個線程，但具體原因我也不知道
注意submit的參數：
--class中 SimpleApp是包名
上傳的的jar的地址別寫錯
閱讀全文
④ 怎麼linux查看開啟amt，ism，sbt服務
rc後綴來源於Unix系統的前輩CTSS，它其中有個叫做「runcom」的命令腳本功能。早期的Unix版本使用rc在操作系統啟動腳本的文件名中，以尊重CTSS的成果。
⑤ 怎麼用Eclipse搭建Spark源碼閱讀環境
第一部分、軟體安裝
1、 安裝JDK （版本為1.7.0_11）
2、 安裝Scala （版本為2.11.2）
3、 安裝ScalaIDE（版本為3.0.4）
第二部分：加壓縮官網下載的源代碼包或者找到通過Git抽取的Spark源文件：
我用的是spark-1.1.1版本（最新版本），由於idea 13已經原生支持sbt，所以無須為idea安裝sbt插件。
源碼下載(用git工具)：
# Masterdevelopment branch
gitclone git://github.com/apache/spark.git
# 1.1 maintenancebranch with stability fixes on top of Spark 1.1.1
gitclone git://github.com/apache/spark.git -b branch-1.1
源碼更新（用git工具同步跟新源碼）：
gitclone https://github.com/apache/spark.git
第三部分：通過sbt工具，構建Scala的Eclipse工程，詳細步驟如下所示
1、通過cmd命令進入DOS界面，之後通過cd命令進入源代碼項目中，我下載的Spark.1.1.1版本的源代碼放在（E:\Spark計算框架的研究\spark_1_1_1_eclipse）文件夾中，之後運行sbt命令，如下所示：
2、運行sbt命令之後，解析編譯相關的jar包，並出現sbt命令界面窗口，出現的效果圖如下所示，之後運行eclipse命令，sbt對這個工程進行編譯，構建Eclipse項目，效果圖如下所示：
4、 打開ScalaIDE工具，File à Import à Existing Projects into Workspace à
Next à
選擇剛好用sbt工具編譯好的Eclipse工程（E:\Spark計算框架的研究\spark_1_1_1_eclipse），如下圖所示。
5、 通過上面的操作，就可以將通過sbt工具編譯生成的Eclipse項目導入到EclipseIDE開發環境中，效果圖如下所示：
錯誤提示如下所示：我導入的包為，如下文件夾中所示。
（E:\Spark計算框架的研究\spark_1_1_1_eclipse\lib_managed\bundles）
Description Resource Path Location Type
akka-remote_2.10-2.2.3-shaded-protobuf.jar is cross-compiled
with an incompatible version of Scala (2.10).
In case of errorneous report, this check can be disabled
in the compiler preference page.
spark-core Unknown Scala Classpath Problem
Description Resource Path Location Type
akka-slf4j_2.10-2.2.3-shaded-protobuf.jar is cross-compiled with
an incompatible version of Scala (2.10). In case of errorneous report,
this check can be disabled in the compiler preference page.
spark-core Unknown Scala Classpath Problem
Description Resource Path Location Type
akka-testkit_2.10-2.2.3-shaded-protobuf.jar is cross-compiled
with an incompatible version of Scala (2.10).
In case of errorneous report, this check can be disabled in the compiler preference page.
spark-core Unknown Scala Classpath Problem
Description Resource Path Location Type
akka-zeromq_2.10-2.2.3-shaded-protobuf.jar is cross-compiled
with an incompatible version of Scala (2.10).
In case of errorneous report, this check can be disabled in the compiler preference page.
spark-core Unknown Scala Classpath Problem
上面這些包兼容性問題還沒有解決，修改相應的jar包就可以解決。
⑥ idea中build.sbt文件中配置的jar包依賴一直報錯
第一步：看pom.xml中有沒有引入相關jar包的坐標； 第二步：執行mvn clean compile 命令，看看有沒有自動把jar包下到本地maven倉庫； 第三部：如果下載不成功，重新配置maven鏡像，重新執行第二部的命令 希望對樓主有幫助！
⑦ idea org.scala-sbt 存放目錄在哪
創建一個Scala – sbt項目sbtFirst
雖然這個項目採用sbt格局，但少了sbt-idea插件，IDEA並不能對這個項目進行操作，只能打開sbt console。
首先我們需要修改項目的build.sbt文件，添加需要的Scala版本和libraryDependencies，注意sbt文件每行之間必須有空行。
name := 「sbtTest」
version := 「1.0″
scalaVersion := 「2.10.4″
libraryDependencies += 「org.mongodb」 %% 「casbah」 % 「2.7.2″
sbt console點擊綠色的運行圖標，
執行console命令，sbt會根據build.sbt中的設置下載依賴jar。
注意，下載Scala的幾個jar慢的很蛋疼，所以最好用其他方式先把對應的jar包下載.
⑧ Linux裡面spark作用是什麼
Spark是通用數據處理引擎，適用於多種情況。 應用程序開發人員和數據科學家將Spark集成到他們的應用程序中，以快速地大規模查詢，分析和轉換數據。 與Spark最頻繁相關的任務包括跨大型數據集的互動式查詢，來自感測器或金融系統的流數據處理以及機器學習任務。
Spark於2009年開始運作，最初是加州大學伯克利分校AMPLab內部的一個項目。 更具體地說，它是出於證明Mesos概念的需要而誕生的，Mesos概念也是在AMPLab中創建的。 在Mesos白皮書《 Mesos：數據中心中的細粒度資源共享平台》中首次討論了Spark，其中最著名的作者是Benjamin Hindman和Matei Zaharia。
2013年，Spark成為Apache Software Foundation的孵化項目，並於2014年初被提升為該基金會的頂級項目之一。 Spark是基金會管理的最活躍的項目之一，圍繞該項目成長的社區包括多產的個人貢獻者和資金雄厚的企業支持者，例如Databricks，IBM和中國的華為。
從一開始，Spark就被優化為在內存中運行。 它比Hadoop的MapRece等替代方法更快地處理數據，後者傾向於在處理的每個階段之間向計算機硬碟寫入數據或從計算機硬碟寫入數據。 Spark的支持者聲稱，Spark在內存中的運行速度可以比Hadoop MapRece快100倍，並且在以類似於Hadoop MapRece本身的方式處理基於磁碟的數據時也可以快10倍。 這種比較並不完全公平，這不僅是因為原始速度對Spark的典型用例而言比對批處理更為重要，在這種情況下，類似於MapRece的解決方案仍然很出色。
⑨ scala maven sbt 哪個
SBT是Simple Build Tool的簡稱，如果讀者使用過Maven，那麼可以簡單將SBT看做是Scala世界的Maven，雖然二者各有優劣，但完成的工作基本是類似的。
雖然Maven同樣可以管理Scala項目的依賴並進行構建， 但SBT的某些特性卻讓人如此著迷，比如：
* 使用Scala作為DSL來定義build文件（one language rules them all）;
* 通過觸發執行(trigger execution)特性支持持續的編譯與測試；
* 增量編譯；^[SBT的增量編譯支持因為如此優秀，已經剝離為Zinc，可被Eclipse, Maven,Gradle等使用]
* 可以混合構建Java和Scala項目；
* 並行的任務執行；
* 可以重用Maven或者ivy的repository進行依賴管理；
等等這些，都是SBT得以在Scala的世界裡廣受歡迎的印記。
SBT的發展可以分為兩個階段， 即SBT_0.7.x時代以及SBT_0.10.x以後的時代。
目前來講， SBT_0.7.x已經很少使用， 大部分公司和項目都已經遷移到0.10.x以後的版本上來，最新的是0.12版本。 0.10.x之後的版本build定義採用了新的Settings系統，與最初0.7.x版本採用純Scala代碼來定義build文件大相徑庭，雖然筆者在遷移之前很抵觸（因為0.7.x中採用Scala定義build文件的做法可以體現很好的統一性），但還是升級並接納了0.10.x以後的版本，並且也逐漸意識到， 雖然新的版本初看起來很復雜，但一旦了解了其設計和實現的哲學跟思路，就會明白這種設計可以更便捷的定義build文件。而且可選的build文件方式也同樣運行採用Scala代碼來定義，即並未放棄統一性的思想。
以上是SBT的簡單介紹，如果讀者已經急於開始我們的SBT之旅，那麼讓我們先從SBT的安裝和配置開始吧！
## SBT安裝和配置
SBT的安裝和配置可以採用兩種方式，一種是所有平台都通用的安裝配置方式，另一種是跟平台相關的安裝和配置方式，下面我們分別對兩種方式進行詳細介紹。
### 所有平台通用的安裝配置方式
所有平台通用的安裝和配置方式只需要兩步：
1. 下載sbt boot launcher
- 本書採用最新的sbt0.12，其下載地址為<http://typesafe.artifactoryonline.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.12.0/sbt-launch.jar>；
2. 創建sbt啟動腳本（啟動腳本是平台相關的）
- 如果是Linux/Unit系統，創建名稱為sbt的腳本，並賦予其執行許可權，並將其加到PATH路徑中； sbt腳本內容類似於
``java -Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=384M -jar `dirname $0`/sbt-launch.jar "$@"``， 可以根據情況調整合適的java進程啟動參數；
- 如果是Windows系統，則創建sbt.bat命令行腳本，同樣將其添加到PATH路徑中。 腳本內容類似於``set SCRIPT_DIR=%~dp0 \n
java -Xmx512M -jar "%SCRIPT_DIR%sbt-launch.jar" %*``
以上兩步即可完成sbt的安裝和配置。
### 平台相關的安裝配置方式
筆者使用的是Mac系統，安裝sbt只需要執行``brew install sbt``即可（因為我已經安裝有homebrew這個包管理器），使用macport同樣可以很簡單的安裝sbt - ``sudo port install sbt``;
⑩ 怎麼讓程序運行在spark集群上
本文前提是已經正確安裝好scala,sbt以及spark了 簡述將程序掛載到集群上運行的步驟：
1、構建sbt標準的項目工程結構：SBT項目工程結構圖其中：~/build.sbt文件用來配置項目的基本信息（項目名、組織名、項目版本、使用的scala版本或者再次配置些項目所需的依賴包）；project/build.properties文件配置你要使用什麼版本的sbt對項目操作；project/plugins.sbt文件是給項目添加所需的插件；project/Build.scala文件是對項目進行些復雜的高級配置；詳細的sbt安裝配置實用參見博文：
2、到相應目錄下編寫程序，spark程序必須要創建一個SparkContext實例。SparkContext("master", "projectName", "SPARK_HOME", "yourProject.jar path")
3、sbt compile命令編譯程序無錯後，sbt package命令將程序打包。默認打包的jar文件存放路徑為：項目根目錄/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar
4、將打包好的jar問價添加到SPAK_CLASSPATH中（在linux中根據作用范圍的不同有多種更改環境變數的方式，這里只說我的配置方式：spark根目錄下的conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx）
5、配置好環境變數後就可以在spark的根目錄下使用./run腳本運行你的程序了例如：./run spark.examples.SparkPi spark://masterIP:port注意，如果程序涉及IO操作起默認路徑為SPARK_HOME；至於如何修改這個路徑，有待研究
轉載，僅供參考。