導航:首頁 > 編程語言 > python連接spark集群

python連接spark集群

發布時間:2022-11-27 10:38:40

㈠ 如何安裝Spark amp;TensorflowOnSpark

安裝JAVA和Hadoop

這里提供一個很好的教程,就是又好用,又好看的教程。

按照這個教程來,基本上就沒有太多坑地完成安裝。不過也要注意一些點。

㈡ 有沒有Python寫的spark連接Hbase的例子

沒有sprak寫得連接hbase的例子
spark編程python實例
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[])
1.pyspark在jupyter notebook中開發,測試,提交
1.1.啟動
IPYTHON_OPTS="notebook" /opt/spark/bin/pyspark11

下載應用,將應用下載為.py文件(默認notebook後綴是.ipynb)

在shell中提交應用
[email protected]:/opt/spark/bin$ spark-submit /bin/spark-submit /home/wxl/Downloads/pysparkdemo.py11

!
3.遇到的錯誤及解決
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*])
d*
3.1.錯誤
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*])
d*
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by <mole> at /usr/local/lib/python2.7/dist-packages/IPython/utils/py3compat.py:28811

3.2.解決,成功運行
在from之後添加
try:
sc.stop()
except:
pass
sc=SparkContext('local[2]','First Spark App')1234512345

貼上錯誤解決方法來源StackOverFlow
4.源碼
pysparkdemo.ipynb
{
"cells": [
{
"cell_type": "code",
"execution_count": 1,
"metadata": {
"collapsed": true
},
"outputs": [],
"source": [
"from pyspark import SparkContext"
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {
"collapsed": true
},
"outputs": [],
"source": [
"try:\n",
" sc.stop()\n",
"except:\n",
" pass\n",
"sc=SparkContext('local[2]','First Spark App')"
]
},
{
"cell_type": "code",
"execution_count": 3,
"metadata": {
"collapsed": true
},
"outputs": [],
"source": [
"data = sc.textFile(\"data/UserPurchaseHistory.csv\").map(lambda line: line.split(\",\")).map(lambda record: (record[0], record[1], record[2]))"
]
},
{
"cell_type": "code",
"execution_count": 4,
"metadata": {
"collapsed": false,
"scrolled": true
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Total purchases: 5\n"
]
}
],
"source": [
"numPurchases = data.count()\n",
"print \"Total purchases: %d\" % numPurchases"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"collapsed": true
},
"outputs": [],
"source": []
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 2",
"language": "python",
"name": "python2"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 2
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython2",
"version": "2.7.12"
}
},
"nbformat": 4,
"nbformat_minor": 0
}

pysparkdemo.py

# coding: utf-8

# In[1]:

from pyspark import SparkContext

# In[2]:

try:
sc.stop()
except:
pass
sc=SparkContext('local[2]','First Spark App')

# In[3]:

data = sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

# In[4]:

numPurchases = data.count()
print "Total purchases: %d" % numPurchases

# In[ ]:

㈢ 如何運行含spark的python腳本

2~spark$ bin/spark-submit first.py
-----------first.py-------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
lines = sc.textFile("first.py")
pythonLines = lines.filter(lambda line: "Python" in line)
print "hello python"
print pythonLines.first()
print pythonLines.first()
print "hello spark!"
---------------------------------------------------
hello python
pythonLines = lines.filter(lambda line: "Python" in line)
pythonLines = lines.filter(lambda line: "Python" in line)
hello spark!

到spark的安裝目錄下/bin 下面 spark-submit ***.py 即可

㈣ 機器學習實踐:如何將Spark與Python結合

可以學習一下林大貴這本書,從頭到尾教你如何使用python+spark+hadoop實現常用的演算法訓練和部署。

《Python+Spark2.0+Hadoop機器學習與大數據實戰_林大貴》

鏈接:https://pan..com/s/1VGUOyr3WnOb_uf3NA_ZdLA

提取碼:ewzf

㈤ intellij idea 怎麼編寫python程序打包發送到spark

,客戶端和虛擬集群中hadoop、spark、scala的安裝目錄是一致的,這樣開發的spark應用程序的時候不需要打包spark開發包和scala的庫文件,減少不必要的網路IO和磁碟IO。當然也可以不一樣,不過在使用部署工具spark-submit的時候需要參數指明classpath。
1:IDEA的安裝
官網jetbrains.com下載IntelliJ IDEA,有Community Editions 和& Ultimate Editions,前者免費,用戶可以選擇合適的版本使用。
根據安裝指導安裝IDEA後,需要安裝scala插件,有兩種途徑可以安裝scala插件:

啟動IDEA -> Welcome to IntelliJ IDEA -> Configure -> Plugins -> Install JetBrains plugin... -> 找到scala後安裝。
啟動IDEA -> Welcome to IntelliJ IDEA -> Open Project -> File -> Settings -> plugins -> Install JetBrains plugin... -> 找到scala後安裝。

㈥ Spark的四種運行模式

介紹
本地模式
Spark單機運行,一般用於開發測試。

Standalone模式
構建一個由Master+Slave構成的Spark集群,Spark運行在集群中。

Spark on Yarn模式
Spark客戶端直接連接Yarn。不需要額外構建Spark集群。

Spark on Mesos模式
Spark客戶端直接連接Mesos。不需要額外構建Spark集群。

啟動方式: spark-shell.sh(Scala)
spark-shell通過不同的參數控制採用何種模式進行。 涉及兩個參數:

對於Spark on Yarn模式和Spark on Mesos模式還可以通過 –deploy-mode參數控制Drivers程序的啟動位置。

進入本地模式:

進入Standalone模式:

備註:測試發現MASTER_URL中使用主機名替代IP地址無法正常連接(hosts中有相關解析記錄),即以下命令連接不成功:

./spark-shell --master spark://ctrl:7077 # 連接失敗
Spark on Yarn模式

備註:Yarn的連接信息在Hadoop客戶端的配置文件中指定。通過spark-env.sh中的環境變數HADOOPCONFDIR指定Hadoop配置文件路徑。

Spark on Mesos模式:

啟動方式: pyspark(Python)
參數及用法與Scala語言的spark-shell相同,比如:

㈦ 如何在pycharm中配置Spark

打開pycharm,導入已有的或者新建工程。
創建新的run configurition。
選擇edit configurition。
設置環境,創建PYTHONPATH和SPARK_HOME
配置路徑,都可以在Spark安裝路徑下找到:

選擇 File->setting->你的project->project structure

右上角Add content root添加:py4j-some-version.zip和pyspark.zip的路徑(這兩個文件都在Spark中的python文件夾下,自己找一下)
保存,ok

㈧ 如何運行含spark的python腳本

1、Spark腳本提交/運行/部署1.1spark-shell(交互窗口模式)運行Spark-shell需要指向申請資源的standalonespark集群信息,其參數為MASTER,還可以指定executor及driver的內存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell啟動完後,可以在交互窗口中輸入Scala命令,進行操作,其中spark-shell已經默認生成sc對象,可以用:valuser_rdd1=sc.textFile(inputpath,10)讀取數據資源等。1.2spark-shell(腳本運行模式)上面方法需要在交互窗口中一條一條的輸入scala程序;將scala程序保存在test.scala文件中,可以通過以下命令一次運行該文件中的程序代碼:sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077

㈨ 如何在ipython或python中使用Spark

在ipython中使用spark
說明:
spark 1.6.0
scala 2.10.5
spark安裝路徑是/usr/local/spark;已經在.bashrc中配置了SPARK_HOME環境變數。
方法一
/usr/local/Spark/bin/pyspark默認打開的是Python,而不是ipython。通過在pyspark文件中添加一行,來使用ipython打開。
cp pyspark ipyspark
vi ipyspark
# 在最前面添加
IPYTHON=1
# 啟動
ipyspark
方法二:
通過為spark創建一個ipython 配置的方式實現。
# 為spark創建一個ipython 配置
ipython profile create spark
# 創建啟動配置文件
cd ~/.config/ipython/profile_spark/startup
vi 00-pyspark-setup.py
在00-pyspark-setup.py中添加如下內容:
import os
import sys
# Configure the environment
if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '/srv/spark'
# Create a variable for our root path
SPARK_HOME = os.environ['SPARK_HOME']
# Add the PySpark/py4j to the Python Path
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "pyspark"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "lib", "py4j-0.9-src.zip"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))
啟動ipython
ipython –profile spark
測試程序
在ipython中輸入一下命令,如果下面的程序執行完後輸出一個數字,說明正確。
from pyspark import SparkContext
sc = SparkContext( 'local', 'pyspark')
def isprime(n):
"""
check if integer n is a prime
"""
# make sure n is a positive integer
n = abs(int(n))
# 0 and 1 are not primes
if n < 2:
return False
# 2 is the only even prime number
if n == 2:
return True
# all other even numbers are not primes
if not n & 1:
return False
# for all odd numbers
for x in range(3, int(n**0.5)+1, 2):
if n % x == 0:
return False
return True
# Create an RDD of numbers from 0 to 1,000,000
nums = sc.parallelize(xrange(1000000))
# Compute the number of primes in the RDD
print 逗Result: 地, nums.filter(isprime).count()
方法三
將上面的程序放入test.py文件,執行命令python test.py。發現錯誤。因為沒有將pyspark路徑加入PYTHONPATH環境變數。
在~/.bashrc或/etc/profile中添加如下內容:
# python can call pyspark directly
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/pyspark:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
執行如下命令:
# 使配置生效
source ~/.bashrc
# 測試程序
python test.py

閱讀全文

與python連接spark集群相關的資料

熱點內容
伺服器光碟機線怎麼插 瀏覽:12
新生兒下載哪個app好 瀏覽:487
摩托車壓縮比96 瀏覽:410
linux查看mysql內存 瀏覽:242
福建ca認證伺服器地址 瀏覽:567
三星安全文件夾怎麼取消應用程序 瀏覽:169
偶像來了哪個app能看 瀏覽:252
破解分銷源碼 瀏覽:184
androidudp服務端 瀏覽:771
電腦伺服器和內存有什麼區別 瀏覽:308
下載海爾哪個app可以查詢信息 瀏覽:385
暴風文件夾怎麼刪除 瀏覽:163
我的世界緩存文件在哪個文件夾 瀏覽:359
簡歷發壓縮包還是文件夾 瀏覽:85
mes系統用什麼伺服器5885v5 瀏覽:486
郵件伺服器可以怎麼查詢 瀏覽:727
啟動linux的sftp 瀏覽:66
asp防紅系統源碼模板 瀏覽:240
雙手握住文件夾 瀏覽:47
php分析html 瀏覽:623