py4j下载命令_最新的spark支持python的什么版本

‘壹’ 如何在ipython或python中使用Spark

在ipython中使用spark
说明：
spark 1.6.0
scala 2.10.5
spark安装路径是/usr/local/spark；已经在.bashrc中配置了SPARK_HOME环境变量。
方法一
/usr/local/Spark/bin/pyspark默认打开的是Python，而不是ipython。通过在pyspark文件中添加一行，来使用ipython打开。
cp pyspark ipyspark
vi ipyspark
# 在最前面添加
IPYTHON=1
# 启动
ipyspark
方法二：
通过为spark创建一个ipython 配置的方式实现。
# 为spark创建一个ipython 配置
ipython profile create spark
# 创建启动配置文件
cd ~/.config/ipython/profile_spark/startup
vi 00-pyspark-setup.py
在00-pyspark-setup.py中添加如下内容：
import os
import sys
# Configure the environment
if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '/srv/spark'
# Create a variable for our root path
SPARK_HOME = os.environ['SPARK_HOME']
# Add the PySpark/py4j to the Python Path
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "pyspark"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "lib", "py4j-0.9-src.zip"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))
启动ipython
ipython –profile spark
测试程序
在ipython中输入一下命令，如果下面的程序执行完后输出一个数字，说明正确。
from pyspark import SparkContext
sc = SparkContext( 'local', 'pyspark')
def isprime(n):
"""
check if integer n is a prime
"""
# make sure n is a positive integer
n = abs(int(n))
# 0 and 1 are not primes
if n < 2:
return False
# 2 is the only even prime number
if n == 2:
return True
# all other even numbers are not primes
if not n & 1:
return False
# for all odd numbers
for x in range(3, int(n**0.5)+1, 2):
if n % x == 0:
return False
return True
# Create an RDD of numbers from 0 to 1,000,000
nums = sc.parallelize(xrange(1000000))
# Compute the number of primes in the RDD
print “Result: ”, nums.filter(isprime).count()
方法三
将上面的程序放入test.py文件，执行命令python test.py。发现错误。因为没有将pyspark路径加入PYTHONPATH环境变量。
在~/.bashrc或/etc/profile中添加如下内容:
# python can call pyspark directly
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/pyspark:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
执行如下命令：
# 使配置生效
source ~/.bashrc
# 测试程序
python test.py
此时，已经能够运行了。

‘贰’ 怎样激活电脑

XP,直接输入序列号激活:

XP安装密钥搜集

Windows xp sp3序列号(可通过微软正版验证)

可能很多朋友下载了XP SP3，却通不过正版验证，不能打补丁了．

XP sp3序列号，可通过微软正版验证的！

DP7CM-PD6MC-6BKXT-M8JJ6-RPXGJ

DP7CM-PD6MC-6BKXT-M8JJ6-RPXGJ

HCQ9D-TVCWX-X9QRG-J4B2Y-GR2TT

MRX3F-47B9T-2487J-KWKMF-RPWBY 企业版工行 (推荐)

QC986-27D34-6M3TY-JJXP9-TBGMD 企业版广州

CM3HY-26VYW-6JRYC-X66GX-JVY2D 企业版

DP7CM-PD6MC-6BKXT-M8JJ6-RPXGJ 企业版

F4297-RCWJP-P482C-YY23Y-XH8W3 企业版

HCQ9D-TVCWX-X9QRG-J4B2Y-GR2TT 企业版

Windows XP专业版最新注册码
HTXH6-2JJC4-CDB6C-X38B4-C3GF3
RT4H2-8WYHG-QKK6K-WWHJ2-9427X
DYPVX-43TRT-YDBGB-7YQJX-CWXW7
HGM7B-YF7T7-8R7RF-Y6RPY-XTQ77

Windows XP专业版最新注册码
DJQJB-PC83T-FTGJC-CQTCK-RJD8D
VMMBM-8WK8W-H44YH-37B4M-KX8QR
XRCTF-Y68KJ-VVFTR-7BDFP-4PW7G
6RV7B-FYWR2-PW3C6-DDWDR-68X9C
KYMTD-BV7KP-RRM33-P3XKJ-RDKVD
X3WYK-H7CR8-KQBMV-7DP6X-W6YQQ

Windows XP专业版最新注册码
CQWK3-CCYJY-TQDFV-2HJDR-W3B2M
2RXYJ-VQWXM-J2V2R-CVXQT-Y6MPY
X7TVH-VJTFG-BK22B-XXG6D-27326
VYGXV-YM8VB-4RVQX-QXBMX-G3WV7
4DP2D-CXW4C-TRYDH-CW4CT-PT23X
R6M6K-HT7G7-XG4K4-66PGK-9V2RM

Windows XP专业版最新注册码
86VYW-4RHCG-CCC7Y-64MWM-V8B68
VPM77-Y3YJW-W4MFC-CQTCK-D2XGK
K3JD6-DK6G4-YH32B-QT7VP-R8WC7
JRMCK-J3V37-YVCYH-MDJ37-94BHP
KJ3XK-3B6KW-XK62M-VDC7W-DJ6V9

WindowsXP可以无限次激活的号码

CXGDD-GP2B2-RKWWD-HG3HY-VDJ7J

RK7J8-2PGYQ-P47VV-V6PMB-F6XPQ

Windows XP Professional有效产品CD-KEY

CKWMY-66QR4-V96B7-DTYP3-YMM8B
TBWJH-YRX9X-4T6G6-TDC9Y-8CYMM
T99WP-KJFWH-RHJXR-CM7GW-VBQCM
VJ99K-F9T73-4FT69-M9VFV-JPQM8
PBW92-RXBQ3-GW4X8-RBVDC-Q4BRG
CC22W-H736H-9D74T-WGPCR-7JM38
XJQ7J-QMT3P-667VR-C6WWH-TP7X3
KJFDW-X3WWY-G8KGM-KJ6YF-TWHPM
MYP7X-9TKJV-7D9BR-TCTXQ-XWKXT
P36JT-BDT94-QTPHK-YVGJ8-DPY4J
V7WC3-7YXWW-RJMGC-PWWFT-QPHTG
FKKMK-8C4H8-92GTT-YP9JP-JF3VJ
PF8FX-CCYY6-4GKPP-M8HKQ-BR6FB
VM9VD-TDR9M-JMWCR-72DQK-29MBG
GTXVW-HD8DP-BJFTR-PMDHR-627TQ
HCTWB-DHDVJ-GMJP7-3T97V-72QRQ
C8BJQ-7TCYP-2FJWW-K3972-9G6VW
M4WX3-2BXY8-XKV3G-MBQC2-JTWCB
RWTCG-VGPFP-9PPWV-9WMHX-X86Y6
BY3KC-Q73P6-R8YTW-YYCMQ-GGDKY
MDP2R-QWXVM-J6RFY-QFH38-BXQ2G
KVD93-4G3WH-VR47M-YPHRM-26D3T
FV4RK-8HW7H-98F29-8BQBK-WVFVM
G2FXC-JKQ6F-7QTF3-KW2M3-WVMHW
MKVRV-793T3-3CBQK-M3WYT-QQWVY
G3B6Q-PDJCP-D638W-T9X6F-93VX3
VXWFJ-9Q2Q3-F6G7C-4FF46-2P9DM
J8PDR-Y62MC-4PDRD-JG869-47YDT
JKJTK-CCC4H-BCK37-BXTBF-6HHC3

号称万能XP的CD-KEY，不过适用SP2。

DG8FV-B9TKY-FRT9J-6CRCC-XPQ4G 万能XP

Win7一下办法激活:

Win7激活: (xyz5819原创回复,欢迎复制)

[请根据自己的具体情况予以取舍] (xyz5819原创回复,欢迎复制)

Windows 7 激活方式.验证激活及重置次数大全

http://wenku..com/view/78439ef1f90f76c661371a9d.html

Windows 7 旗舰版密匙激活:(xyz5819原创回复,欢迎复制)

windows7输入激活码是在哪个地方?(xyz5819原创回复,欢迎复制)

以“管理员身份”运行“命令提示符”；

键入slmgr.vbs /ipk xxxxx-xxxxx-xxxxx-xxxxx-xxxxx (xyz5819原创回复,欢迎复制)

1.软解激活,也就是密匙激活:(xyz5819原创回复,欢迎复制)

最新Win7企业、专业版的激活密钥(32位、64位均可用)(xyz5819原创回复,欢迎复制)

适用于任何语种的32/64位Windows 7企业、专业版——(xyz5819原创回复,欢迎复制)

2VCGQ-BRVJ4-2HGJ2-K36X9-J66JG

J8BCC-HR9KY-4WWX6-BYDYC-6Y89J

在联网情况下，只要输入“神Key”，
就可实现对于系统的直接激活(心诚则灵)
或电话激活(不保证绝对成功)。
(xyz5819原创回复,欢迎复制)

第四枚“神Key”：87VT2-FY2XW-F7K39-W3T8R-XMFGF
第三枚“神Key”：236TW-X778T-8MV9F-937GT-QVKBB
第二枚“神Key”：KH2J9-PC326-T44D4-39H6V-TVPBY
第一枚“神Key”：TFP9Y-VCY3P-VVH3T-8XXCC-MF4YK

VQ3PY-VRX6D-CBG4J-8C6R2-TCVBD

2Y4WT-DHTBF-Q6MMK-KYK6X-VKM6G

342DG-6YJR8-X92GV-V7DCV-P4K27

MHFPT-8C8M2-V9488-FGM44-2C9T3

49PB6-6BJ6Y-KHGCQ-7DDY6-TF7CD

YJJYR-666KV-8T4YH-KM9TB-4PY2W

不要直接激活,最好在断网状态下选择电话激活啊,然后打免费电话备好纸笔,记录激活ID用）,根据提示操作.

仍然无效的看下面: (xyz5819原创回复,欢迎复制)

2.采取激活工具破解激活.(xyz5819原创回复,欢迎复制)

推荐先使用工具激活，不行再用密钥，希望对你有帮助 (xyz5819原创回复,欢迎复制)

Win7 Activation v1.7激活win7属于软激活，可以说是最安全的激活方式，当然如果你有正版key更好。
但是没有正版key的话，最好还是使用软激活，而软激活有很多软件可用。其实WIN7 Activation是个比较好的。
我就用的WIN7 Activation激活的win7，到现在一直都很好，而且我还到ms官网去验证正版了。
硬刷bois据说可以永久激活，但是一个不小心将对电脑产生不可恢复的伤害。
所以，建议朋友使用WIN7 Activation的1.7版本。(xyz5819原创回复,欢迎复制)
这个版本拯救了很多人啊。(xyz5819原创回复,欢迎复制)

1)Win7 Activation1.7 (推荐,激活成功了超过90+%,一分钟就搞定激活~) (xyz5819原创回复,欢迎复制)
(hi./xyz5819。http://ishare.iask.sina.com.cn/f/15270691.html) (xyz5819原创回复,欢迎复制)

2)Windows7_Loader_v3.27

3)SK_Patch_v1_R2_Final

4)nt6-oem-loader-v3

5)最新小马Win7激活工具Oem7F7，sp1也能完美使用。(这个工具对很难搞定激活的三星品牌很有效)

6)网络不让贴具体下载网址,自己网络搜一下都不难找到的,祝你好运!(xyz5819原创回复,欢迎复制)

这些都是网上最好的工具了。 (xyz5819原创回复,欢迎复制)

本人使用Win7 Activation v1.7 (xyz5819原创回复,欢迎复制)

友情提示: 现今所谓的密匙超过99%失效,采取激活工具破解激活是最省时省力的做法.

通过“软改”或“硬刷”激活后，个别不能通过重置命令显示更换产品密钥选项的，
可以采用slmgr.vbs /upk命令卸载目前产品密钥，重启计算机后即可出现要求输入新的密钥联网激活界面。

(xyz5819原创回复,欢迎复制)

slmgr.vbs命令大全检验Windows7激活状态 (xyz5819原创回复,欢迎复制)

其详细参数如下：(xyz5819原创回复,欢迎复制)

可用选项: (xyz5819原创回复,欢迎复制)

/ipk <产品密钥> 安装产品密钥(替换现有密钥)

/upk 卸载产品密钥

/ato 激活 Windows

/dli [激活 ID | All] 显示许可证信息(默认: 当前许可证)

/dlv [激活 ID | All] 显示详细的许可证信息(默认: 当前许可证)

/xpr 当前许可证状态的截止日期 (xyz5819原创回复,欢迎复制)

怎么验证 Windows 7 是否已经激活? (xyz5819原创回复,欢迎复制)

1、最简单的是在我的电脑右键，查看属性.(xyz5819原创回复,欢迎复制)
2、Win+R===>输入 slmgr.vbs /dlv (推荐,此命令得到的信息最全)(xyz5819原创回复,欢迎复制)
3、Win+R===>输入 slmgr.vbs /dli
4、Win+R===>输入 slmgr.vbs /xpr
5、Win+R===>输入 Winver (xyz5819原创回复,欢迎复制)

更多参见>http://tieba..com/club/10821253 (xyz5819原创回复,欢迎复制)

祝你好运,能顺利激活~! (xyz5819原创回复,欢迎复制)

‘叁’ 小电脑怎么激活

‘肆’ 如何在ipython或python中使用Spark

在ipython中使用spark
说明：
spark 1.6.0
scala 2.10.5
spark安装路径是/usr/local/spark；已经在.bashrc中配置了SPARK_HOME环境变量。
方法一
/usr/local/Spark/bin/pyspark默认打开的是Python，而不是ipython。通过在pyspark文件中添加一行，来使用ipython打开。
cp pyspark ipyspark
vi ipyspark
# 在最前面添加
IPYTHON=1
# 启动
ipyspark
方法二：
通过为spark创建一个ipython 配置的方式实现。
# 为spark创建一个ipython 配置
ipython profile create spark
# 创建启动配置文件
cd ~/.config/ipython/profile_spark/startup
vi 00-pyspark-setup.py
在00-pyspark-setup.py中添加如下内容：
import os
import sys
# Configure the environment
if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '/srv/spark'
# Create a variable for our root path
SPARK_HOME = os.environ['SPARK_HOME']
# Add the PySpark/py4j to the Python Path
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "pyspark"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "lib", "py4j-0.9-src.zip"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))
启动ipython
ipython –profile spark
测试程序
在ipython中输入一下命令，如果下面的程序执行完后输出一个数字，说明正确。
from pyspark import SparkContext
sc = SparkContext( 'local', 'pyspark')
def isprime(n):
"""
check if integer n is a prime
"""
# make sure n is a positive integer
n = abs(int(n))
# 0 and 1 are not primes
if n < 2:
return False
# 2 is the only even prime number
if n == 2:
return True
# all other even numbers are not primes
if not n & 1:
return False
# for all odd numbers
for x in range(3, int(n**0.5)+1, 2):
if n % x == 0:
return False
return True
# Create an RDD of numbers from 0 to 1,000,000
nums = sc.parallelize(xrange(1000000))
# Compute the number of primes in the RDD
print 逗Result: 地, nums.filter(isprime).count()
方法三
将上面的程序放入test.py文件，执行命令python test.py。发现错误。因为没有将pyspark路径加入PYTHONPATH环境变量。
在~/.bashrc或/etc/profile中添加如下内容:
# python can call pyspark directly
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/pyspark:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
执行如下命令：
# 使配置生效
source ~/.bashrc
# 测试程序
python test.py
此时，已经能够运行了。

‘伍’ 最新的spark支持python的什么版本

两种方法：
使用 spark-submit 解释执行python脚本
使用 python 解释执行python脚本
1. 使用Spark-submit解释执行python脚本
python脚本中需要在开头导入spark相关模块，调用时使用spark-submit提交，示例代码如下：
===========================================================
"""odflow.py"""
from pyspark import SparkContext
fileDir = "/TripChain3_Demo.txt"
# sc = SparkContext("local", "ODFlow")
sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")
lines = sc.textFile(fileDir)
# python不能直接写多行的lambda表达式，所以要封装在函数中
def toKV(line):
arr = line.split(",")
t = arr[5].split(" ")[1].split(":")
return (t[0]+t[1]+","+arr[11]+","+arr[18],1)
r1 = lines.map( lambda line : toKV(line) ).receByKey(lambda a,b: a+b)
# 排序并且存入一个（repartition）文件中
r1.sortByKey(False).saveAsTextFile("/pythontest/output")
===========================================================
发布命令为：
spark-submit \
--master spark://ITS-Hadoop10:7077 \
odflow.py
2. 使用 python 解释执行python脚本
直接用python执行会出现错误:
ImportError: No mole named pyspark
ImportError: No mole named py4j.java_gateway
缺少pyspark和py4j这两个模块，这两个包在Spark的安装目录里，需要在环境变量里定义PYTHONPATH，编辑~/.bashrc或者/etc/profile文件均可
vi ~/.bashrc # 或者 sudo vi /etc/profile
# 添加下面这一行
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
# 使其生效
source ~/.bashrc # 或者 sudo source /etc/profile
然后关闭终端，重新打开，用python执行即可
python odflow.py

‘陆’ 如何在ipython或python中使用Spark

如何在ipython中使用spark
说明：

spark 1.6.0
scala 2.10.5
spark安装路径是/usr/local/spark；已经在.bashrc中配置了SPARK_HOME环境变量。
方法一
/usr/local/spark/bin/pyspark默认打开的是python，而不是ipython。通过在pyspark文件中添加一行，来使用ipython打开。
cp pyspark ipyspark
vi ipyspark

# 在最前面添加

IPYTHON=1

# 启动

ipyspark

1
2
3
4
5
6
7
8
9
10
方法二：
通过为spark创建一个ipython 配置的方式实现。

# 为spark创建一个ipython 配置

ipython profile create spark

# 创建启动配置文件

cd ~/.config/ipython/profile_spark/startup
vi 00-pyspark-setup.py

1
2
3
4
5
6
7
8
9
在00-pyspark-setup.py中添加如下内容：
import os
import sys

# Configure the environment

if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '/srv/spark'

# Create a variable for our root path

SPARK_HOME = os.environ['SPARK_HOME']

# Add the PySpark/py4j to the Python Path

sys.path.insert(0, os.path.join(SPARK_HOME, "python", "pyspark"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "lib", "py4j-0.9-src.zip"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
启动ipython
ipython –profile spark

1
测试程序
在ipython中输入一下命令，如果下面的程序执行完后输出一个数字，说明正确。
from pyspark import SparkContext
sc = SparkContext( 'local', 'pyspark')

def isprime(n):
"""
check if integer n is a prime
"""
# make sure n is a positive integer
n = abs(int(n))
# 0 and 1 are not primes
if n < 2:
return False
# 2 is the only even prime number
if n == 2:
return True
# all other even numbers are not primes
if not n & 1:
return False
# for all odd numbers
for x in range(3, int(n**0.5)+1, 2):
if n % x == 0:
return False
return True

# Create an RDD of numbers from 0 to 1,000,000

nums = sc.parallelize(xrange(1000000))

# Compute the number of primes in the RDD

print “Result: ”, nums.filter(isprime).count()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
方法三
将上面的程序放入test.py文件，执行命令python test.py。发现错误。因为没有将pyspark路径加入PYTHONPATH环境变量。
在~/.bashrc或/etc/profile中添加如下内容:

# python can call pyspark directly

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/pyspark:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

1
2
3
4
执行如下命令：

# 使配置生效

source ~/.bashrc

# 测试程序

python test.py

1
2
3
4
5
6
7
8
此时，已经能够运行了。

‘柒’ 如何在ipython或python中使用Spark

在ipython中使用spark
说明：
spark 1.6.0
scala 2.10.5
spark安装路径是/usr/local/spark；已经在.bashrc中配置了SPARK_HOME环境变量。
方法一
/usr/local/Spark/bin/pyspark默认打开的是Python，而不是ipython。通过在pyspark文件中添加一行，来使用ipython打开。
cp pyspark ipyspark
vi ipyspark
# 在最前面添加
IPYTHON=1
# 启动
ipyspark
方法二：
通过为spark创建一个ipython 配置的方式实现。
# 为spark创建一个ipython 配置
ipython profile create spark
# 创建启动配置文件
cd ~/.config/ipython/profile_spark/startup
vi 00-pyspark-setup.py
在00-pyspark-setup.py中添加如下内容：
import os
import sys
# Configure the environment
if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '/srv/spark'
# Create a variable for our root path
SPARK_HOME = os.environ['SPARK_HOME']
# Add the PySpark/py4j to the Python Path
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "pyspark"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "lib", "py4j-0.9-src.zip"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))
启动ipython
ipython –profile spark
测试程序
在ipython中输入一下命令，如果下面的程序执行完后输出一个数字，说明正确。
from pyspark import SparkContext
sc = SparkContext( 'local', 'pyspark')
def isprime(n):
"""
check if integer n is a prime
"""
# make sure n is a positive integer
n = abs(int(n))
# 0 and 1 are not primes
if n < 2:
return False
# 2 is the only even prime number
if n == 2:
return True
# all other even numbers are not primes
if not n & 1:
return False
# for all odd numbers
for x in range(3, int(n**0.5)+1, 2):
if n % x == 0:
return False
return True
# Create an RDD of numbers from 0 to 1,000,000
nums = sc.parallelize(xrange(1000000))
# Compute the number of primes in the RDD
print 逗Result: 地, nums.filter(isprime).count()
方法三
将上面的程序放入test.py文件，执行命令python test.py。发现错误。因为没有将pyspark路径加入PYTHONPATH环境变量。
在~/.bashrc或/etc/profile中添加如下内容:
# python can call pyspark directly
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/pyspark:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
执行如下命令：
# 使配置生效
source ~/.bashrc
# 测试程序
python test.py

导航:首页 > 程序命令 > py4j下载命令

py4j下载命令

与py4j下载命令相关的资料