scalapython开发效率

① ...选择scala还是python作为主要编程语言比较好

我个人认为scala是比较优秀的函数语言,但是学这个你还是要懂javapython是老牌脚本语言D语言不值得学scheme不如学common lisp

② 谁能说说 scala 和 python 的区别，有木有必要学习 scala

学 Scala 可以发现更大的世界，之后会感觉其他语言的特性都不会太陌生，感觉尤其是函数式编程和类型系统。
不过身边会 Scala 的都是搞 spark 的，或者曾经搞过 spark 的。
如果 Scala 都精通了，学 Python 也就是看下语法熟练下的事。
Scala 与函数式编程是信仰，如果面试遇到信仰相同的面试官可能有加分。

③ Scala 是一门怎样的语言，具有哪些优缺点

以前在这个版块也答过关于Scala的问题，但那更多的是知识普及，而没有谈Scala是什么，做什么，以及有怎样的特点。

Scala可怕的地方在于人人都能对它说上一二，但是不一定每个人都能明白。查看这个版块的帖子，有人把它当做Java的延伸版（一个UPenn宾大的学生Justin Kim ——此人目前在沃顿混得风生水起，当着我的面说Scala是在JVM上的脚本语言），有人把它当做JVM上的C++，有人觉得这是面对对象语言和函数语言的简单混合，有人觉得这就是Haskell，而且也还不如Haskell强。对Scala的偏见（或者是错误的见地）达到了很高的地步，Martin Odersky马丁·奥德斯基（Scala的发明者，EPFL教授）在今年夏天的Scala Day旧金山大会上发出了这张着名的玩笑照片：
gt;

这个图片上的翻译是：“Scala唯一的作用是将人引向Haskell”（原谅我没法完全直译）。马丁·奥德斯基以此作为一个笑话，说他该把Scala改一下名字，叫做Hascalator，还请人设计了一个Logo。

不同的语言有不同的特点，同时也带来不同的优势。如果不能理解Scala的特点，就不可能知道如何运用Scala，以及发挥其最大的优势。一些语言有很显而易见的优势，也很容易理解，比如Python，Python的哲学（Zen of Python PEP 20 -- The Zen of Python），我很早的时候曾经觉得有道理，尤其是One way to do it（一种方法做一件事情），理由是对任何任务，虽然可以采用很多方法，但总有最好的一种方法，通过在语言或者哲学层面这样定义后，能简化程序员的任务，从而达到提高效率的方法。但经过一段时间的思考后，我突然发现Python其实并不是“一种方法做一件事”的哲学，而是“一种方法做一百万件事情”的哲学：极其有限的数据结构（只有四个: List, Tuple, Dictionary, Sets），以及不能查看时间复杂度的访问方法，比如鼓励人们使用for x in list。

这种处理方式能达到Python最初的打算：发明一种每个人都能使用的简易语言，但是对于追求速度和效率的程序员而言，这几乎是略带噩梦性质的。当然，这不是说Python很慢，通过各种优化（比如NumPy/SciPy中的），以及Cython这样的将Python直接翻译为C/C++语言又重新通过C_Mole方式读回Python环境的编译器，性能可以得到不少提升，但是仍旧，Python并不追求快。

再举一个语言的例子：Java。Java的特性或者优势何在？Java的第一个优势在于它是第一个系统提供模块化（mole）设计的语言（在此之前有Smalltalk存在，该货是OOP的鼻祖）。在Java之前，炒程序员鱿鱼是很困难的事情，那些C/C++程序员，以及而且尤其是那些Lisp程序员，一旦炒掉他们，新来的人没有十天半个月，甚至半年，是不可能搞懂前任人士的代码的。每个人的代码有自己的逻辑，自己的思路，写上个数万行任谁来看都头疼。这也是为什么Paul Graham保罗·格雷厄姆（写了《黑客与画家》）讲他给雅虎做了一个用Lisp写成的在线商店的案例，在他离开后，雅虎根本没法维护他写的代码，因为数万行Lisp没人能弄得很清楚。

Java的模块化，给企业、大公司带来了第一道曙光，模块化之后，这些公司不再给程序员一整个任务，而是一大块任务的一小块。接口一定义，虚拟类一定义，换谁上都可以，管你是保罗·格雷厄姆这样的明星程序员，还是一个新来的大学生，程序员不听话就直接开除，反正模块化之后，开除程序员的成本大大降低，这也是为什么谷歌、甲骨文（这货最后收购了Java）一类的公司大规模的推崇Java，还一度提出了模块化人事管理的理念（把人当模块化的积木一样随时移进移出）。

过度企业化后，这延展出了Java的第二个特性，束缚手脚。保罗·格雷厄姆在《黑客与画家》中写道，Java属于B&D（捆绑与束缚）类型的语言。为何束缚手脚？因为要让新手和明星程序员写出类似质量的代码，尽可能的抹消人的才华对程序的影响。不同于C/C++，老手和新手写出的Java代码不会有上百倍的耗时差距。但同样也导致了Java的一个弱点——不容易优化。很多优化Java代码的程序员必须要对JVM（虚拟机）进行优化，实际上增大了很多任务难度。

通过Python和Java这两个语言的优缺点，返回来看Scala，就能瞬间明白Scala的定位了。

首先，Scala不把程序员当傻子。当马丁·奥德斯基宣布Scala 2.12将要简化语法，推出Scala "Don Giovanni"项目的时候，在视频中说的很清楚：“Scala现在是为聪明人创造的，以后也是为聪明人服务的。”所以不同于Python让程序员用一种方法做所有事情，Scala提供一整套工具，让程序员自由选择，无论是mutable数据结构，immutable数据结构，并行（parallel）数据结构。然后在这些选择中，Scala再针对他们进行算法层面的特殊优化。Scala相信程序员的聪明才智，让程序员自行选择合适的结构，以针对变化万千的任务需求，这点是Scala做得极好的地方。

再者，有人会说immutable数据结构占用内存，或者速度很慢。这是真的，但这不是Scala的错，而是这些结构就是这样定义的。这里讲的是Scala集合的运行速度，是一个来自Goldman Sachs的程序员讲他们为Java写的集合库（GSCollection）速度和内存消耗，但同时比较了gs-collection（goldmansachs/gs-collections · GitHub），Java，和Scala库的速度。最后Scala的可变集合mutable原生库完爆Java，和gs-collection基本持平。

Scala的第二个优势，相较于Java而言，则是相信程序员的优化能力。在Scala with Style讲话中（），马丁·奥德斯基说：“很多程序员会告诉我，他们一般会重构他们的Scala代码两三次，甚至三四次。”这听起来似乎非常的没有效率，但Scala就是这样的语言，每一次重构，代码的性能或者是可读性都会有极高的提升。

之前就有人提到过，Scala新手和老手写出来的代码完全会呈现两种不同的风格，甚至新人根本不能读懂有经验的Scala程序员所写的代码，有人于是戏称：“太好了，这样的话我们部门的实习生就不能乱碰我写的代码啦！”但其实不仅风格不同，执行效率差距也一定是巨大的。Scala提供一整套工具，但是要明白什么时候用拿一种工具，哪些算法能够随意调用，哪些算法不能，这一定要依靠经验、研究和学习以及对源代码的理解才能得知。最简单的例子，Scala的foreach()方法是高度优化过了的（尤其针对Range结构和Vector结构），但是fold()就不一定了。或者当受到诱惑想用zipWithIndex()的时候，一定要明白这是两次循环，最好改用Vector(...).indices.foreach()的方法，或者用.view来推迟执行。

像这样的地方还有很多。所以在这个层面上来讲，简直和C++非常的相似。从另外一个层面来讲，不仅仅是要理解语言层面的优化，Scala作为一个社区而言，是非常追求运行速度的。Ruby社区就完全不同了，Ruby曾经是推特的主要语言。推特的团队找到了Ruby团队，说，你们能不能让Ruby运行的快一点，我们有这个这个和这个建议。Ruby直接把这些建议拒绝了，因为它们会增加语言复杂度，让Ruby不能继续做一个“fun”（好玩）的语言。而Python直接就立志做一个“Simple”（简单）的语言了。于是推特只好将后台换做Scala和Java的结合。有一位在推特工作的知乎友人在我的一个回答下留言说推特换用Scala后，TypeSafe（Scala的母公司）还送去了一个蛋糕。

为了追求速度，Scala社区是绝对不会管所谓的“简单”或者是“好玩”，怎样有效率就怎样弄。与其专注于JVM的改进，Scala社区大部分在编译器上下功夫，比如很着名的Miniboxing（Miniboxing），这是一个编译器增进器。Miniboxing做的是什么呢？只做一件事：防止auto-boxing和auto-unboxing。所有的泛型，尤其是原生类泛型（Primitive Types），诸如Int、Double等等，在进行各种操作的时候会自动取出和装回它们所属的类中去——这个我解释的不太好，但是可以看这里（Java 自动装箱与拆箱(Autoboxing and unboxing)）。

Miniboxing这样的插件可以让所有的原生类泛型再也不用自动装拆箱，从而将Scala的运行速度提升1.5倍到22倍（）。当然这样的东西可不是白来的，这是马丁·奥德斯基的PhD博士学生做的一个研究项目，然后为OOPSLA写了一篇论文（），所以怪不得这玩意Scala可以有，但其他语言想要有都没有。

另一个Scala的很大优势就是所谓的Macro——宏。宏本身作为元编程而言，其实和运行速度是没有什么太大关系的，反而，因为对反射（Reflect）的利用，可能会影响到速度。但Scala社区对宏的理解显然和最初的设计理念有偏差。因为Scala本身是没有传统意义的循环的（for-loop），所以很多时候循环必须利用while或者foreach。但是部分追求效率的Scala程序员们利用宏为Scala写了一个传统循环，叫做cfor，被收录在Spire（non/spire · GitHub）数学计算库中。cfor的写法如下：

import spire.syntax.cfor._// print numbers 1 through 10cfor(0)(_ < 10, _ + 1) { i =>
println(i)}

而这玩意运行效率如何呢？文章中做了一次测评，将cfor和zip写的一个算法作比较——在公布结果之前，我想说的是，zip并不是一个高度优化的方法，所以本身就慢很多，cfor用了26.1毫秒运行，zip方法用了7.4 秒运行，这几乎是284倍的速度差距。

通过这两点，Scala的一个优势就很明显了——多样化。当需要写简单的代码，像Python一样当脚本语言使用时，Scala提供大量的原生方法和数据结构，可以很轻松的写出比较复杂的操作。但当需要速度的时候，又可以通过重构来获取数十倍或者上百倍的速度提升。通过Miniboxing一类的编译器增强器，Scala在某些操作的速度是必定超过Java的。

Scala的第二个优势就是——一帮勤劳勇敢的PhD博士生。二十一世纪的程序语言和二十世纪的程序语言已经不能比拟了。那个年代的普通人（甚至是学生）还能任意发明一下语言，稍微把编译器优化几次就能上得了厅堂（比如那一大堆Lisp方言），到了这个年代，编译技术已经达到了很复杂的程度（虚拟机技术也是如此），优化和语义理解，程序语言的定义与延展，再也不是随便任何人都能搞定的工作了。作为编程语言方面的教授，马丁·奥德斯基不断的将最前沿的学术界成果转移到Scala这个语言中，还让他的博士学生发展出新的，让语言运行得更快的方法，这些都是其他语言，尤其是Python、Ruby、甚至是Go都没有的优势。

当然，说了这么多，总会有人说了，Scala如果像C++一样难，又追求速度的话，为什么不直接去学C++，原因很简单——现在有很多在JVM上面写成的软件啊！大家又不是Haskell程序员，压根不打算一切自己写呐。

④ scala相对于python有何优缺点

学 Scala 可以发现更大的世界，之后会感觉其他语言的特性都不会太陌生，感觉尤其是函数式编程和类型系统。
不过身边会 Scala 的都是搞 spark 的，或者曾经搞过 spark 的。
如果 Scala 都精通了，学 Python 也就是看下语法熟练下的事。
Scala 与函数式编程是信仰，如果面试遇到信仰相同的面试官可能有加分。

⑤ Spark 中用 Scala 和 java 开发有什么区别

Scala相对于Java的优势是巨大的。熟悉Scala之后再看Java代码，有种读汇编的感觉…… 如果仅仅是写Spark应用，并非一定要学Scala，可以直接用Spark的Java API或Python API。但因为语言上的差异，用Java开发Spark应用要罗嗦许多。好在带lambda的Java 8出来之后有所改善。 在Spark应用开发上，学Scala主要好处有二： 开发效率更高，代码更精简； 使用Spark过程中出现异常情况，在排查时如果对Spark源码比较熟悉，可以事半功倍

⑥ 我是数学专业想要做数据这块，是学大数据好还是python好

本人只能从个人经验给你一点建议，希望你少走一点弯路。
首先，你说到你刚接触大数据，你要明白大数据范围超级广，你具体想要学习哪个方向呢？数据挖掘？还是机器学习深度学习？亦或nlp（自然语言处理）？
我给所有问我大数据该怎么入门的人都会有如下建议：学好数学！学好数学！学好数学！重要的事说三遍，不然你怎么理解各种模型的构建？所以从理解算法开始，什么svn啦，knn啦，k means啦，总之各种聚类分类的算法，把它搞懂，绝对有用。
言归正传，回到语言的选择问题。java和python这两个语言，我给你从这几个方面解释一下：
1. python是脚本语言，无需编译，java则是需要编译的语言
2. 我在letitcode（大概是这么拼）上测试过好多次，同一个功能的程序竟然是java性能好很多
3. 平时我们做项目，都是用python写个demo去测试，真正发行的版本，是用java写的
4. 许多大数据平台（如spark），都提供多种语言的接口，所以你不用担心学一种语言没处用的问题
看到了吧？python和java的地位差别在企业中就是一个低一个高，氮素！以我个人的观点来看，我还是建议你先学python。
为啥腻？我可不是要坑你，而是因为：
1. 很多java中几行的代码，python中一行就搞定，学会了python，还怕学不会java？
2. python上手快，简洁事儿少
3. （个人经验）我学数据挖掘入门是用的scikit-learn（一个python库），当时用的超爽的好吧！几分钟搞个模型出来。当然现在看来那不算什么啦，可当时真的体验很好，特有成就感。相反拿java写程序我就各种别扭，总觉得啰嗦得很
4. 其实，我觉得scala更适合大数据…linkedin后台好像就是它写的，但是我觉得scala难，再加上种种原因，一直没来得及学
以上就是我的看法。
最后给你推荐个小工具：jupyter notebook，一个在线交互式编译器，不但支持python在线编译，还支持matplotlib及各种绘图库哦！在你前期做数据清洗和特征提取的时候很有用。

⑦ R，Python，Scala 和 Java，到底该使用哪一种大数据编程语言

如果你对晦涩的统计运算进行繁重的数据分析工作，那么你不青睐R才怪。如果你跨GPU进行NLP或密集的神经网络处理，那么Python是很好的选择。如果想要一种加固的、面向生产环境的数据流解决方案，又拥有所有重要的操作工具，Java或Scala绝对是出色的选择。
有一个大数据项目，你知道问题领域(problem domain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言?)这个问题不会推迟太久，迟早要定夺。
当然，没有什么阻止得了你使用其他机制(比如XSLT转换)来处理大数据工作。但通常来说，如今大数据方面有三种语言可以选择：R、Python和Scala，外加一直以来屹立于企业界的Java。那么，你该选择哪种语言?为何要选择它，或者说何时选择它?
下面简要介绍了每种语言，帮助你做出合理的决定。
R
R经常被称为是“统计人员为统计人员开发的一种语言”。如果你需要深奥的统计模型用于计算，可能会在CRAN上找到它――你知道，CRAN叫综合R档案网络(Comprehensive R Archive Network)并非无缘无故。说到用于分析和标绘，没有什么比得过ggplot2。而如果你想利用比你机器提供的功能还强大的功能，那可以使用SparkR绑定，在R上运行Spark。
然而，如果你不是数据科学家，之前也没有用过Matlab、SAS或OCTAVE，可能需要一番调整，才能使用R来高效地处理。虽然R很适合分析数据，但是就一般用途而言不太擅长。你可以用R构建模型，但是你需要考虑将模型转换成Scala或Python，才能用于生产环境，你不太可能使用这种语言编写一种集群控制系统(运气好的话，你可以对它进行调试)。
Python
如果你的数据科学家不使用R，他们可能就会彻底了解Python。十多年来，Python在学术界当中一直很流行，尤其是在自然语言处理(NLP)等领域。因而，如果你有一个需要NLP处理的项目，就会面临数量多得让人眼花缭乱的选择，包括经典的NTLK、使用GenSim的主题建模，或者超快、准确的spaCy。同样，说到神经网络，Python同样游刃有余，有Theano和Tensorflow;随后还有面向机器学习的scikit-learn，以及面向数据分析的NumPy和Pandas。
还有Juypter/iPython――这种基于Web的笔记本服务器框架让你可以使用一种可共享的日志格式，将代码、图形以及几乎任何对象混合起来。这一直是Python的杀手级功能之一，不过这年头，这个概念证明大有用途，以至于出现在了奉行读取-读取-输出-循环(REPL)概念的几乎所有语言上，包括Scala和R。
Python往往在大数据处理框架中得到支持，但与此同时，它往往又不是“一等公民”。比如说，Spark中的新功能几乎总是出现在Scala/Java绑定的首位，可能需要用PySpark编写面向那些更新版的几个次要版本(对Spark Streaming/MLLib方面的开发工具而言尤为如此)。
与R相反，Python是一种传统的面向对象语言，所以大多数开发人员用起来会相当得心应手，而初次接触R或Scala会让人心生畏惧。一个小问题就是你的代码中需要留出正确的空白处。这将人员分成两大阵营，一派觉得“这非常有助于确保可读性”，另一派则认为，2016年，我们应该不需要就因为一行代码有个字符不在适当的位置，就要迫使解释器让程序运行起来。
Scala
现在说说Scala：在本文介绍的四种语言中，Scala是最轻松的语言，因为大家都欣赏其类型系统。Scala在JVM上运行，基本上成功地结合了函数范式和面向对象范式，目前它在金融界和需要处理海量数据的公司企业中取得了巨大进展，常常采用一种大规模分布式方式来处理(比如Twitter和LinkedIn)。它还是驱动Spark和Kafka的一种语言。
由于Scala在JVM里面运行，它可以立即随意访问Java生态系统，不过它也有一系列广泛的“原生”库，用于处理大规模数据(尤其是Twitter的Algebird和Summingbird)。它还包括一个使用非常方便的REPL，用于交互式开发和分析，就像使用Python和R那样。
我个人非常喜欢Scala，因为它包括许多实用的编程功能，比如模式匹配，而且被认为比标准的Java简洁得多。然而，用Scala来开发不止一种方法，这种语言将此作为一项特色来宣传。这是好事!不过考虑到它拥有图灵完备(Turing-complete)的类型系统和各种弯弯曲曲的运算符(“/:”代表foldLeft，“:\”代表foldRight)，很容易打开Scala文件，以为你看到的是某段讨厌的Perl代码。这就需要在编写Scala时遵循一套好的实践和准则(Databricks的就很合理)。
另一个缺点是，Scala编译器运行起来有点慢，以至于让人想起以前“编译!”的日子。不过，它有REPL、支持大数据，还有采用Jupyter和Zeppelin这一形式的基于Web的笔记本框架，所以我觉得它的许多小问题还是情有可原。
Java
最终，总是少不了Java――这种语言没人爱，被遗弃，归一家只有通过起诉谷歌才有钱可赚时才似乎关心它的公司(注：Oracle)所有，完全不时髦。只有企业界的无人机才使用Java!不过，Java可能很适合你的大数据项目。想一想Hadoop MapRece，它用Java编写。HDFS呢?也用Java来编写。连Storm、Kafka和Spark都可以在JVM上运行(使用Clojure和Scala)，这意味着Java是这些项目中的“一等公民”。另外还有像Google Cloud Dataflow(现在是Apache Beam)这些新技术，直到最近它们还只支持Java。
Java也许不是摇滚明星般备受喜爱的首选语言。但是由于研发人员在竭力理清Node.js应用程序中的一套回调，使用Java让你可以访问一个庞大的生态系统(包括分析器、调试器、监控工具以及确保企业安全和互操作性的库)，以及除此之外的更多内容，大多数内容在过去二十年已久经考验(很遗憾，Java今年迎来21岁，我们都老矣)。
炮轰Java的一个主要理由是，非常繁琐冗长，而且缺少交互式开发所需的REPL(R、Python和Scala都有)。我见过10行基于Scala的Spark代码迅速变成用Java编写的变态的200行代码，还有庞大的类型语句，它们占据了屏幕的大部分空间。然而，Java 8中新的Lambda支持功能对于改善这种情况大有帮助。Java从来不会像Scala那么紧凑，但是Java 8确确实实使得用Java进行开发不那么痛苦。
至于REPL?好吧，目前还没有。明年推出的Java 9会包括JShell，有望满足你的所有REPL要求。

⑧ R，Python，Scala和Java，到底该使用哪一种大数据编程语言

哪一种都行，Python适用于脚本，网络和爬虫，Java适用网络，商业和游戏，r适用于脚本和网络

⑨ scala python哪个用来开发spark更好

你好。

bg4.png spark的开发语言来scalar，因此会scalar是最好的，

至于 java，python则是为了兼容性，有相关接口，但是资料相对较少一些

如果还有问题，可以继续追问，感谢。

⑩ scala , python哪个用来开发spark更好

bg4.png spark的开发语言来scalar，因此会scalar是最好的，至于 java，python则是为了兼容性，有相关接口，但是资料相对较少一些。 查看更多答案>>

麻烦采纳，谢谢!