spark 项目： 如何学习Spark API-百度知道

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位；要想成为Spark高手，需要经历一下阶段：第一阶段：熟练地掌握S...展开全部

spark 项目： 大讲台有spark方面的企业实战吗

大讲台无论是就业课还是拼团项目课，都包含有大量真实的spark企业项目实战，大家可以在大讲台课程列表中看到。

其他答案:大部分认真学完的学员反馈，大讲台的spark课程基础理论讲解的比较全面深入，项目是真实的，业务很复杂

spark 项目： 如何从菜鸟成长成spark大数据高手

第一阶段：熟练掌握Scala语言1,spark框架是采用scala语言写的，精致优雅。想要成为spark高手，你就必须阅读spark源码，就必须掌握scala。 2，虽然现在的spark可以使用多种语言开发，java,python，但是最快速和支持最好的API依然并将永远是Scala的AP...展开全部

spark 项目： 怎么用Eclipse搭建Spark源码阅读环境

应该说这个和是不是Spark项目没什么关系。建议你使用intellij idea，在spark目录下执行＂sbt/sbt gen-idea＂，会自动生成.idea项目，导入即可。idea我不熟，还需要做一些其他的插件配置（python, sbt等）和环境设置。你也可以使用Eclipse看，Eclips...展开全部

spark 项目：科普Spark，Spark是什么，如何使用Spark？

自己写的Spark入门实战教程，适合于有一定hadoop和数据分析经验的朋友。

Spark简介

Spark是一个开源的计算框架平台，使用该平台，数据分析程序可自动分发到集群中的不同机器中，以解决大规模数据快速计算的问题，同时它还向上提供一个优雅的编程范式，使得数据分析人员通过编写类似于本机的数据分析程序即可实现集群并行计算。

Spark项目由多个紧密集成的组件组成。核心是Spark Core组件，它实现了Spark的基本功能，包括：任务调度、内存管理、错误恢复、与存储系统交互等模块，特别的，Spark Core还定义了弹性分布式数据集（RDD）的API，是Spark内存计算与并行计算的主要编程抽象。

在Spark Core上有一系列软件栈，用于满足了各种不同数据分析计算任务需求，包括连接关系型数据库或Hadoop Hive的SQL／HQL的查询组件Spark SQL，对实时数据进行流式计算的组件Spark Steaming，支持常见机器学习算法并行计算组件MLlib，支持并行图计算组件GraphX等。

为了进一步支持在数千个计算节点上的伸缩计算，Spark Core底层支持在各种集群管理器上运行，包括Hadoop YARN、Apache Mesos，或者Spark自带的Standalone独立调度器。

Spark部署

安装Spark比较简单，只要在机器上配置好最新版JAVA环境，下载编译好的Spark软件包后即可在本地运行。当然，也可以根据具体环境，使用Maven编译需要的Spark功能。

Spark部署有两种方式，一是本地部署，二是集群部署。前者只需启动本地的交互式环境脚本即可，常用在本机快速程序测试，后者的应用场景更多些，具体根据集群环境不同，可部署在简易的Spark独立调度集群上、部署在Hadoop YARN集群上、或部署在Apache Mesos上等。

其中，Spark自带的独立调度器是最简单实现Spark集群环境的一种方式，只需在多台联网计算机上安装好Spark，然后在其中一台启动集群管理器（通过脚本），然后再在其他计算机上启动工作节点（通过脚本），并连接到管理器上即可。

Spark编程

使用Spark编程，需要先在本机安装好Spark环境，然后启动Spark上下文管理器连接到本机（本地部署）或是集群上的集群管理器（集群部署），再使用Spark提供的抽象接口编程即可。

支持Spark的原生语言是Scala，一种支持JVM的脚本语言，可以避免其他语言在做数据转化过程的性能或信息丢失。但随着Spark项目的不断完善，使用Python和PySpark包、或者R和SparkR包进行Spark编程也都是不错的选择。

不论使用何种编程语言，使用Spark进行数据分析的关键在于掌握Spark抽象的编程范式，其基本流程包括4步：

1. 初始化SparkContext。SparkContext即是Spark上下文管理器（也称为驱动器程序），它主要负责向Spark工作节点上发送指令并获得计算结果，但数据分析人员无需关注具体细节，只需使用SparkContext接口编程即可。
2. 创建RDD。弹性分布数据集RDD是Spark在多机进行并行计算的核心数据结构，因此使用Spark进行数据分析，首先需使用SparkContext将外部数据读入到Spark集群内。
3. 设计数据转化操作。即操作的结果是返回一个新的RDD，即在图计算中只是一个中间节点。类比于Hadoop的Map()映射算子，但又不仅于此，Spark还支持filter()过滤算子、distinct()去重算子、sample()采样算子，以及多个RDD集合的交差补并等集合操作。
4. 设计数据执行操作。即操作的结果向SparkContext返回结果，或者将结果写入外部操作系统。类比于Hadoop的Reduce()算子，按某函数操作两个数据并返回一个同类型的数据，此外Spark还支持collect()直接返回结果算子、count()计数算子、take()/top()返回部分数据算子、foreach()迭代计算算子等操作。

Spark编程范式的本质是有向无环图方式的惰性计算，即当使用上述方式进行编程后，Spark将自动将上述RDD和转化算子转换为有向无环图的数据工作流，只有当触发执行算子时，才按需进行数据工作流的计算。此外，为进一步提高计算效率，Spark默认将在内存中执行，并自动进行内存分配管理，当然分析人员也可根据需求通过persist()算子将中间步骤数据显式的将内存数据持久化到磁盘中，以方便调试或复用。

在R环境下使用Spark实例

最新版的RStudio已经较完整的集成了Spark数据分析功能，可以在SparkR官方扩展接口基础上更方便的使用Spark，主要需要安装两个包，分别是sparklyr和dplyr。其中，sparklyr包提供了更简洁易用的Spark R编程接口，dplyr包提供了一个语法可扩展的数据操作接口，支持与主流SQL/NoSQL数据库连接，同时使数据操作与数据集数据结构解耦合，并且和Spark原生算子可基本对应。

若第一次运行，先在本机安装必要的包和Spark环境：

之后运行下面的小例子，可以发现，除了需要初始化SparkContext、导入RDD数据和导出数据外，其他数据处理操作都与在本机做数据分析是一样的。

此外，除了dplyr接口外，sparklyr还封装了一套特征工程和常用机器学习算法，足以满足80%常见的数据分析与挖掘工作，至于剩余的20%定制算法或是流处理、图计算等任务，便需要了解更多高阶的Spark接口来实现了。

spark 项目：Storm 和 Spark大数据处理方案有什么区别？

最近公司做流式实时处理的业务比较多，对这两个流式处理的大数据组件做了不少研究，非常荣幸一起来交流这个问题

首先说一下什么是流式计算

特点

数据实时产生

数据实时传输(实时收集)

数据实时计算

实时展示

尽可能快的得到结果

典型案列

1. 一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎

2. 携程-网站性能监控：实时分析系统监控携程网的网站性能

3. 阿里妈妈-用户画像：实时计算用户的兴趣数据

再分别来说一下storm和Spark

storm

1. 用来实时处理数据

2. 特点：低延迟、高可用、分布式、可扩展、数据不丢失

3. 提供简单容易理解的接口,便于开发

Spark

1. 在2009年诞生于加州大学,在2014年2月成为Apache顶级项目

2. 是一种快速、通用、可扩展的大数据分析引擎,并行计算框架

3. 是MapReduce的替代方案,兼容HDFS、Hive,可融入Hadoop的生态系统

4. 基于内存计算,具有数据处理的高实时性、高容错性、高可伸缩性,形成集群

5. Spark生态系统包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目

两者的区别

1. storm只能做流式计算，spark则可以既可以做离线也可以做实时计算

2. storm处理的数据单元是tuple,也就是每一条数据，也就是真正的流式

spark的数据单元的RDD，是在定义的某时间段内，获取 到的数据集，也就是说并不是逐条处理，而是一部分数据同时处理，也就是伪实时

3. Spark支持窗口处理，storm原生是不支持的

4. Spark支持SQL,storm的sql功能仍处于实验阶段

上述就是对两者 的一些简单介绍，由于篇幅有限，讲解的不太细致。

如果有任何疑问欢迎大家在评论区留言。

学习使人充实！！！最后祝大家都可以在大数据的海洋里随心遨游！

spark 项目：学完Spark课程后，能独立完成项目吗？

基本上不能，强人除外。项目需要多种技能的综合（除了编程外，还包括：需求分析、产品发布、项目管理）。即使只是编程，普通的课程学习，只是会了”明确习题的编码“，远远达不到独立完成某个项目的程度。