❮ 上一节
下一节 ❯
Spark - 安装
Spark 是 Hadoop 的子项目。因此，最好将 Spark 安装到基于 Linux 的系统中。以下步骤显示如何安装 Apache Spark。
步骤 1：验证 Java 安装
Java 安装是安装 Spark 的必需步骤之一。尝试以下命令来验证 JAVA 版本。
$java -version
如果您的系统上已经安装了 Java，您将看到以下响应 −
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果您的系统上没有安装 Java，请先安装 Java，然后再继续下一步。
步骤 2：验证 Scala 安装
您应该使用 Scala 语言来实现 Spark。因此，让我们使用以下命令验证 Scala 的安装。
$scala -version
如果您的系统上已安装 Scala，您将看到以下响应 −
Scala 代码运行器版本 2.11.6 - 版权所有 2002-2013，LAMP/EPFL
如果您的系统上未安装 Scala，请继续执行下一步安装 Scala。
步骤 3：下载 Scala
通过访问以下链接下载最新版本的 Scala 下载 Scala。在本教程中，我们使用 scala-2.11.6 版本。下载后，您将在下载文件夹中找到 Scala tar 文件。
步骤 4：安装 Scala
按照下面给出的步骤安装 Scala。
提取 Scala tar 文件
输入以下命令提取 Scala tar 文件。
$ tar xvf scala-2.11.6.tgz
移动 Scala 软件文件
使用以下命令将 Scala 软件文件移动到相应目录 (/usr/local/scala)。
$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit
为 Scala 设置 PATH
使用以下命令为 Scala 设置 PATH。
$ export PATH = $PATH:/usr/local/scala/bin
验证 Scala 安装
安装后，最好进行验证。使用以下命令验证 Scala 安装。
$scala -version
如果您的系统上已安装 Scala，您将看到以下响应 −
Scala 代码运行器版本 2.11.6 - 版权所有 2002-2013，LAMP/EPFL
步骤 5：下载 Apache Spark
通过访问以下链接下载最新版本的 Spark 下载 Spark。在本教程中，我们使用 spark-1.3.1-bin-hadoop2.6 版本。下载后，您将在下载文件夹中找到 Spark tar 文件。
步骤 6：安装 Spark
按照下面给出的步骤安装 Spark。
提取 Spark tar
以下命令用于提取 spark tar 文件。
$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz
移动 Spark 软件文件
以下命令用于将 Spark 软件文件移动到相应目录 (/usr/local/spark)。
$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit
设置 Spark 环境
在 ~/.bashrc 文件中添加以下行。这意味着将 spark 软件文件所在的位置添加到 PATH 变量中。
export PATH = $PATH:/usr/local/spark/bin
使用以下命令获取 ~/.bashrc 文件。
$ source ~/.bashrc
步骤 7：验证 Spark 安装
输入以下命令打开 Spark shell。
$spark-shell
如果 spark 安装成功，您将看到以下输出。
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.4.0
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>
❮ 上一节
下一节 ❯