当前位置: 游戏平台 > 互联网科技 > 正文

IDEA下用SBT搭建Spark Helloworld

时间:2019-11-05 23:44来源:互联网科技
前言: 没用过IDEA工具,传说跟Eclipse大概,sbt在Idea其实就十三分maven在Eclipse。斯Parker运营在JVM中,所以要在Idea下运营spark,就先要安装JDK 1.8+然后加盟Scala和斯Parker的依附包就可以展费

前言:

没用过IDEA工具,传说跟Eclipse大概,sbt在Idea其实就十三分maven在Eclipse。斯Parker运营在JVM中,所以要在Idea下运营spark,就先要安装JDK 1.8+ 然后加盟Scala和斯Parker的依附包就可以展费用付了,不要设置低版本的JDK。

Spark本身用scala写的,运行在JVM之上。

先下载IDEA的社区版

 JAVA版本:java 6 /higher edition.

1 下载Spark

Scala、Spark环境


安装完后下载Scala插件

图片 1

新建sbt工程

图片 2

那边须要留意,如果接收斯Parker2.0以上,那么Scala要选2.11之上。因为本身用的是斯Parker2.0.2,所以就分选2.11.1,接收JDK版本后肯定。

图片 3

工程创设成功后的目录

图片 4

编辑build.sbt文件,添加Spark依赖

name := "Scala"

version := "1.0" scalaVersion := "2.11.1"

libraryDependencies+= "org.apache.spark" % "spark-core_2.11" % "2.0.2"

保留,等待下载完信赖的包。

PS: Scala版本对应的斯Parker可在官方网站查询

图片 5

Helloworld


在project下 src/scala包下创造三个scala.class

图片 6

helloworld.scala

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Jan on 2016/12/19.
 */
object Helloworld {

    def main(args: Array[String]) {
      val logFile= "./README.md"  // Should be some file on your server.
      val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
      val sc= new SparkContext(conf)
      val logData= sc.textFile(logFile, 2).cache()
      val numAs= logData.filter(line => line.contains("h")).count()
      val numBs= logData.filter(line => line.contains("j")).count()
      println("Lines with h: %s, Lines with j: %s".format(numAs, numBs))
    }

}

地方代码目标是:在地面读取三个叫README.md的文件,通过斯Parker内部存款和储蓄器剖析,总括字母“h”和字母“j”在文书中冒出些微次。

运转代码

图片 7

兴许现身的荒诞:

java.io.IOException: Could not locate executable nullbinwinutils.exe in the Hadoop binaries.

原因是贫乏了winutils.exe文件,那一个而且未有设置HADOOP_HOME

  1. 下载hadoop到本机并增多bin目录到处境变量

  1. 下载winutils.exe文件,下载前存放hadoop的bin目录下

Linux公社财富站下载:

------------------------------------------分割线------------------------------------------

无需付费下载地址在

客户名与密码都是www.linuxidc.com

切实下载目录在 /2016年资料/12月/22日/IDEA下用SBT搭建Spark Helloworld/

下载情势见 http://www.linuxidc.com/Linux/2013-07/87684.htm

------------------------------------------分割线------------------------------------------

本文永远更新链接地址:http://www.linuxidc.com/Linux/2016-12/138698.htm

图片 8

你能够友善接受需求的本子,这里自身的筛选是:

借令你是滴水穿石的好码农,你能够友善下载源码:.

注意:作者这边是运作在Linux景况下。没有条件的能够安装下设想机之上!

 

2 解压缩&步向目录

tar -zvxf spark-1.1.0-bin-Hadoop1.tgz

cd spark-1.1.0-bin-hadoop1/

3 启动shell

./bin/spark-shell

您会看出打字与印刷相当多东西,最终彰显

图片 9

 

4 出一头地

前后相继执行上面多少个语句

val lines = sc.textFile("README.md")

lines.count()

lines.first()

val pythonLines = lines.filter(line => line.contains("Python"))

scala> lines.first()
res0: String = ## Interactive Python Shel

---解释,什么是sc

sc是暗中认可爆发的斯ParkerContext对象。

比如

 scala> sc
res13: org.apache.spark.SparkContext =

编辑:互联网科技 本文来源:IDEA下用SBT搭建Spark Helloworld

关键词: