当前位置： 移动技术网 > IT编程>数据库>其他数据库 > indows Eclipse Scala编写WordCount程序

indows Eclipse Scala编写WordCount程序

2019年08月01日  | 移动技术网IT编程  | 我要评论

windows eclipse scala编写wordcount程序：

1）无需启动hadoop，因为我们用的是本地文件。先像原来一样，做一个普通的scala项目和scala object。

但这里一定注意版本是2.10.6,因为缺省的不好使。改的方法是：右击项目/properties/scala compiler.


2）像spark的java版wordcount项目一模一样导包，什么都一样。（导包的方法和原来普通的java项目一样）

 

例：5.1

package com
import org.apache.spark.sparkconf
import org.apache.spark.sparkcontext
object wordcount {
  def main(args: array[string]) {
    val conf = new sparkconf();
    conf.setappname("first spark scala app!"); 
    conf.setmaster("local");
    val sc = new sparkcontext(conf);
    val lines = sc.textfile("e://temp//input//friend.txt", 1); 
    val words = lines.flatmap { lines => lines.split(" ") };
    val pairs = words.map { word => (word, 1) }
    val wordcounts = pairs.reducebykey(_ + _) 
    wordcounts.foreach(wordnumberpair => println(wordnumberpair._1 + ":" + wordnumberpair._2))
  }
}

文章转载自原文：

 

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网