Hive与Spark
Spark与Hadoop安装见此：安装Spark1.5与Hadoop2.6 注意：Spark官方提供的二进制发行版是不支持hive的，需要自行编译。 安装hive12wget -c http://mirrors.aliyun.com/apache/hive/hive-1.1.1/apache-hive-1.1.1-bin.tar.gz
标签: spark
Spark实战：工程实践
工欲善其事，必先利其器。 （本文是基于 sbt 来配置 Spark 开发的工程化，支持 Scala/Java 编程语言。Python 和 R 用户需要使用其它方式来实现工程化。） 今天谈谈Spark开发中的工程化问题。我们都知道Spark程序是在集群上跑的，需要把程序打包后使用 $SPARK_HOME/bin/spark-sumibt 到Spark集群上。 在开发、测试时，每次代码修改后都打包、提
安装Spark1.5.2与Hadoop2.6.2
适用于 Hadoop 2.9 build spark 1.5.212./dev/change-scala-version.sh 2.11./make-distribution.sh --name hadoop2.6-scala2.11 --tgz -Phadoop-2.6 -Pyarn -Phive -Phive-thriftserver -Dscala-2.11
Spark小试牛刀
随着项目的运营，收集了很多的用户数据。最近业务上想做些社交图谱相关的产品，但因为数据很多、很杂，传统的数据库查询已经满足不了业务的需求。试着用Spark来做，权当练练手了。 安装Spark因为有Scala的开发经验，所以就不用官方提供的二进制包了，自编译scala 2.11版本。 下载Spark：http://ftp.cuhk.edu.hk/pub/packages/apache.org/spar
Learn Spark - 安装
安装下载 Spark 1.4.1 1wget -c http://www.interior-dsgn.com/apache/spark/spark-1.4.1/spark-1.4.1.tgz 编译Spark，使用 scala 2.11 12./dev/change-version-to-2.11.shmvn -Dsc