摘要
CDH5.11集群中，默认安装的spark是1.6版本，需要将其升级为spark2.x版本。
官方文档介绍，spark1.6和2.x是可以并行安装的，可以不用删除默认的1.6版本直接安装2.x版本，它们各自使用的端口也是不一样的。
准备
csd包
下载地址 http://archive.cloudera.com/spark2/csd/
下载 SPARK2_ON_YARN-2.1.0.cloudera3.jar
parcel包
下载地址 http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/
下载 SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel
下载 SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel.sha1
下载 manifest.json
注意 两个文件的版本 cloudera3 是一样的
安装
上传CSD包
cp SPARK2_ON_YARN-2.1.0.cloudera3.jar /opt/cloudera/csd
chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar
上传parcel包
cp SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel /opt/cloudera/parcel-repo
cp SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel.sha1 /opt/cloudera/parcel-repo/SPARK2-2.1.0.cloudera3-1.cdh5.13.3.p0.569822-el7.parcel.sha
mv /opt/cloudera/manifest.json{,.1}
cp manifest.json /opt/cloudera/parcel-repo
重启节点
service cloudera-scm-server restart
注 如果不成功，重启每个节点的代理
service cloudera-scm-agent restart
添加服务
- 点击主机 -> Parcel页面，看是否多了个spark2的选项。
- 点击分配按钮，等待操作完成。
- 点击激活按钮。
- 点击你的群集 -> 添加服务，添加spark2服务
注意 如果这里看不到spark2服务，检查下载的CSD包和parcel包是否对应，上面的步骤是否有漏掉。