Ambari e Spark não podem iniciar a partir do CLI

Question

Na GUI do Ambari, não podemos iniciar o serviço Spark. Então, queremos iniciá-lo por linha de comando da seguinte forma:

[spark@mas01 spark2]$ ./sbin/start-thriftserver.sh --master yarn-client --executor-memory 512m --hiveconf hive.server2.thrift.port=10015
starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out

Mas a partir do log, recebemos o erro:

Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.

Por favor, avise o que há de errado com a sintaxe?

[spark@mas01 spark2]$ more /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out
Spark Command: /usr/jdk64/jdk1.8.0_112/bin/java -Dhdp.version=2.6.0.3-8 -cp /usr/hdp/2.6.0.3-8/spark2/conf/:/usr/hdp/2.6.0.3-8/spark2/jars/*:/usr/hdp/current/hadoop-client/conf/ -Xmx10000m org.apache.spark.deploy.SparkSubmit --master yarn-client --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --executor-memory 512m spark-internal -- hiveconf hive.server2.thrift.port=10015
========================================
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.

    

Answer 1

Antes do Spark 2.0.0, era possível usar yarn-client ou yarn-cluster e que agora é reprovado. Quando você usa as URLs mestres obsoletas, você receberá o aviso mencionado.

O único URL principal adequado é agora yarn , por ex. %código%. Você pode usar ./bin/spark-submit --master yarn ... para escolher entre os modos Spark --deploy-mode (padrão) ou Spark client .