在 intellij 下跑 spark 任务碰到的问题

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 3117 days ago, the information mentioned may be changed or developed.

碰到的问题是没法正常链接 hive, 运行的方式是直接在 intellij 下 run, 而不是命令行下 spark-submit.

https://gist.github.com/ufo22940268/44d72cb58a9627bdf9a40c78246c4ed3

-----------------------

其实本质问题就是直接在 intellij 下 run 的时候不会去读 mysql 的 metastore, 而是用了默认的 derby 的 metastore. 然后 mysql 的 metastore 的配置在 hive-site.xml 下, hive-site.xml 放在 SPARK_HOME/conf 下.

IntelliJ

碰到

Hive

Spark

3 replies • 2017-12-03 08:05:46 +08:00