我們正在創造一個簡單的Dockerfile
,該文件的最後一行是入口點與環境變量不acepting新PARAMS
ENTRYPOINT ["sh", "-c", "spark-submit --master $SPARK_MASTER script.py"]
的script.py
是一個簡單的pyspark應用程序(不是重要的討論),這pyspark應用會收到我們正在嘗試使用docker
命令如下
docker run --rm my_spark_app_image --param1 something --param2 something_else
但script.py
沒有得到任何參數來傳遞一些參數,即執行的容器:
spark-submit --master $SPARK_MASTER script.py
預期的行爲是,集裝箱執行:
spark-submit --master $SPARK_MASTER script.py --param1 something --param2 something_else
我在做什麼錯?