PySpark, Win10 - The system cannot find the path specified
我以前将PySpark安装为通过pip安装的Python软件包,我最近使用干净的Python版本将其卸载并下载了独立版本。
在我的用户变量中,我创建了一个名为SPARK_HOME的路径
值:C:\ spark-2.3.2-bin-hadoop2.7 \ bin
在"路径"下的"系统变量"中,输入以下内容:C:\ spark-2.3.2-bin-hadoop2.7 \ bin
当我运行pyspark
我也不能运行spark-shell。 有任何想法吗?
窗口用户必须下载兼容的winutils exe版本,并将其保存在Spark的bin文件夹中。
找到兼容的Hadoop发行版,下载并将其保存在Spark文件夹中。
例如 下载" https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe"并将其保存在" C:\ spark-2.3.2-bin-hadoop2.7"中 \ bin"
在此链接中可以找到不同的winutils版本。
https://github.com/steveloughran/winutils
SPARK_HOME应该没有
将