关于PySpark,Win10:PySpark,Win10-系统找不到指定的路径

PySpark, Win10 - The system cannot find the path specified

我以前将PySpark安装为通过pip安装的Python软件包,我最近使用干净的Python版本将其卸载并下载了独立版本。

在我的用户变量中,我创建了一个名为SPARK_HOME的路径

值:C:\ spark-2.3.2-bin-hadoop2.7 \ bin

在"路径"下的"系统变量"中,输入以下内容:C:\ spark-2.3.2-bin-hadoop2.7 \ bin

当我运行pyspark

我也不能运行spark-shell。 有任何想法吗?


窗口用户必须下载兼容的winutils exe版本,并将其保存在Spark的bin文件夹中。

找到兼容的Hadoop发行版,下载并将其保存在Spark文件夹中。

例如 下载" https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe"并将其保存在" C:\ spark-2.3.2-bin-hadoop2.7"中 \ bin"

在此链接中可以找到不同的winutils版本。
https://github.com/steveloughran/winutils


SPARK_HOME应该没有bin文件夹。 因此,

SPARK_HOME设置为C:\\spark-2.3.2-bin-hadoop2.7\\