我得到了 10 个具有相同架构的 DataFrame，我想将它们组合成一个 DataFrame。每个 DataFrame 都是使用 sqlContext.sql("select ... from ...").cahce 构造的，这意味着从技术上讲，直到使用它们时才真正计算出 DataFrame。

所以，如果我运行：

Spark 会并行计算所有这些 DataFrame 还是一一计算(由于点运算符)？

而且，当我们在这里时 - 有没有比我上面列出的更优雅的方法来在多个 DataFrame 上执行 unionAll？

unionAll 是懒惰的。您问题中的示例行不会触发任何同步或异步计算。

总的来说，Spark 是一个分布式计算系统。每个操作本身都由一堆并行处理的任务组成。所以一般来说你不必担心两个操作是否可以并行运行。无论如何，集群资源都会得到很好的利用。