问题描述

问题描述/异常栈

User class threw exception: org.apache.spark.SparkUpgradeException: You may get a different result due to the upgrading to Spark >= 3.0: Fail to recognize '%Y-%m' pattern in the DateTimeFormatter. 1) You can set spark.sql.legacy.timeParserPolicy to LEGACY to restore the behavior before Spark 3.0. 2) You can form a valid datetime pattern with the guide from https://spark.apache.org/docs/latest/sql-ref-datetime-pattern.html

解决方案

在Spark 3.0及以后的版本中，日期时间格式处理有了一些变化。如果你的代码遇到了`SparkUpgradeException`，提示无法识别`%Y-%m`模式，可以通过以下两种方式解决：

### 解决方法一：恢复到旧版本行为
你可以将`spark.sql.legacy.timeParserPolicy`设置为`LEGACY`，这样Spark会恢复到3.0之前的日期时间解析行为。这种方法相对简单，适合快速解决问题。

在提交Spark任务时，添加以下配置：
```bash
--conf spark.sql.legacy.timeParserPolicy=LEGACY

或者在代码中进行配置：

spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY")

解决方法二：使用有效的日期时间模式

根据Spark 3.0及以后的日期时间模式指南，调整你的日期时间格式。你可以参考官方文档来找到正确的模式。

例如，将%Y-%m更改为yyyy-MM，如下：

val dateFormat = "yyyy-MM"
val df = spark.read
  .option("dateFormat", dateFormat)
  .csv("path/to/your/csvfile.csv")

确保在解析日期时间时使用正确的模式。

示例

假设你之前的代码如下：

val df = spark.read
  .option("dateFormat", "%Y-%m")
  .csv("path/to/your/csvfile.csv")

你可以修改为：

val df = spark.read
  .option("dateFormat", "yyyy-MM")
  .csv("path/to/your/csvfile.csv")

总结

• 如果希望快速解决问题，可以将spark.sql.legacy.timeParserPolicy设置为LEGACY。
• 如果希望使用新的日期时间解析功能，参考官方文档调整日期时间模式。

希望这些方法能帮助你解决问题！

问题原因

在Spark 3.0及以后的版本中，日期时间格式处理有了一些变化

作者：焦巍