Spark readStream不会拾取输入文件中的架构更改。如何修复它？

Spark readStream不会拾取输入文件中的架构更改是因为Spark Streaming在启动时会读取输入文件的架构，并将其缓存在内存中，后续的文件更改不会被自动检测和加载。要修复这个问题，可以采取以下几种方法：

1. 重新启动Spark Streaming应用程序：当输入文件的架构发生更改时，可以停止当前运行的Spark Streaming应用程序，并重新启动它。这样可以确保新的架构被正确加载和应用。
2. 使用schema evolution功能：Spark Structured Streaming提供了schema evolution功能，可以处理输入文件架构的更改。通过在读取流数据时使用option("mergeSchema", "true")，Spark将自动检测和合并新的架构。这样，即使输入文件的架构发生更改，Spark仍然能够正确处理数据。
3. 使用文件监控机制：可以编写自定义的文件监控机制，定期检测输入文件的更改，并在检测到更改时重新加载架构。可以使用Spark的文件监控API或第三方库来实现这个功能。
4. 使用外部元数据存储：将输入文件的架构信息存储在外部元数据存储中，例如数据库或分布式存储系统。在Spark Streaming应用程序中，定期从外部存储中获取最新的架构信息，并将其应用于读取流数据。

总结起来，修复Spark readStream不会拾取输入文件中的架构更改的方法包括重新启动应用程序、使用schema evolution功能、使用文件监控机制或使用外部元数据存储。具体选择哪种方法取决于应用程序的需求和实际情况。

腾讯云相关产品和产品介绍链接地址：

• 腾讯云Spark Streaming：https://cloud.tencent.com/product/spark-streaming