我收到了错误信息
java.lang.IllegalArgumentException: Schema must be specified when creating a streaming source DataFrame. If some files already exist in the directory, then depending on the file format you may be able to create a static DataFrame on that directory with 'spark.read.load(directory)' a
我们一直在审查微软的现代数据仓库架构,其中提到了使用Azure Data Factory将结构化和非结构化数据拉入Azure Data Lake。我也参加了很多关于这个主题的演讲,但大多数人对data Lake是否是结构化数据的好去处意见不一。我想确定的是,如果我们要利用的唯一来源是本地SQL Server数据库,那么将数据导入到数据湖中是否是一个好策略?那么,该策略的优点/缺点是什么?就背景而言,我们正在