我想通过我本地的python编辑器访问我的Azure Datalake gen 2中的内容？做这件事最好的方法是什么？
浏览 33提问于2021-04-16得票数 0
Python可用于Azure DataLake Gen1。文档是
我可以使用相同的SDK从python访问Azure DataLake Gen2上的文件吗？
浏览 1提问于2019-01-18得票数 0
回答已采纳
2回答
我正在尝试使用Azure数据仓库从随需即用的HD集群中执行激发作业。文档清楚地表明，ADF(v2)不支持随需应变indicates集群的datalake链接服务，并且必须从复制活动将数据复制到blob，而不是执行作业。是否有任何有效的方法来访问datalake文件，要么是从执行触发作业的python脚本访问，要么是通过任何其他方式直接访问这些文件。
P.S是否有可能从v1那里做类似的事情，如果是，那怎么做？“使用Azure d
浏览 8提问于2018-01-09得票数 1
回答已采纳
我有一个用azure databricks编写的python脚本，用于在".txt“格式的原始文本文件上执行ETL，并且在Azure datalake V2中没有存储模式。我使用数据工厂从本地虚拟机迁移了这些文本文件。我的要求是只在迁移到Azure datalake的新数据(增量数据)上运行python脚本。我怎样才能做到这一点？
浏览 25提问于2020-11-28得票数 0
我们的要求是在Azure上托管这个工具，这样其他人就可以轻松地访问它。
我们将使用python重写这个工具，并计划从datalake gen1中检索csv数据(我们已经摄入了这些数据)。熊猫数据只能从本地文件创建，而不能直接从存储中创建。这意味着我们必须从datalake下载csv，将其转换为熊猫数据，然后执行我们的python算法。当文件被下载到本地存储时，这将占用应用程序服务上的磁盘存储空间，该应用程序服务的容量
浏览 7提问于2022-02-10得票数 -1
当前正在工作的本地机器上的代码方法：data = json.load(f)f = open(Datalake path
浏览 5提问于2021-12-29得票数 1
我在python3中有这样的代码结构： __init__.py __init__.py lambdas
__我的问题是如何从datalake导入tests/demo.py模块？我尝试了from datalake.utils import utils中的demo.py，但是当我从命令行运行python tests/demo.py时，我得到了这个错误ModuleNotFoundE
浏览 1提问于2019-07-26得票数 2
回答已采纳
我正在尝试将文件从共享文件夹上载到Azure Datalake gen 1文件夹。但是，当我尝试使用ls方法或walk方法访问其中一个文件夹时，我收到以下错误： Traceback (most recent call last): files = self._ls(path, invalidate_cach
浏览 54提问于2019-05-16得票数 2
回答已采纳
首先，我已经创建了一个azure databricks笔记本和集群，并且能够访问来自datalake的数据。现在我必须将此数据加载到本地SQL数据库tables.how中，我可以将数据从azure databricks加载到一个本地SQL中。
我看到有火花连接器，但不能加载它。附注:我的目标不是Azure SQL数据库，而是本地SQL数据库
浏览 9提问于2020-09-25得票数 0
我有一个Azure Parquet存储Gen2，其中包含一些DataLake文件。我的组织已经启用了凭据传递，因此我能够在Azure Databricks中创建python脚本，并使用dbutils.fs.ls访问ADLS中可用的文件。所有这些都工作得很好。现在，我还需要访问这些文件的最后修改时间戳。我找到了一个能做到这一点的。但是，它使用BlockBlobService并需要account_key。
由于组织的安全策略，我没有帐户密钥，也无法获取。
浏览 4提问于2020-06-05得票数 2
试图使用自动加载程序，其中AWS S3是源，Delta湖在Azure Datalake。当我试图读取文件时，它会给我以下错误
从提供事务保证的角度来看，从非AWS向Delta表写入AWS是不安全的。我的问题是，我们是否可以确保事务性保证将数据从AWS3加载到Azure Datalake (Datalake是我们Datalake的后端存储)。
浏览 6提问于2021-04-11得票数 2
我正在尝试在EKS集群中部署python fastApi (我能够在本地系统中测试这段代码)，每当我部署docker映像时，失败的原因是INFO:将监视这些目录中的更改：'/ app‘信息:在上运行的“
return {"item_id": ite
浏览 6提问于2022-03-08得票数 1
为了安全起见，我需要将文件移动到Azure Datalake存储，而不在本地写入该文件。这是使用xlsxwriter包创建的excel工作簿。下面是我尝试过的返回ValueError: Seek only available in read mode的方法 import pandas as pdmatrix = pd.DataFrame(Database_Query1)
raw = pd.DataFrame(Database_Query2)
浏览 22提问于2019-12-06得票数 0
回答已采纳
1回答
如果你有一个基于数据湖的工作解决方案，请用几句话描述工作流程(从“原始”文件到最终用户的报告)。下面是我的NET应用程序示例using Microsoft.IdentityModel.Clients.ActiveDirectory
浏览 1提问于2018-05-02得票数 1
我正在我的本地机器pycharm上编写一些代码。执行是在databricks集群上完成的，而数据存储在azure datalake上。基本上，我需要列出azure datalake目录中的文件，然后对这些文件应用一些读取逻辑，为此，我使用以下代码hadoop = sc.经过深入挖掘后发现，代码正在我的本地驱动器中查找“路径”。我在使用python库(os，pathlib)时遇到了类似的问题
在集群上运行其他代码没有问题。我需要帮助找出如何运行它，以便搜索数
浏览 0提问于2020-02-09得票数 0
我正在尝试上传一个文件到azure datalake使用python脚本。我可以从datalake下载文件，但上传会引发权限错误，而我检查了所有级别的所有权限(Read，Write，Execute和decendants选项)。-32\test_azure.py", line 64, in <module> File "C:\Users\Python37"C:\Users\Python
浏览 11提问于2019-05-23得票数 0
我这样说是不一致的，因为它们之间的访问权限绝对没有区别，但其中一个是成功的，另一个则不是。以下描述了一些情况--一些为了安全而混淆的数据，但以一致的方式：{$ aws --version
aws-cli/1.16.297 Python/3.5.2 Linux/4.4.0-1098-aws
浏览 3提问于2019-12-05得票数 1
有没有办法使用Java SDK将文件从本地上传到ADLS？我尝试使用以下代码上传，但代码没有编译，因为它显示构造函数不可见。com.microsoft.azure.datalake.store.Utils ut=new com.microsoft.azure.datalake.store.Utils(adlStoreclient
浏览 9提问于2018-02-14得票数 0
1回答
我遵循本教程()，在Azure批处理中运行一系列python脚本。这些任务生成一些文件，我希望将这些文件移动到存储帐户中的datalake容器中，该存储帐户已经链接到我正在运行作业的批处理帐户。也就是说，我希望钥匙永远不要离开我的本地电脑。我可以访问as环境变量或类似的东西吗？
谢谢你的帮助!
浏览 4提问于2022-07-07得票数 0
回答已采纳
在Synapse工作区中，我能够访问外部表数据(因为它使用我的AD凭据)。但是，它不能在外部平台上工作，在本例中是redash。为了从redash访问数据，我创建了一个db用户，在这里，我认为我遗漏了一个步骤，可以以某种方式授予这个用户访问数据库范围凭据。使用所需的creds创建外部表的步骤： WITH IDENTITY =
浏览 1提问于2021-07-28得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
