在palantir foundry中，如何在不使用transform或transform_df的情况下导入和读取数据集？
在 Palantir Foundry 中，可以使用以下方法来导入和读取数据集，而不使用 transform 或 transform_df：
- 使用数据连接器（Data Connectors）：Palantir Foundry 提供了多个数据连接器，可以直接连接到各种数据源并导入数据集。例如，可以使用关系型数据库连接器连接到数据库并读取数据表，使用文件连接器导入本地文件，或使用 API 连接器导入通过 API 获取的数据。在导入数据时，可以配置数据连接器的设置，例如数据源地址、认证信息等。
- 使用外部数据导入工具：Palantir Foundry 还提供了外部数据导入工具，可以将数据集导入到 Foundry 中。这些工具通常是针对特定的数据源或文件格式的，可以根据需要选择合适的工具。例如，可以使用 SQL Server 数据库导入工具来将 SQL Server 数据库中的数据导入到 Foundry。
- 使用 Foundry SDK：如果需要通过代码来导入和读取数据集，可以使用 Foundry SDK。Foundry SDK 是一个 Python 库，提供了许多用于与 Foundry 平台交互的功能。可以使用 SDK 提供的函数和类来导入数据集，读取数据集的内容，并进行各种数据处理操作。具体可以参考 Foundry SDK 的文档和示例代码。
需要注意的是，上述方法中的具体步骤和配置可能因不同的情况而有所差异。可以根据具体的需求和环境来选择合适的方法，并参考 Palantir Foundry 的官方文档和相关资源进行操作。
至于推荐的腾讯云相关产品和产品介绍链接地址，请参照相关官方文档或联系腾讯云的客服人员获取更准确和最新的信息。
相关·内容
我想要全局导入一个数据集，这样我就可以访问文件中的数据集。有没有办法在不使用Palantir Foundry代码库中的transform或transform_df的情况下导入单个文件。 基本上，我希望从数据集中提取数据，并以列表的形式返回所有值。如果我使用transform或transform_df装饰器，那么在调用返回函数时将无法访问输入文件。 或者，是否有其他方法可以通过使用一个数据框作为palantir代码存储库中函数的输入来返回值列表。
浏览 10提问于2020-10-30得票数 0
Palantir-Foundry -我们有一个工作流，它需要从带有写回的对象的支持数据集中更新，才能在写回中持久化，但这在以前编辑过的行上失败。由于“编辑-胜利”模型的写回，它将始终选择编辑版本的行，这是有意义的。除了重新设计整个应用程序之外，我还在研究如何通过使用Foundry来解决这个问题。
是否可以将Foundry写回中的已编辑行还原为原始未经编辑的版本？我在我们的实例中为phonograph2 BaseVersion找到了一些API文档，但是我无法找到/理解任何可以将一行恢复到BaseVersion的东西。我需要能够在某些事件上使用类型记录从函数存储库执行此操作。
浏览 10提问于2022-11-14得票数 2
我想在Palantir Foundry中联合多个数据集，数据集的名称是动态的，所以我不能在transform_df()中静态地给出数据集的名称。有没有一种方法可以动态地将多个输入输入到transform_df中，并合并所有这些数据帧？
我尝试遍历数据集，如下所示：
li = ['dataset1_path', 'dataset2_path']
union_df = None
for p in li:
@transforms_df(
my_input = Input(p),
Output(p+"_output")
)
浏览 1提问于2021-03-27得票数 3
2回答
我们有标准报告上传为PDF每天的基础上。在PDF中有一些表，我们希望将这些表拉到数据集中。我在代码存储库中导入了表格，但我似乎无法让代码存储库引入PDF。
我收到这个错误：
“错误加载输入”
{“消息”：“无法解析别名”，“别名”：“/US Office/COO/pdf_tests/test.pdf"，”fallbackBranches“：”主“}”
这是我使用的最基本的代码：
from transforms.api import transform_df, Input, Output
import tabula
@transform_df(
Output("/US
浏览 7提问于2022-01-12得票数 1
在我运行./gradlew idea之后，构建是成功的，并且我已经能够非常容易地通过git将代码更改推送到云中。
但是，我还不能预览或运行任何.py转换文件。有没有人知道这是否可能？
这是我得到的错误，我理解它，但不知道如何安装软件包，因为我相信这是Palantir Foundry的事情。
from transforms.api import transform_df, Input, Output, configure
ModuleNotFoundError: No module named 'transforms'
如有任何帮助，我们不胜感激！
浏览 42提问于2021-05-14得票数 1
我需要在Palantir Foundry的代码工作簿中联合两个数据集，但我不确定如何做到这一点。我想使用Pyspark来做这件事。我是Foundry的新手，请帮帮忙！
浏览 15提问于2021-10-11得票数 1
试图通过palantir foundry的slate找到弹性搜索服务API的后备数据集。我需要用于实现对象的数据集。
浏览 6提问于2021-09-15得票数 0
我正在探索Palantir Foundry平台，它似乎有大量用于矩形数据或结构化数据的选项。是否有人有在Foundry平台上处理非结构化大数据的经验？我们如何使用Foundry进行图像分析？
浏览 46提问于2020-05-19得票数 2
嗨，我知道这是一个基本的问题，但是我是Foundry和Pyspark的新手，请帮帮忙！我需要使用3列连接Palantir Foundry的代码工作簿中的两个数据集(两个在两个列中的名称相同，但一个在数据集中使用不同的名称)。我不确定如何执行此操作。谢谢你的帮助!
浏览 5提问于2021-10-14得票数 1
我可以通过手动提供列名和值来创建数据框，并将其传递给生产代码以检查palantir foundry代码库中所有转换后的字段值，从而编写pytest函数。
我不想手动传递列名及其各自的值，而是希望将所有必需的数据存储在dataset中，并将该数据集导入pytest函数以获取所有所需的值，然后传递给生产代码以检查所有转换后的字段值。
是否可以接受数据集作为planatir代码库中测试函数的输入。
浏览 7提问于2020-11-17得票数 2
我想知道在Palantir Foundry中创建的文件夹的总大小。该文件夹可以具有N个存储库、N个数据集、任何其他数据。我应该得到所选文件夹的总大小。任何人都可以推荐一下。
浏览 4提问于2021-11-08得票数 0
我在Palantir Foundry中有一个80 of的日期分区数据集，它每3小时在增量附加事务中摄取300-450 of的数据。我想要创建一个增量转换，使用它作为输入。
但是，数据集太大，无法一次读取初始快照。附加到数据集的数据将足够小，足以在初始快照后处理每个增量构建。如何解析输入数据集中的待办事项并达到可以在增量模式下运行转换的地步？
浏览 13提问于2022-07-29得票数 2
我希望在slate应用程序中集成外部rest api？Foundry允许从SLATE调用外部api吗?如果允许，我们如何实现同样的目标？
浏览 29提问于2020-11-02得票数 3
我想在Palantir Foundry代码库中定义以下pandas_udf。
@pandas_udf("long", PandasUDFType.GROUPED_AGG)
def percentile_95_udf(v):
return v.quantile(0.95)
但是，当我试图在全局范围内定义这个udf时，我会得到以下错误：
AttributeError: 'NoneType' object has no attribute '_jvm'
但是，如果我在转换调用的函数中定义了相同的函数，则代码运行良好，如下所示：
from pys
浏览 2提问于2021-03-02得票数 1
回答已采纳
我在配置文件col1和col2中有两列。
现在，我必须在我的主python转换中导入这个配置文件，然后提取列的值，以便通过迭代所有可能的值从这些值创建动态输出路径。
例如ouput_path1=Constant+value1+value2
ouput_path2=Constant+value3+value4
请建议一些在palantir创建(code-repo)中生成输出文件的解决方案。
浏览 4提问于2020-10-29得票数 0
我可以通过手动提供列名和值来创建数据框，并将其传递给生产代码以检查palantir foundry代码库中所有转换后的字段值，从而编写pytest函数。
我希望将所有必需的数据存储在dataset中，并将该数据集导入pytest函数以获取所有所需的值，然后传递给生产代码以检查所有转换后的字段值，而不是手动传递列名及其各自的值。
是否可以接受数据集作为planatir代码库中的测试函数的输入。
浏览 4提问于2020-11-05得票数 0
我有一个非常简单的任务，更新一个控制文件的内容在Palantir铸造。我需要读取文件的内容，执行检查，然后写回同一个文件。但是，如果在转换中提供与输入和输出相同的文件，则会得到以下错误-
Cyclic dependency exists in the code for the following Foundry datasets:...
有办法解决这个问题吗？
根据下面的建议更新了包含更多详细信息和代码片段的问题
我需要将事务文件的内容附加到增量快照文件中，这个过程应该每天运行一次。但是，如果进程一天运行不止一次(无意中或在失败后重新启动等)，我需要确保不再追加相同的记录。因此，我正在尝试使用
浏览 3提问于2021-12-08得票数 2
如何在Palantir-foundry中导入和使用"Koalas: pandas API for Apache Spark“开放源码python包。 我知道你可以通过Code Repo导入不存在的包，并且已经这样做了，我可以对Koalas包执行同样的过程吗，或者我需要遵循另一条路线吗？
浏览 30提问于2021-04-09得票数 1
回答已采纳
我有一个@transform_pandas代码，它加载用于计算的输入文件。
在计算函数中，我有一个for循环，它必须读取完整的输入数据，并对每次迭代进行相应的筛选。
@transform_pandas(
Output("/FCA_Foundry/dataset1"),
source_df=Input(sample),
)
我有下面的代码，我试图在for循环中的每一次迭代中读取source_df数据集，并专门将数据集过滤到年份和家庭中，并进行计算。
def compute(source_df):
for entire_row
浏览 13提问于2022-10-11得票数 0
1回答
我已经从融合表创建了Palantir铸造数据集。但是，行的顺序与融合表不一样。正确的方法是什么？
融合片数据
从融合表创建的数据集
浏览 0提问于2021-01-05得票数 1
回答已采纳
1回答
我正在使用铸造的功能，并为此目的使用打字本。我想知道是否可以在特定函数中发出HTML请求。
我已经检查了我所知道的JS ()的每个HTML方法。但是，这些方法在类型记录回购中不可用。
在互联网上，我发现了一个名为的库，我认为这个库会有所帮助。这是由Palantir开发的。这个库已经安装在Foundry中，可以在类型记录中使用，但是我找不到关于如何使用它执行PUT请求的任何示例。
期待着得到你的帮助和帮助。
最好的，巴勃罗
浏览 7提问于2022-04-27得票数 2
在代码存储库中组合Python中的多个数据集时，我希望将数据集名称放在第一列中。但我无法通过访问它的路径来理解它
@transform_df(
Output("/folder/folder1/datasets/mydatset"),
df1 = Input("A"),
df2 = Input("B"),
)
def compute(df1, df2, df3):
print(list(filter(os.path.isfile, os.listdir())))
如何从转换中获取数据集名称？
浏览 3提问于2022-06-26得票数 3
我在代码存储库中完成了以下操作
@transform_df(
Output(test_dataset_path),
df=Input(og_dataset_path)
)
def compute(ctx, df):
ctx.spark_session.sql(f'''
CREATE TABLE `test_dataset_path` AS
SELECT * FROM `og_dataset_path`
''')
return ctx.spark_session.sql(f''
浏览 4提问于2021-12-09得票数 3
我需要上传一个测试数据集，该数据集具有列名及其各自的值，以测试产品代码的功能。如何在palantir铸造厂上传未经认证的数据集。有人建议吗？
浏览 0提问于2020-12-02得票数 2
回答已采纳
在Palantir中，我可以看到我们可以使用Pytest或TransformRunner编写单元测试。我的理解是，使用Pytest，我们不能为单元测试传递转换的输出，而在TransformRunner中，我们不能使用我们必须使用的数据集。我们需要一些测试数据。但是，我希望使用在生产中运行转换的整个输入数据集，并对其输出进行测试。我怎样才能做到这一点？
浏览 8提问于2022-01-03得票数 0
1回答
我是非常新的融合表，并希望准备一些数据。看起来，据我所知，目前还没有存在任何今天()函数。因此，我正在考虑创建一个自定义函数，以便这样做。但是这些文档并没有给出使用哪种编码语言的任何指导。或者至少我什么都没找到。
如果你们中的任何人能给出一个关于如何获得今天的日期或如何编写自定义函数的提示，我将非常感激。
再次感谢！
浏览 4提问于2022-05-04得票数 3
在开始对输入文件进行筛选之前，我想对代码存储库中的输入文件进行洗牌。因为Foundry预览只加载前10000行，而且当我在上面应用筛选器时，它将返回0行，因为这些筛选器仅应用于前10000行(而且我确信正在查看的行位于数据集的底部)。我想在数据集被加载到铸造内存的同时洗牌数据集，这样我就可以在筛选器中捕获一些想要的行。
我的代码：
@transform_df(
output=Output("Path_to_output_file"),
input_file=Input("path_to_input_file")
)
def comput
浏览 3提问于2022-07-29得票数 0
1回答
我想在转换为Foundry时设置测试，传递测试输入并检查输出是否为预期输出。是否可以使用虚拟数据集(代码库中的.csv文件)调用转换，或者是否应该在转换中创建由测试调用的函数(在代码中创建的数据)？
浏览 3提问于2020-10-20得票数 4
当我试图将输入表作为视图查询时，我会得到错误com.palantir.foundry.spark.api.errors.DatasetPathNotFoundException。我的代码如下：
def Median_Product_Revenue_Temp2(Merchant_Segments):
Merchant_Segments.createOrReplaceTempView('Merchant_Segments_View')
df = spark.sql('select * from Merchant_Segments_View limit 5&
浏览 13提问于2022-02-25得票数 3
为了能够在Palantir Foundry中使用，我们需要使用transforms.api.IncrementalTransformOutput.write_dataframe()和partitionBy=['col1', 'col2', 'col_N']作为。
当我在增量数据集(数据绝对均匀地分布在partitionBy列上)上这样做时，我得到了不同的文件大小，从128 6MB到6MB不等。partitionBy列只有24个不同的组合，我怀疑不同文件大小的原因是分区时的散列合并，我假设Foundry在本例中使用partitionBy()。
我宁
浏览 15提问于2022-06-13得票数 1
回答已采纳
我正在尝试使用Palantir函数shapefile_to_dataframe()，以便在以后的地理定位功能中使用shapefiles。
我在一个数据集中手动导入了shapefile (.shp、.shx和.dbf) (通过文件系统API没有访问问题)。
根据文档，我已经导入了地理空间工具和GEOSPARK概要文件+在transforms build.gradle中包含了依赖项。
下面是我的转换代码，它主要是从文档中提取的：
from transforms.api import transform, Input, Output, configure
from geospatial_tools
浏览 9提问于2022-09-27得票数 1
回答已采纳
我需要读取其他格式: JSON、二进制、XML，并在代码存储库中的转换中动态推断模式，并使用Spark数据源api。
示例：
val df = spark.read.json(<hadoop_path>)
为此，我需要一个Foundry文件系统路径的访问器，它类似于：
foundry://...@url:port/datasets/ri.foundry.main.dataset.../views/ri.foundry.main.transaction.../startTransactionRid/ri.foundry.main.transaction...
使用PySpark
浏览 4提问于2021-12-06得票数 2
回答已采纳
我已经通过数据连接将一个包含100,000个原始json文件的数据集导入到foundry中。我想使用Python Transforms raw file access转换来读取文件，将结构数组和结构数组扁平化为一个数据帧，作为对df的增量更新。我想使用来自*.json文件文档的类似于以下示例的内容，并使用@incremental()装饰器将其转换为增量更新。 >>> import csv
>>> from pyspark.sql import Row
>>> from transforms.api import transform, In
浏览 18提问于2021-03-26得票数 5
回答已采纳
当我在Palantir铸造厂构建数据集时，下面的代码工作得很好，它生成了3个输出，但我的问题是，您可以看到第1行和第2行代码，我已经对数据进行了硬编码，所以我想从数据集中获取它，并在下面的函数中创建列表并使用该列表，这样它就会生成3个输出。但我试了很多次，但仍然找不到解决办法，.if，有人可以在这方面帮助‘’
gen_o =[A32,A33,A35]
program_id=[N,L,P]
def generat_each_dataSet(v_output,v_program_id):
@transform_df(
output("............path "
浏览 1提问于2022-01-17得票数 1
我可以运行./gradlew compileTestJava，但是./gradlew compileExamplesJava失败了。这是我的项目结构： src/examples/org
└── eclipse
└── paho
└── client
└── mqttv3
├── internal
│ ├── security
│ ├── websocket
│ └── wire
浏览 53提问于2021-07-15得票数 0
对于Palantir Foundry中的代码存储库项目，我很难重新使用我的一些转换逻辑。
这看起来几乎微不足道，但是:是否有方法将输入发送到不是dataset/dataframe引用的转换？
在我的例子中，我想传递字符串或列表/数组。
这是我的密码：
from pyspark.sql import functions as F
from transforms.api import Transform, Input, Output
def my_computation(result, customFilter, scope, my_categories, my_mappings):
浏览 7提问于2022-11-02得票数 0
回答已采纳
1回答
我有一个原始数据集，其中包含多个PDF文件。我希望能够获得一个Foundry数据集，该数据集在一列中包含这些pdfs的文本，在另一列中包含文档的名称。
让我们假设xyz.pdf有文本，假设yyz有文本zxcv，我想要一个数据集，其中包含：
doc_name | text |
-----------------
xyz.pdf | asdf |
yyz.pdf | zxcv |
我的方法是打开文件，并发送到一个进行文档解析的库(tika、pdfplumber、docquery)。当我运行这样的东西时：
with source.filesystem().open('xyz.p
浏览 9提问于2022-11-01得票数 0
我有120个表的列表，我希望将每个表中的前1000行和最后1000行的样本大小保存到每个表的各个csv文件中。
如何在代码回购或代码编写中做到这一点。
下面的代码允许将一个表保存到csv，有人可以帮助它循环从项目文件夹中遍历表列表并为每个表创建单独的csv文件吗？
@transform(
my_input = Input('/path/to/input/dataset'),
my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_outpu
浏览 2提问于2021-11-15得票数 1
回答已采纳
我已经构建了一个管道，它读取一些数据，进行一些操作，并创建一些apache对象(下面代码中的步骤1和步骤2)。然后，我想生成统计数据并将它们写入文件。我可以利用tensorflow数据验证库，但是tfdv GenerateStatistics需要一个pyarrow.lib.RecordBatch，而不是Row对象。我知道apache_beam.io.tfrecordio.WriteToTFRecord可以将PCollection写入文件作为TFRecord，但是，有没有一种方法可以不写到文件中呢？理想情况下，第3步将Row对象转换为TFRecord。
with beam.Pipeline(op
浏览 8提问于2022-04-05得票数 1
1回答
由于铸造厂文档不完整，并没有提供真正的答案:是否可以使用铸造代码库(可用和使用python库)和df作为输入来生成word文档(.docx)作为输出？我认为可能使用转换输入/输出和py-docx document.save()功能的组合可能有效，但我无法找到合适的解决方案。
from pyspark.sql import functions as F
from transforms.api import transform, transform_df, Input, Output
import os, docx
import pandas as pd
浏览 2提问于2022-02-11得票数 1
回答已采纳
我刚接触云铸造，正在研究我们的遗留Java应用程序与运行在云铸造上的应用程序进行异步通信的可能方法。
我们已经在做大量的异步工作，并且正在将事件发布到Active MQ。
我知道cloud foundry有可能与Rabbit MQ绑定，我的问题是云foundry运行的应用程序连接(侦听)到现有的CF平台Rabbit MQ的可能性？
有没有其他替代方案来实现这一点？
浏览 0提问于2014-11-25得票数 1
我们希望使用Steeltoe来开发我们的微服务。然而，我们不想使用Pivotal Cloud Foundry。
我们可以将Steeltoe与Azure应用服务一起使用吗？或者，在Azure上使用Steeltoe而不使用Pivotal Cloud Foundry的最佳解决方案是什么？
可以在免费版本的Cloud Foundry中使用Steeltoe (.NET)吗？
浏览 1提问于2019-04-04得票数 3
我想在power bi中自动化导入过程，但我不知道如何将csv文件发布为数据集。为此，我使用了C#解决方案。有没有办法做到这一点？
浏览 14提问于2019-08-09得票数 2
回答已采纳
我希望将来自融合表的数据与集成在对象类型中的数据进行比较；当用户能够在对象资源管理器中更新和创建数据时，我需要与写回数据集的数据进行比较。
写回数据集不能是输出为相关支持数据集的转换中的输入:它会引发循环依赖错误。
因此，我尝试从上下文中读取写回数据集，使用如下所示：
@transform(
my_fusion=Input("fusion_dataset_path"),
my_output=Output("backing_dataset_path")
)
def my_compute_function(my_input, my_output, c
浏览 10提问于2022-03-10得票数 1
回答已采纳
我已经将一个数据集注册为Phonograph的输入数据集。每当我构建数据集时，就会启动一个留声机重新索引作业。有没有办法禁用这种自动同步？
浏览 14提问于2020-10-28得票数 1
在IntelliJ中切换到Scala2.11.8SDK时，在编译过程中会出现以下错误。用相同的代码在IntelliJ中使用2.10.6SDK可以很好地编译。
有什么办法解决这个问题吗？
Error:scalac: Error: object VolatileFloatRef does not have a member create
scala.reflect.internal.FatalError: object VolatileFloatRef does not have a member create
at scala.reflect.internal.Definitions$D
浏览 3提问于2016-09-08得票数 4
回答已采纳
如何使用代码工作簿将上传的CSV转换为铸造中的数据？我应该在spark.read中使用@transform装饰器吗.(不确定确切的语法)？
Thx!！
浏览 4提问于2022-03-30得票数 1
在Cloud Foundry中创建新服务时，是否可以使用VMC读取凭据？
浏览 1提问于2012-05-15得票数 1
我刚接触cloud Foundry，我想对Windows Azure和Cloud foundry做一个详细的比较。我到处找了很多，但没能找到任何有用的东西。有没有一篇很好的帖子或一些材料可以对两者进行详细的特征比较？
你好，维克拉姆
浏览 1提问于2012-12-19得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
