如何在不使用tranform或tranform_df的情况下导入palantir foundry中的单个数据集
在不使用transform或transform_df的情况下，可以通过以下步骤将单个数据集导入Palantir Foundry：
- 登录到Palantir Foundry的用户界面。
- 在导航栏中选择“数据集”选项。
- 在数据集页面上，点击“创建数据集”按钮。
- 在弹出的对话框中，选择“上传文件”选项。
- 点击“选择文件”按钮，选择要导入的单个数据集文件。
- 确保选择了正确的文件类型和格式，例如CSV、Excel等。
- 点击“上传”按钮，开始导入数据集。
- 系统会自动解析和处理数据集文件，并将其导入到Palantir Foundry中。
- 导入完成后，您可以在数据集页面上查看和管理导入的数据集。
需要注意的是，以上步骤仅适用于导入单个数据集文件。如果您需要导入多个数据集或者需要进行数据转换和处理，建议使用Palantir Foundry提供的transform或transform_df功能，以便更好地管理和操作数据集。
Palantir Foundry是一种企业级数据操作平台，旨在帮助用户管理、分析和应用数据。它提供了丰富的功能和工具，包括数据集管理、数据转换、数据分析、数据可视化等，以支持用户在云计算环境中进行数据处理和应用开发。
腾讯云提供了一系列与云计算相关的产品和服务，例如云服务器、云数据库、云存储等。您可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于腾讯云的产品和服务信息。
相关·内容
我需要在Palantir Foundry的代码工作簿中联合两个数据集，但我不确定如何做到这一点。我想使用Pyspark来做这件事。我是Foundry的新手，请帮帮忙！
浏览 15提问于2021-10-11得票数 1
试图通过palantir foundry的slate找到弹性搜索服务API的后备数据集。我需要用于实现对象的数据集。
浏览 6提问于2021-09-15得票数 0
我想要全局导入一个数据集，这样我就可以访问文件中的数据集。有没有办法在不使用Palantir Foundry代码库中的transform或transform_df的情况下导入单个文件。 基本上，我希望从数据集中提取数据，并以列表的形式返回所有值。如果我使用transform或transform_df装饰器，那么在调用返回函数时将无法访问输入文件。 或者，是否有其他方法可以通过使用一个数据框作为palantir代码存储库中函数的输入来返回值列表。
浏览 10提问于2020-10-30得票数 0
我正在探索Palantir Foundry平台，它似乎有大量用于矩形数据或结构化数据的选项。是否有人有在Foundry平台上处理非结构化大数据的经验？我们如何使用Foundry进行图像分析？
浏览 46提问于2020-05-19得票数 2
嗨，我知道这是一个基本的问题，但是我是Foundry和Pyspark的新手，请帮帮忙！我需要使用3列连接Palantir Foundry的代码工作簿中的两个数据集(两个在两个列中的名称相同，但一个在数据集中使用不同的名称)。我不确定如何执行此操作。谢谢你的帮助!
浏览 5提问于2021-10-14得票数 1
我想知道在Palantir Foundry中创建的文件夹的总大小。该文件夹可以具有N个存储库、N个数据集、任何其他数据。我应该得到所选文件夹的总大小。任何人都可以推荐一下。
浏览 4提问于2021-11-08得票数 0
我希望在slate应用程序中集成外部rest api？Foundry允许从SLATE调用外部api吗?如果允许，我们如何实现同样的目标？
浏览 29提问于2020-11-02得票数 3
Palantir-Foundry -我们有一个工作流，它需要从带有写回的对象的支持数据集中更新，才能在写回中持久化，但这在以前编辑过的行上失败。由于“编辑-胜利”模型的写回，它将始终选择编辑版本的行，这是有意义的。除了重新设计整个应用程序之外，我还在研究如何通过使用Foundry来解决这个问题。
是否可以将Foundry写回中的已编辑行还原为原始未经编辑的版本？我在我们的实例中为phonograph2 BaseVersion找到了一些API文档，但是我无法找到/理解任何可以将一行恢复到BaseVersion的东西。我需要能够在某些事件上使用类型记录从函数存储库执行此操作。
浏览 10提问于2022-11-14得票数 2
我试图在Palantir Foundry上显示PDF文件。我成功地显示了PDF文件，这些文件存储在Foundry上没有架构的文件夹中，而不是存储在Dataset中的PDF。
是否有一种方法显示存储在数据集中的PDF文件，或者如何将我使用代码存储库从电子邮件文件中提取的PDF文件存储到Foundry上的文件夹中。
编辑:因为显示存储在数据集中的PDF文件似乎很困难。有人能帮助我在一个文件夹中存储PDF的API调用吗？
浏览 10提问于2022-06-23得票数 5
回答已采纳
我有一个数据集，它是Palantir Foundry代码库中定义的Python转换的输出。它有特定的列，但考虑到随着时间的推移，数据可能会发生变化，我希望验证这些列(大约73)在未来保持。
如何创建数据健康预期或检查，以确保所有73列在未来？
浏览 8提问于2022-07-17得票数 1
回答已采纳
如何在Palantir-foundry中导入和使用"Koalas: pandas API for Apache Spark“开放源码python包。 我知道你可以通过Code Repo导入不存在的包，并且已经这样做了，我可以对Koalas包执行同样的过程吗，或者我需要遵循另一条路线吗？
浏览 30提问于2021-04-09得票数 1
回答已采纳
我想在Palantir Foundry中联合多个数据集，数据集的名称是动态的，所以我不能在transform_df()中静态地给出数据集的名称。有没有一种方法可以动态地将多个输入输入到transform_df中，并合并所有这些数据帧？
我尝试遍历数据集，如下所示：
li = ['dataset1_path', 'dataset2_path']
union_df = None
for p in li:
@transforms_df(
my_input = Input(p),
Output(p+"_output")
)
浏览 1提问于2021-03-27得票数 3
我在Palantir Foundry中有一个80 of的日期分区数据集，它每3小时在增量附加事务中摄取300-450 of的数据。我想要创建一个增量转换，使用它作为输入。
但是，数据集太大，无法一次读取初始快照。附加到数据集的数据将足够小，足以在初始快照后处理每个增量构建。如何解析输入数据集中的待办事项并达到可以在增量模式下运行转换的地步？
浏览 13提问于2022-07-29得票数 2
在我运行./gradlew idea之后，构建是成功的，并且我已经能够非常容易地通过git将代码更改推送到云中。
但是，我还不能预览或运行任何.py转换文件。有没有人知道这是否可能？
这是我得到的错误，我理解它，但不知道如何安装软件包，因为我相信这是Palantir Foundry的事情。
from transforms.api import transform_df, Input, Output, configure
ModuleNotFoundError: No module named 'transforms'
如有任何帮助，我们不胜感激！
浏览 42提问于2021-05-14得票数 1
Palantir Foundry的工作室允许我们使用“保存和发布当前变量值作为默认值”按钮来保存变量的默认值。这些默认值可以清除或重置吗？
浏览 3提问于2021-11-12得票数 0
回答已采纳
我可以通过手动提供列名和值来创建数据框，并将其传递给生产代码以检查palantir foundry代码库中所有转换后的字段值，从而编写pytest函数。
我不想手动传递列名及其各自的值，而是希望将所有必需的数据存储在dataset中，并将该数据集导入pytest函数以获取所有所需的值，然后传递给生产代码以检查所有转换后的字段值。
是否可以接受数据集作为planatir代码库中测试函数的输入。
浏览 7提问于2020-11-17得票数 2
为了能够在Palantir Foundry中使用，我们需要使用transforms.api.IncrementalTransformOutput.write_dataframe()和partitionBy=['col1', 'col2', 'col_N']作为。
当我在增量数据集(数据绝对均匀地分布在partitionBy列上)上这样做时，我得到了不同的文件大小，从128 6MB到6MB不等。partitionBy列只有24个不同的组合，我怀疑不同文件大小的原因是分区时的散列合并，我假设Foundry在本例中使用partitionBy()。
我宁
浏览 15提问于2022-06-13得票数 1
回答已采纳
1回答
我正在使用铸造的功能，并为此目的使用打字本。我想知道是否可以在特定函数中发出HTML请求。
我已经检查了我所知道的JS ()的每个HTML方法。但是，这些方法在类型记录回购中不可用。
在互联网上，我发现了一个名为的库，我认为这个库会有所帮助。这是由Palantir开发的。这个库已经安装在Foundry中，可以在类型记录中使用，但是我找不到关于如何使用它执行PUT请求的任何示例。
期待着得到你的帮助和帮助。
最好的，巴勃罗
浏览 7提问于2022-04-27得票数 2
对于Palantir Foundry中的代码存储库项目，我很难重新使用我的一些转换逻辑。
这看起来几乎微不足道，但是:是否有方法将输入发送到不是dataset/dataframe引用的转换？
在我的例子中，我想传递字符串或列表/数组。
这是我的密码：
from pyspark.sql import functions as F
from transforms.api import Transform, Input, Output
def my_computation(result, customFilter, scope, my_categories, my_mappings):
浏览 7提问于2022-11-02得票数 0
回答已采纳
我有一个数据集，它是Palantir Foundry代码库中定义的Python转换的输出。它有一个主键，但考虑到随着时间的推移，数据可能会发生变化，我希望在将来验证这个主键是否有效。
如何创建数据健康期望或检查，以确保主键在未来保持？
浏览 8提问于2022-07-13得票数 2
我可以通过手动提供列名和值来创建数据框，并将其传递给生产代码以检查palantir foundry代码库中所有转换后的字段值，从而编写pytest函数。
我希望将所有必需的数据存储在dataset中，并将该数据集导入pytest函数以获取所有所需的值，然后传递给生产代码以检查所有转换后的字段值，而不是手动传递列名及其各自的值。
是否可以接受数据集作为planatir代码库中的测试函数的输入。
浏览 4提问于2020-11-05得票数 0
1回答
我从一个大型的csvs压缩文件开始，这是我在Palantir Foundry中解压缩的。
现在我有了一个由多个csvs (每年一次)组成的数据集，其中csvs几乎是相同的模式，但有一些不同之处。如何对每个csvs单独应用模式，或者如何规范它们之间的模式？
浏览 12提问于2021-12-14得票数 2
回答已采纳
我改变了我的sql request，根据哪个widget value is selected。我根据我的问题更正这一请求，以下是我的请求：
SELECT "LRU", "Client", extract(month from "Facturation") as mt
CASE {{w_widget6.selectedValue}}
WHEN {{w_widget6.selectedValue}}=1 THEN
(select avg("Mo
浏览 5提问于2017-08-09得票数 0
回答已采纳
在Palantir Foundry的Multipass中，我创建了一个预先注册的用户来测试基于特定标记的数据访问。有什么方法可以作为这个测试用户登录吗？没有密码设置或类似的设置。
我在受限视图中使用了Edit策略> Test功能，但它似乎不允许我看到测试用户可以查看的行的实际表格预览。
浏览 1提问于2022-02-22得票数 0
回答已采纳
我可以运行./gradlew compileTestJava，但是./gradlew compileExamplesJava失败了。这是我的项目结构： src/examples/org
└── eclipse
└── paho
└── client
└── mqttv3
├── internal
│ ├── security
│ ├── websocket
│ └── wire
浏览 53提问于2021-07-15得票数 0
1回答
我已经从融合表创建了Palantir铸造数据集。但是，行的顺序与融合表不一样。正确的方法是什么？
融合片数据
从融合表创建的数据集
浏览 0提问于2021-01-05得票数 1
回答已采纳
我想在Palantir Foundry的Multipass中为我们的用户添加更多的元数据到姓氏中(例如，显示Anna Smith，美国(承包商))。我的SAML集成具有属性employee_type: CONTRACTOR和certificate_cn name=SMITH.ANNA,OU=USA。
如何解析证书CN中的进一步属性&将其格式化为姓氏的一部分？控制面板或多路配置允许我使用正则表达式提取SAML属性吗？
浏览 3提问于2022-02-21得票数 0
回答已采纳
2回答
我们有标准报告上传为PDF每天的基础上。在PDF中有一些表，我们希望将这些表拉到数据集中。我在代码存储库中导入了表格，但我似乎无法让代码存储库引入PDF。
我收到这个错误：
“错误加载输入”
{“消息”：“无法解析别名”，“别名”：“/US Office/COO/pdf_tests/test.pdf"，”fallbackBranches“：”主“}”
这是我使用的最基本的代码：
from transforms.api import transform_df, Input, Output
import tabula
@transform_df(
Output("/US
浏览 7提问于2022-01-12得票数 1
我需要上传一个测试数据集，该数据集具有列名及其各自的值，以测试产品代码的功能。如何在palantir铸造厂上传未经认证的数据集。有人建议吗？
浏览 0提问于2020-12-02得票数 2
回答已采纳
我已经使用上的教程在单个VM上安装了bosh-lite和cloud foundry。有没有办法在OpenStack上安装bosh-lite和cloud-foundry？
我搜索了很多，但没有找到一个合适的答案，我找到的是一些断开连接的东西，比如在一个虚拟机上安装bosh和OpenStack，但我不知道这是否对我有用。
我对cloud-foundry和OpenStack还是个新手，所以，这些东西对我来说都很困惑。我的最终目标是使用cloud-foundry部署和测试docker，这意味着安装Diego，我可以使用cf_nise_installer，但我不确定它是否支持Diego。
谢谢。
浏览 2提问于2015-11-02得票数 0
1回答
有时，Palantir Foundry中的增量管道必须作为快照构建。如果数据大小很大，则会增加用于运行生成的资源，以减少运行时间，然后在第一次运行快照后删除配置。有办法设置条件配置吗？就像管道在增量模式下运行一样，使用资源分配的默认配置，如果不是指定的资源集。
示例:如果管道作为快照事务运行，则必须应用下面的配置
@configure(profile=["NUM_EXECUTORS_8", "EXECUTOR_MEMORY_MEDIUM", "DRIVER_MEMORY_MEDIUM"])
如果是增量式的，则是默认的。
浏览 10提问于2022-03-01得票数 1
回答已采纳
在Palantir Foundry平台中，我从事数据集成工作。我需要一些帮助，因为我是新的Palantir软件。是否有任何关于这个主题的文档、白皮书、链接或教程？
如何集成来自另一个源的数据，例如Amazon或S3？
浏览 0提问于2019-01-21得票数 4
回答已采纳
我想在Palantir Foundry代码库中定义以下pandas_udf。
@pandas_udf("long", PandasUDFType.GROUPED_AGG)
def percentile_95_udf(v):
return v.quantile(0.95)
但是，当我试图在全局范围内定义这个udf时，我会得到以下错误：
AttributeError: 'NoneType' object has no attribute '_jvm'
但是，如果我在转换调用的函数中定义了相同的函数，则代码运行良好，如下所示：
from pys
浏览 2提问于2021-03-02得票数 1
回答已采纳
我已经通过数据连接将一个包含100,000个原始json文件的数据集导入到foundry中。我想使用Python Transforms raw file access转换来读取文件，将结构数组和结构数组扁平化为一个数据帧，作为对df的增量更新。我想使用来自*.json文件文档的类似于以下示例的内容，并使用@incremental()装饰器将其转换为增量更新。 >>> import csv
>>> from pyspark.sql import Row
>>> from transforms.api import transform, In
浏览 18提问于2021-03-26得票数 5
回答已采纳
我在配置文件col1和col2中有两列。
现在，我必须在我的主python转换中导入这个配置文件，然后提取列的值，以便通过迭代所有可能的值从这些值创建动态输出路径。
例如ouput_path1=Constant+value1+value2
ouput_path2=Constant+value3+value4
请建议一些在palantir创建(code-repo)中生成输出文件的解决方案。
浏览 4提问于2020-10-29得票数 0
如果我通过SQL将页眉、正文和尾部的特定文本格式应用于Foundry中的输入数据，是否有办法将输出数据集导出为ANSI文本文件？
浏览 5提问于2020-10-24得票数 1
我有以下数据框：
+---+---+------+
| id| ts|days_r|
+---+---+------+
|123| T| 32|
|342| I| 3|
|349| L| 10|
+---+---+------+
我想创建一个新列，并根据"ts“列和"days_r”列是否满足特定条件来填充值。
这是我想要的数据框：
+---+---+------+----------+
| id| ts|days_r|0to2_count|
+---+---+------+----------+
|123| T| 32| 1|
浏览 5提问于2018-07-28得票数 12
所以我在Palantir Foundry代码工作簿中运行了下面这段简单的代码，它运行了。现在，我想向它传递一个我导入的数据集，该数据集位于我的图表中。数据集是一个pyspark数据框架，它有一列1000行文本。所以我想用一个包含很多行的spark数据集替换text="some random text"。
import nltk.tokenize as nt
import nltk
text="Being more Pythonic is good for health."
ss=nt.sent_tokenize(text)
tokenized_sent=[nt.
浏览 0提问于2021-02-10得票数 0
Foundry有一个变更数据集的概念，为了加速本体同步，我正在使用它。然而，我被告知总是从数据集的“快照”版本构建数据集，而不是“changelog”版本。为什么会这样呢？
浏览 4提问于2022-06-08得票数 1
回答已采纳
系统信息
Spring Cloud Data Flow Cloud Foundry: v1.1.0.Relase Pivotal Cloud Foundry: v1.7.12 CF Client (Windows)：cf.exe版本6.23.1+a70deb3.2017-01-13 cf-v3-plugin: 0.6.7
我已经开发了一个定制的源模块，它连接到REST API以获取对数据的增量更改。偏移信息存储在连接的Postgres中的数据库表中。
我有一个具有username和password属性的模块选项@ConfigurationProperties("salesforce&#
浏览 3提问于2017-02-14得票数 0
1回答
我们在Palantir车间中有一个表单，它获取值并将它们添加到本体对象中。我有一个任务来验证表单中给出的输入的组合(userId，startdate，state)，不管它们是否已经存在。我们有类型记录函数，当我们提交那个表单时，它会被调用。我对打字稿完全陌生。你能帮我实现这个目标吗？
import {
@OntologyEditFunction,
LocalDate,
Integer,
Users,
Double,
FunctionsMap,
Function,
} from "@foundry/functions-api&#
浏览 32提问于2022-08-06得票数 0
我们希望使用Steeltoe来开发我们的微服务。然而，我们不想使用Pivotal Cloud Foundry。
我们可以将Steeltoe与Azure应用服务一起使用吗？或者，在Azure上使用Steeltoe而不使用Pivotal Cloud Foundry的最佳解决方案是什么？
可以在免费版本的Cloud Foundry中使用Steeltoe (.NET)吗？
浏览 1提问于2019-04-04得票数 3
1回答
我们有一个数据集，它作为Foundry实例的增量构建运行。dataset是一个大型时间序列数据集(565亿行，10列，965 in )，带有一个小时桶中的时间戳。数据集每天增长约10 by。
为了优化数据集以进行分析，我们在两个属性“measure_date”和“measuring_time”上重新划分了数据集。
这反映了访问模式--数据集通常由"measure_date“访问。我们通过"measuring_time“对此进行子分区，以减少正在生成的拼花文件的大小，另外，按时过滤也是一种常见的访问模式。
创建分区的代码如下：
if ctx.is_incremental:
浏览 2提问于2022-06-06得票数 3
回答已采纳
1回答
每当我尝试在CLI上执行命令drush config-import staging时，下面就会出现这个错误。我基本上正在将drupal 7 DB迁移到Drupal 8的过程中，并且目前正在遵循本指南，因为我对迁移仍然是新手。
https://www.youtube.com/watch?v=_z2FH0efd_G
Drupal\Core\Config\ConfigImporterException: There were errors validating the config synchronization. in [error]
Drupal\Core\Config\Conf
浏览 0提问于2018-01-11得票数 1
我有一个非常简单的任务，更新一个控制文件的内容在Palantir铸造。我需要读取文件的内容，执行检查，然后写回同一个文件。但是，如果在转换中提供与输入和输出相同的文件，则会得到以下错误-
Cyclic dependency exists in the code for the following Foundry datasets:...
有办法解决这个问题吗？
根据下面的建议更新了包含更多详细信息和代码片段的问题
我需要将事务文件的内容附加到增量快照文件中，这个过程应该每天运行一次。但是，如果进程一天运行不止一次(无意中或在失败后重新启动等)，我需要确保不再追加相同的记录。因此，我正在尝试使用
浏览 3提问于2021-12-08得票数 2
当我试图将输入表作为视图查询时，我会得到错误com.palantir.foundry.spark.api.errors.DatasetPathNotFoundException。我的代码如下：
def Median_Product_Revenue_Temp2(Merchant_Segments):
Merchant_Segments.createOrReplaceTempView('Merchant_Segments_View')
df = spark.sql('select * from Merchant_Segments_View limit 5&
浏览 13提问于2022-02-25得票数 3
2回答
我有一个类，它的属性如下所示：
public class Hmd{
Transform HmdTransform{
get{ device.GetTransform(); }
}
}
device.GetTransform()从驱动程序获取转换。
现在我想在运行时更改属性的get方法，如下所示：
public class Hmd{
private Transform hmdTransform;
Transform HmdTransform{
get{ return hmdTransform; }
}
}
有没有办法做到这一
浏览 5提问于2018-01-19得票数 1
你好，StackOverflow上的Palantir社区-如果你存在的话？
pXML和PXZ文件在QuickStart实例中有问题(详见下文)。如果我从Graph导出(即使只有几个相对较小的对象)，然后尝试重新导入该文件，我会得到错误消息，
错误:文件路径和名称不是有效的com.palantir.exceptionPalantirUserMessageException.文件：.pxz验证PalantirXML时出现意外错误；有关详细信息，请参阅日志。
然后日志会给出一些版本，
值“with length = '0‘”不显示-对于minLength '1’类型的#An
浏览 0提问于2016-03-13得票数 0
回答已采纳
1回答
我收到一个错误：
error[9582]: TypeError: Member "length" not found or not visible after argument-dependent lookup in function (uint256) view external returns (uint256,uint256,uint256,bytes32).
这是我的密码：
// SPDX-License-Identifier: MIT
pragma solidity ^0.8.13;
import "forge-std/Test.sol";
con
浏览 0提问于2022-05-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
