因此，我正在尝试创建一个python脚本，该脚本允许我在使用pandas创建的数据帧(masterfile)上执行SQL操作。数据帧从特定文件夹中找到的csv文件中提取其内容。我能够成功地创建其他所有内容，但我在SQL操作部分遇到了麻烦。我正在尝试使用数据帧作为“数据
浏览 12提问于2020-06-28得票数 0
我创建了一些python脚本，这些脚本使用python ML库从我手动创建的CSV文件中进行一些预测和数据分析。我需要在我的网页(MVC5 WebServer和MS-SQL )中使用python脚本的结果数据，换句话说，我想自动化这个过程。我目前了解SQL Server外部脚本，但对我来说这是不可能的，因为我没有正确的版本。 谁能告诉我一些可用的
浏览 12提问于2020-04-06得票数 0
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。loadfinaldf.write.format("delta").option("mergeSchema", "true"
浏览 18提问于2021-10-29得票数 0
我正在使用PyTd teradata模块查询来自Teradata的数据，并希望将其读取到熊猫DataFrame中import pandas as pd
print type(row)row属于teradata.util.Row class，无法追加到数据帧中如何使用te
浏览 2提问于2016-06-16得票数 0
3回答
在Python中读取SQL表
、、、、
我有一个.sql文件，我只想读入Jupyter Notebook中的Pandas数据帧。对于CSV文件，我只需要上传文件并创建一个数据帧，如下所示：我想我的SQL文件需要使用像MySQL这样的数据库应用程序提供服务。也许有某种方法可以在本地托管.sql</em
浏览 3提问于2018-06-25得票数 0
有没有一种方法可以使变量保存在内存中(如全局变量)，而不必在每次使用sp_execute_external_script执行脚本时使用pickle.loads加载 我有一个使用预处理矩阵处理数据的Python@matrix OUTPUT
INSERT INTO MatrixTable(matrix) VALUES(@matrix) 然后，每次运行脚本B时，通过一个参数发送矩阵@params = N'@matri
浏览 31提问于2021-03-22得票数 3
回答已采纳
数据库。，像“人”，像这样：8252552 CHARLIE问题是，我找不到如何在熊猫中使用schema方法的to_sql属性来实现这一点。, (people_id, col1_id, col2_id, total ))这将自动将相应的值添加到表(people、col1和col2)，创建一个具有愿望值和外键的行此外，在处理数据库时，我不太相信这是一个“最佳实
浏览 4提问于2020-09-01得票数 4
我有一个csv，我正在读到一个熊猫的DataFrame，但它需要大约35分钟阅读。csv大约为120 GB。我发现了一个名为cudf的模块，它允许图形处理器DataFrame，但它只适用于Linux。Windows也有类似的功能吗？
浏览 3提问于2019-11-13得票数 0
7回答
有没有办法在不遍历每一行的情况下从数据帧中执行SQL update-where？我有一个postgresql数据库，要从数据帧更新数据库中的表，我将使用psycopg2并执行以下操作：
con = psycopg2.connect(database='mydb', user='abc如果我从sql中读取表，或者将整个数据帧</
浏览 16提问于2015-08-13得票数 68
我有一个作业需要在分区的spark数据帧上运行，该进程如下所示： rdd = sp_df.repartition(n_partitions, partition_key).rdd.mapPartitions(lambda x: some_function(x)) 结果是pandas.dataframe的rdd， type(rdd) => pyspark.rdd.PipelinedRDD
type(rdd.collect()[0]) => pandas.core.frame.D
浏览 124提问于2019-12-10得票数 4
回答已采纳
1回答
我有一个包含数据库转储的.sql文件。我更喜欢将这个文件放到pandas数据框中，这样我就可以查看数据并对其进行操作。愿意接受任何解决方案，但需要明确的说明，我以前从未使用过.sql文件。文件的结构如下：--
-- Host: localhost Database
浏览 1提问于2018-07-17得票数 3
2回答
我想执行一个减号操作，就像下面两个表上的代码一样。我有两个数据库是这样连接的：import pandas as pdsource = cx_Oracle.connect(user,password, name)
target = pypyod
浏览 2提问于2020-10-12得票数 0
回答已采纳
我有一个基于用户输入的从SQL导入的行列表(使用PyMySQL)。有时，这些返回的行数可以超过5000行(它们存储在一个二维数组中，至少有4列)。这对于用户在打印出屏幕时能够阅读是不切实际的。我已经实现了一个限制器，它将根据用户的输入返回前X个行数。但是，我想返回行的样本，而不是第一个X。即，如果用户选择了100行，而不是得到前100行，他们将得到由阵列中的随机行组成的大小为100的</em
浏览 24提问于2019-05-14得票数 1
回答已采纳
因此，我正在为一个较大的程序构建一个数据库，并且在该编码领域(主要是嵌入式系统编程)方面没有太多经验。我的任务是把一个大的excel文件导入到python中。它很大，所以我假设我必须将它转换为CSV，然后通过解析、分区和导入来截断它，以避免我的计算机崩溃。导入文件后，我必须能够根据列标题提取/搜索特定信息。还有其他一些简单的基于字符串的用户交互方面，所以并不是很困难。至于其余的，我正在得到的图片，但希望更有
浏览 34提问于2018-09-01得票数 0
我无法使用Jupyter Notebook中的PySpark将CSV文件从Azure Blob Storage直接加载到RDD中。我已经通读了几乎所有其他类似问题的答案，但我还没有找到关于我想要做什么的具体说明。我知道我也可以使用Pandas将数据加载到Notebook中，但之后我需要将Panda DF转换为RDD。我理想的解决方案应该是这样的，但是这个特定的代码给我的错误是它不能
浏览 21提问于2019-04-28得票数 0
我想将几个大型Pandas数据帧转换为Spark数据帧，然后对它们进行操作和合并，如下所示：from pyspark import SparkContext,SQLContext= SQLContext(sc)spark_df2 = sql.createDataFrame(df2)
但是有些地方出了问题/si
浏览 208提问于2020-06-08得票数 0
回答已采纳
我已经通过Jupyter Notebook将我的python连接到了我本地的postgresql数据库。我能够成功地运行SELECT查询，并从我的表中提取数据。但是，我希望将postgresql表中的数据行显示为dataframe，而不是当前拥有的数据帧。下面是我的代码： conn = psycopg2.connect("dbname=juke user=postgres")
浏览 25提问于2019-09-10得票数 0
回答已采纳
我去了的链接
我们能不能运行Pandas，numpy数据帧功能上的火花。对于numpy the np.where和像df.groupby‘’..agg()这样的熊猫
浏览 5提问于2020-01-21得票数 0
回答已采纳
我正在尝试使用子集(drop_duplicates=‘’，keep=False)在我的数据帧中删除重复项。显然，它在我的Jupyter Notebook中工作正常，但当我试图通过终端以.py文件的形式执行时，我得到了以下错误： Traceback (most recent call last):
File"/home/source/fork/PySpark_Analytics/Notebooks/
浏览 110提问于2019-06-20得票数 1
1回答
当我想要将查询到的数据内部连接到pandas数据帧上时，查询SQL (T-SQL)数据库的最有效方法是什么？我不知道如何通过PYODBC查询将信息从Python传递到SQL中，所以我目前最好的想法是以一种我知道与我的Python数据帧一致的方式形成查询(即我知道所有的信息都有STARTDATE > 201
浏览 9提问于2019-03-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
