如何在dask中的sqlalchmey中应用多个whereclause，同时从teradata中获取大型数据集
Dask是一个灵活的并行计算库，它提供了在大型数据集上执行高性能计算的能力。而SQLAlchemy是一个用于操作关系型数据库的Python工具包。在Dask中使用SQLAlchemy进行数据查询时，可以通过多个whereclause来对查询进行筛选。
具体来说，可以通过在SQLAlchemy的查询语句中使用多个filter来实现多个whereclause的应用。以下是一个示例代码：
from sqlalchemy import create_engine, Column, Integer, String
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
# 创建数据库连接
engine = create_engine('teradata://username:password@hostname:port/database')
# 创建session
Session = sessionmaker(bind=engine)
session = Session()
# 创建数据模型
Base = declarative_base()
class MyTable(Base):
__tablename__ = 'my_table'
id = Column(Integer, primary_key=True)
name = Column(String)
# 查询数据
query = session.query(MyTable).filter(MyTable.id > 100).filter(MyTable.name.like('%abc%'))
# 获取查询结果
result = query.all()在这个示例中，我们创建了一个基于teradata数据库的引擎，并通过SQLAlchemy进行数据查询。我们使用了两个filter来实现两个whereclause的应用，第一个filter筛选出id大于100的数据，第二个filter筛选出name中包含'abc'的数据。
Dask可以与SQLAlchemy无缝集成，通过Dask的DataFrame将SQLAlchemy查询结果转换为一个分布式的数据集，从而实现在大型数据集上进行并行计算的能力。
腾讯云提供了多个与云计算相关的产品，包括云数据库TDSQL、云存储COS、云服务器CVM等。具体根据应用场景选择不同的产品进行使用。你可以通过访问腾讯云的官方网站（https://cloud.tencent.com/）了解更多相关产品的详细介绍和使用方法。
相关·内容
我正在尝试使用dask和sqlalchmey从teradata获取更大的数据集。我能够应用单一的code和能够获取data.below是工作代码 td_engine = create_engine(connString)
metadata = MetaData()
t = Table(
"table",
metadata,
Column("c1"),
schema="schema",
)
sql = select([t]).where(
t.c.c1 == 'abc',
浏览 19提问于2020-11-05得票数 0
1回答
我试着像这样做并行工作：
from dask.distributed import Client
import joblib
from sklearn.feature_extraction.text import TfidfVectorizer
client = Client(processes=False) # create local cluster
with joblib.parallel_backend('dask'):
tfidf.fit(corpus)
但CPU使用率是100% - 400%，与不使用Dask时相同。我是不是遗漏了
浏览 18提问于2021-03-06得票数 0
我有这样一个小数据集：
<xarray.Dataset>
Dimensions: (time: 24)
Coordinates:
* time (time) datetime64[ns] 2022-09-28 ... 2022-09-28T23:00:00
spatial_ref int64 0
Data variables:
CO (time) float32 dask.array<chunksize=(24,), meta=np.ndarray>
NO2 (time) fl
浏览 10提问于2022-10-13得票数 0
我有一个现有的代码，用于读取流数据并使用pandas DataFrame存储它(每5分钟就有新的数据)，然后捕获这个数据类别wise (~350个类别)。
接下来，我在循环中使用编写所有新的数据(因为这是增量存储的)。
伪码给出如下：
for row in parentdf.itertuples(): #insert into <tbl> .
mycat = row.category # this is the ONLY parameter which is passed to the Key function below.
try:
浏览 1提问于2021-04-12得票数 0
我刚开始把数据上传到teradata。我知道的方法是使用insert语句逐行插入，但希望避免这种情况。我正试图直接上传我的熊猫的数据，但尚未成功。我尝试过两种方法，我更倾向于让方法1工作，但我想先得到一个有效的解决方案。
我试过两种方法。
1.Teradataml模块- copy_to_sql 2.Teradataml模块-使用insert语句
方法1：使用copy_to_sql函数创建表
from teradataml.dataframe.copy_to import copy_to_sql
from teradataml import create_context, remove_cont
浏览 0提问于2019-09-20得票数 1
回答已采纳
下面是我使用Jaydebeapi通过JDBC连接连接到Teradata的代码。当我使用razorsql运行查询时，只需15秒。当我在下面的代码中运行它时，运行query1需要超过20分钟。
Jaydebeapi有什么问题吗?或者我可以通过优化我的查询/使用Jpype来使它更快吗？
#-*- coding: utf-8 -*-
import jaydebeapi
import jpype
import pandas as pd
import numpy as np
import collections
query_dict=collect
浏览 6提问于2015-11-10得票数 0
1回答
我无法找到一种解决方案，将数据以拼花格式从Teradata数据库导出。我使用tdload和tbuild方法，它要求生成tpt脚本。
什么应该是从Teradata数据库导出文件的解决方案？
tdload cmd -
tdload --SourceTdpid 192.168.xx.xx --SourceUserName dbc --SourceUserPassword dbc --SourceUserPassword AdventureDW.FactProductInventory --TargetTextDelimiter“AC.26”-FileWriterFileSizeMax 30G -Ta
浏览 10提问于2022-03-02得票数 0
我从一堆图像中创建了一个数组。图像大小为10980 * 10980。我使用dask读取图像，并使用延迟数组方法对它们进行堆叠。他们总共68岁。我使用了以下代码：
import dask
import dask.array as da
import glob
import time
import os
filenames = [os.path.join(root, filename) for root, subdir, filenames in os.walk("L2A")
for filename in filenames if filename
浏览 1提问于2019-10-09得票数 0
回答已采纳
1回答
我正在尝试使用Dask读取一个包含非常大的csv文件的文件夹(这些文件都可以放在内存中，它们非常大，但我有很多RAM) --我目前的解决方案如下：
val = 'abc'
df = dd.read_csv('/home/ubuntu/files-*', parse_dates=['date'])
# 1 - df_pd = df.compute(get=dask.multiprocessing.get)
ddf_selected = df.map_partitions(lambda x: x[x['val_col'] == va
浏览 3提问于2017-10-06得票数 2
1回答
使用dask对大型数据集进行聚类
、、、、
我已经安装了。我的主要目标是对一个大型数据集进行聚类，但是在开始工作之前，我想做一些测试。但是，每当我想要运行一个dask代码块时，都会花费太多的时间，最后会出现一个内存错误。我试过他们的和下面的简短代码。
你觉得有什么问题吗？
from dask.distributed import Client
from sklearn.externals.joblib import parallel_backend
from sklearn.datasets import make_blobs
from sklearn.cluster import DBSCAN
import datetime
X,
浏览 2提问于2019-05-09得票数 2
回答已采纳
1回答
有了500个连续增长的DataFrames，我想向dask提交(对于每个DataFrame独立的)数据的操作。我的主要问题是：dask 保存连续提交的数据，因此我可以对所有提交的数据(而不仅仅是新提交的？)执行 submit 函数。
但让我们在一个例子中解释一下：
创建dask_server.py
from dask.distributed import Client, LocalCluster
HOST = '127.0.0.1'
SCHEDULER_PORT = 8711
DASHBOARD_PORT = ':8710'
def run_cluster()
浏览 5提问于2020-05-13得票数 5
1回答
当在集群上设置工作人员时，我对dask和dask.distributed中使用的不同术语感到有点困惑。
我遇到的术语是:线程、进程、处理器、节点、工作人员、调度程序。
我的问题是如何设置每一个的数目，如果有一个严格的或建议的关系，其中任何一个。例如：
每个节点上有n个进程的每个节点有一个工作人员
线程和进程是相同的概念吗？在dask中，我必须设置n线程，但它们在客户端显示为进程。
还有其他建议吗？
浏览 1提问于2018-06-29得票数 26
回答已采纳
dev pc是centos 7，git 1.8.3.1，git-lfs/2.4.2.I使用git-lfs跟踪*.png.
production server 192.168.56.112是带git 1.8.3.1的centos 7，没有git-lfs。
当我从git push production master dev pc到production server裸回购时，我在production server中找不到任何.png文件。
我不确定git with git-lfs是否可以将.png文件传输到git without git-lfs
提前感谢！
浏览 1提问于2019-01-02得票数 0
回答已采纳
1回答
我们需要一种方法来了解自上次从TeraData数据库导入数据以来，该数据库中哪些行发生了更改。关于TeraData数据库中的表或表中的数据，没有任何东西可以证明是可靠的更改信号，我们可以使用它来确定这一点。在SQL Server中，尽管源系统是TeraData，但功能似乎完全符合我们的需要。有没有人知道，在TeraData数据库中，TeraData或使用TeraData的第三方工具中是否有一个功能可以有效地添加SQL Server更改跟踪提供的功能？
浏览 2提问于2013-03-15得票数 0
当我尝试通过读取pickle文件来创建dask数据帧时，我得到了一个错误
import dask.dataframe as dd
ds_df = dd.read_pickle("D:\test.pickle")
AttributeError: 'module' object has no attribute 'read_pickle'
but it works fine with read_csv
在大熊猫身上，它一如既往地成功了。
所以，如果我在这里或者在dask中做错了什么，请纠正我，我们根本不能通过读取一个pickle文件来创建数据帧
浏览 1提问于2015-12-14得票数 7
我想清空dask.array中除前几个元素之外的所有元素。我该怎么做呢？
示例
假设我有一个小的dask数组，如下所示：
import numpy as np
import dask.array as da
x = np.array([0, 4, 2, 3, 1])
x = da.from_array(x, chunks=(2,))
如何将最大的两个元素以外的所有元素都清零？我想要的东西如下所示：
>>> result.compute()
array([0, 4, 0, 3, 0])
浏览 1提问于2017-08-29得票数 1
我用pandas编写脚本，但为了提高效率，我需要切换到dask，但我不确定如何在dask中实现unstack和reindex？ 这是我的pandas脚本的样子： df_new = df.groupby(['Cars', 'Date'])['Durations'].mean().unstack(fill_value=0).reindex(columns=list_days,index=list_cars,fill_value=0).\
round().reset_index().fillna(0).round()
浏览 11提问于2020-06-18得票数 0
回答已采纳
我的Teradata查询创建了一个用于连接到现有视图的易失性。在将查询链接到excel时，弹出以下错误：" Teradata : Teradata数据库在DDL语句后只有ET或null语句是合法的“。对于在teradata中没有写权限来创建真正的视图或表的人，有没有解决方法？我希望避免在SQL中链接到Teradata并运行打开的查询来获取所需的数据。
这适用于Excel 2016 64位和使用Teradata版本15.10.1.12
浏览 30提问于2019-05-22得票数 0
1回答
我是Dask库的新手，我想知道如果我们在两个系统上使用dask实现并行计算，那么我们应用计算的数据框架是否存储在这两个系统上？并行计算究竟是如何进行的，文档中并不清楚。
浏览 0提问于2018-07-03得票数 0
2回答
Dask Dataframe的值
、、、、
是否有一种方法可以不使用计算函数作为熊猫来获取dask数据的值？
使用计算函数的df.valuesDask：ddf.compute().values
Dask使用计算函数的速度很慢，我必须将dataframe转换成json格式，这样我就可以得到值。
浏览 5提问于2020-02-06得票数 0
回答已采纳
1回答
我正在尝试使用dask读取大量数据，如下所示
import dask.dataframe as dd
df = dd.read_csv('some_file.txt', sep = '|', header = None)
虽然这很好用，并且我得到了一组分区，但由于某些原因，每当我尝试设置和索引时，如下所示：
df = dd.read_csv('some_file.txt', sep = '|', header = None).set_index('col1')
我的机器内存不足，我找不到原因
浏览 3提问于2016-03-18得票数 0
1回答
我正在处理一个表，希望计数列(学生名)中没有任何空格的实例数。
就像'SAM‘或’STAN‘一样。
我的问题是：
select studentName
from loadbise.student
where studentName <>'% %'
and studentName is not null;
它返回带有空格的列。我错过了什么。
我正在开发不支持替换功能的Teradata6.0的旧版本
浏览 2提问于2015-12-24得票数 1
回答已采纳
在SAS 9.2中，如何获得从显式直通sql到teradata的返回代码/错误消息？打印在日志或输出中或其他什么地方。
我已经得到了一个小查询，可以很好地工作，但在处理更复杂的查询时遇到一些麻烦。有了错误消息，调试将变得容易得多。我尝试了在查询db2时使用的sqlxmsg和sqlxrc，但它们当然不起作用……我没有找到任何关于这方面的文档。(我对Teradata非常陌生)
浏览 3提问于2015-02-26得票数 0
有没有办法指示dask在执行昂贵的计算时保留中间值？
在下面的示例中，我希望dask保留在计算d['d']时创建的中间列d['c']。
## very large file
d = ddf.read_csv("F:/tmp.csv")
d['c'] = d['a'] * d['b']
d['d'] = d['c'] + 1
## first call
%timeit d['d'].value_counts().compute()
## sec
浏览 18提问于2017-06-29得票数 2
回答已采纳
1回答
我对Dask的本地线程调度程序感兴趣。此调度程序可以使用多个线程从多维数组中“并行”加载数据块。我对I/O界问题感兴趣，所以暂时不考虑计算密集型应用。
使用Dask的存储方法从随机数组加载和保存数据的一些速度测试似乎证实了这一事实:随着块大小的增加，性能下降(据说是因为最小块增加了并行性)。在这个实验中，我使用没有物理块的hdf5文件:1包含数组中所有数据的数据集。
我面临的问题有两个: 1)在HDD上读取数据时，Dask如何具有并行性? 2)如果python同时阻止线程在内存中保存数据，那么Dask在读取数据时如何具有并行性？
谢谢您抽时间见我。
浏览 4提问于2019-11-02得票数 2
回答已采纳
我有拼花文件，也就是800 K行x8.7K列。我把它装进了一个dask数据仓库：
import dask.dataframe as dd
dask_train_df = dd.read_parquet('train.parquet')
dask_train_df.info()
这产生了：
<class 'dask.dataframe.core.DataFrame'>
Columns: 8712 entries, 0 to 8711
dtypes: int8(8712)
当我尝试执行像dask_train_df.head()或dask_train_df
浏览 0提问于2018-12-24得票数 6
回答已采纳
我有一些二进制文件，例如，在我的git项目中的pdf，并希望指定该文件的行为。是否可以在拖动文件时忽略该文件，并在推送时始终用本地副本覆盖githubs副本。
例如:我有一个乳胶项目，并且喜欢在git上进行pdf预览。我希望git只是忽略在pdf文件中的冲突，只是推高的pdf。(对乳胶厂的钩子不感兴趣，这只是一个例子)
浏览 0提问于2016-04-06得票数 2
回答已采纳
我想使用Dask来处理大型数据帧。然而，当我尝试使用它时，我得到了一个内存错误，如下所示。 df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。这是怎么回事？
浏览 7提问于2019-03-06得票数 0
回答已采纳
假设您想要指定Dask.array中的工作进程数，如所示，您可以设置：
dask.set_options(pool=ThreadPool(num_workers))
这对于我已经运行过的一些模拟非常有效，例如，montecarlo，但是对于一些线性代数操作，Dask似乎覆盖了用户指定的配置，例如：
import dask.array as da
import dask
from multiprocessing.pool import ThreadPool
dask.set_options(pool=ThreadPool(num_workers))
mat1 = da.random.rand
浏览 4提问于2017-02-24得票数 2
1回答
当使用Dask与Dask数组时，我突然得到以下错误，并且我的内核死了/重新启动。
控制台上写着：
BLAS : Program is Terminated. Because you tried to allocate too many memory regions
我和OpenBLAS一起在mac上使用Anaconda。有什么想法吗？
注意:这个问题是通过其他方式给我的，我在这里重复一遍，供将来参考
浏览 15提问于2017-07-13得票数 4
回答已采纳
我有一个查询，它使用Teradata和Pythong从表中选择许多行。数据库不允许长时间运行查询，因此每次查询都需要更少的时间。(这是一种罕见的异常情况，通常情况下查询会立即返回，比如1000行。)在运行该查询的每10k个实例中，我需要它返回70k行，但当我尝试这样做时，如下所示：
(<class 'pyodbc.Error'>, Error('08S01', '[08S01] [WSock32 DLL] 10054 WSA E Conn
Reset: Connection reset by peer (10054) (SQLPrepare)
浏览 5提问于2014-12-27得票数 0
回答已采纳
我正在尝试找到一种在Pandas中开始处理非常大的CSV文件的方法，最终能够使用XGBoost进行一些机器学习。
我在使用mySQL或一些sqllite框架来管理我的数据块之间左右为难；我的问题是稍后的机器学习方面，还是一次加载块来训练模型。
我的另一个想法是使用Dask，它是由off Pandas构建的，但也具有XGBoost功能。
我不确定最好的起点是什么，我希望征求一下意见！我倾向于使用Dask，但我还没有使用过它。
浏览 10提问于2017-07-26得票数 3
在使用dask运行测试用例时，我看到了400%+ CPU的使用情况，尽管我以多种方式指定了一个工作人员。在OSX中的活动监视器上，我看到两个进程，一个有一个线程，另一个有带有ThreadPool的8个线程。我看到两个进程，一个线程和4个线程与single-threaded。知道这些线程是干什么用的吗？
相关：
import dask
import dask.array as da
from dask.diagnostics import Profiler, ResourceProfiler, CacheProfiler, visualize
from multiprocessing.pool
浏览 1提问于2018-11-07得票数 0
回答已采纳
在写入CSV文件时，自动创建文件夹，然后创建具有隐名的csv文件，如何在pyspark中创建具有任何特定名称的CSV，而不是在pandas中创建文件夹。
浏览 7提问于2021-11-09得票数 0
我知道在Hadoop中没有文件更新，但在Hive中，可以使用语法糖将新值与表中的旧数据合并，然后使用合并后的输出重写表，但如果我将新值放在另一个表中，那么我可以通过使用左外部连接来实现相同的效果。
在我的例子中，问题是我必须通过将一个值设置为具有某些where条件的列来更新表。已知不支持SET。
例如，考虑下面的常规查询：
UPDATE temp1
SET location=florida
WHERE id=206;
我试图在蜂巢中转换同样的东西，但我被困在了SET的位置上。如果有人让我知道，那将对我有很大的帮助。
浏览 0提问于2011-06-01得票数 15
回答已采纳
2回答
我对切片手术没什么问题。在熊猫中，我们可以做以下操作：-：
df["A"].iloc[0]
df["B"].iloc[-1]
# here df["A"],df["B"] is sorted
因为我们不能用Dask来做这个(切片和Multiple_col_sorting) (我不是100%确定)，所以我用了另一种方法
df["A"]=df.sort_values(by=['A'])
first=list(df["A"])[0]
df["B"]=df.sort_val
浏览 16提问于2022-08-19得票数 0
Git只是对Git ->中的大文件的支持--例如，如果您需要视频文件示例，对吗？
但是，如果您有像受过训练的模型、uber-jar或其他一些工件这样的大型工件，那么在git中版本这个二进制文件有什么好处呢？
浏览 0提问于2017-09-15得票数 3
1回答
我们非常小的团队(只有两个朋友)希望在“虚幻引擎4”中开始新的项目(游戏)。我们希望使用git (bitbucket)作为源代码控制--因为它的私用回购是免费的。还是我们应该试试别的？现在我们不想为回购买单。
同步资产的好方法是什么？我指的是像模型这样的大文件。同步可能需要花费太多的时间，而且免费的repos存储空间有限。我们应该让它们在git中被忽略，并与另一个工具/手工同步吗？
(如果可能的话，我想使用SourceTree工具--我已经习惯了其他项目中的工具。)
谢谢你的建议，我们只是初学者。
浏览 2提问于2016-08-21得票数 1
回答已采纳
我正在尝试创建一个动态where子句，然后将其嵌入到to LINQ查询中，但我不知道如何做。
StringBuilder whereClause = new StringBuilder();
if (groupId>=0)
{
whereClause.Append("type.GroupID == groupId");
}
if (siteId>=0)
{
if (whereClause.Equals("type.GroupID == groupId"))
{
浏览 3提问于2013-12-06得票数 0
回答已采纳
1回答
我正在尝试将一个.csv.gz文件加载到Dask中。以这种方式读取它将成功地加载它，但只会加载到一个分区中。
dd.read_csv(fp，compression="gzip")
我现在的工作是使用gzip解压缩文件，将其加载到Dask中，然后在我完成之后删除它。有更好的办法吗？
浏览 3提问于2021-02-28得票数 0
2回答
Dask仪表板是空的
、、、
我有几个python脚本，它们从不同的数据库运行不同的Dask任务，我使用Python多处理模块同时运行所有Python脚本。我与任务管理器检查了脚本是否并行运行，并且能够访问我的dask仪表板。然而，我的达斯克仪表盘没有显示任何东西。这是我的dask仪表盘的截图。
这是我的Python代码片段示例(简化)：
if __name__ == '__main__':
# Setup Dask Distributed Client
client = Client(n_workers=4, threads_per_worker=4)
""
浏览 7提问于2022-03-01得票数 0
回答已采纳
在这种情况下，我们需要将数据行从teradata表加载到mysql表中，对于如何开始使用它有任何提示吗？可以出口(或其他任何实用工具)帮助？
(预先谢谢:)
浏览 3提问于2014-02-27得票数 0
回答已采纳
我正在从teradata数据库中加载数据，如下所示：
df = spark.read.format("jdbc").option("url", "jdbc:teradata://url_of_teradata_db/MAYBENULL=ON,TYPE=FASTEXPORT,charset=ASCII").option("dbtable", "({}) as subq".format(req)).option("driver", "com.teradata.jdbc.TeraDriver
浏览 10提问于2022-05-04得票数 0
我想在达斯克上装载一个模型(烦人模型)。型号尺寸为60 2GB，Dask RAM仅为2GB。是否也有一种以分布式方式加载模型的方法？
浏览 5提问于2022-02-11得票数 0
我的搜索SQL目前检索提交的文本和多达17个类似的匹配。
我还需要相同的表单输入来接受多个单词(用空格分隔)，并以完全匹配的方式检索它们对应的数据，而没有类似的。
这就是我现在拥有的-
$word=$_POST['word'];
$word = explode(" ", $word);
$searchString = $whereClause = "";
foreach($words as $word){
$searchString .= " OR word_eng LIKE '%".$word."%'
浏览 7提问于2017-08-24得票数 0
回答已采纳
我正在用Python构建一个带有包装C++扩展的分布式空间索引。我试图使用达克(第一次)，而不是MPI。目前的实现是可行的，但有几个问题。
与串行执行相比，关键部分是巨大的开销。我预计，algorithm.Persist的速度几乎是线性的，似乎没有达到预期的效果，因为第一个查询的时间比第二个查询的时间长得多。对于我来说，的代码看上去是统一的，但正如所说的，我对Dask并不熟悉。有更好的方法吗？，，我需要在使用2d块时对延迟对象做一些索引。这种情况不会发生在一维块中，而且感觉很奇怪。
该算法构建粒子排序列表，然后构建一个八叉树，其中节点通过排序数组中的一对(开始、结束)索引引用相邻的粒子块。查询
浏览 4提问于2019-11-09得票数 1
回答已采纳
我们正在尝试将值作为参数从报表传递到teradata视图。如何将多个值传递给teradata视图？
AND (v_fact_xyz in (?) or 'ALL' in (?))
这行代码现在是在哪里写的？可以是单个value('Abd, EFG(ORM)')或类似下面这样的多个值
报告在传递单个参数的情况下工作正常，但在传递多个值时抛出错误
.net data provider for teradata 110083 error.
A Null has been specified as the value for a parameter
浏览 1提问于2019-08-13得票数 0
1回答
我正在尝试将dask数据帧的dtype 'category‘列的类别重命名为从1到len(类别)的一系列数字。
在熊猫中，我是这样做的：
df['name'] = dd.Categorical(df.name).codes
但在dask中，这是行不通的：
Traceback (most recent call last):
File "example.py", line 47, in <module>
sys.exit(main(sys.argv))
File "example.py", line 25, in
浏览 0提问于2016-10-19得票数 1
2回答
我有标准的存储库接口设置：
public interface IRepository<T, TKey> : IDisposable where T : class
{
T Get(TKey id);
IEnumerable<T> Get();
IEnumerable<T> Find(Expression<Func<T, bool>> whereClause);
T Add(T entity);
void Delete(T entity);
bool Save();
int Upd
浏览 4提问于2014-04-22得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
