2回答
我正在试着从时间在09:30到15:30之间的桌子上获取所有记录。
我的时间戳列为：
yyyy-mm-dd HH:MM:SS
下面返回一个空的dataframe：
sta = 'SELECT * FROM bnffut WHERE timestamp BETWEEN "09:15:00" and "15:30:00"'
df = pd.read_sql(sta,conn)
这个给了我所有的记录：
sta = 'SELECT * FROM bnffut WHERE timestamp >= "09:15:00"
浏览 4提问于2019-11-25得票数 2
回答已采纳
我正在登录一个MySQL DB并运行下面的代码行。
df = pd.read_sql("Select data_date, hr, group, eno, eut, car, freq, band, hq, From fsm WHERE IN (SELECT * FROM fsm WHERE year(data_date) = '2020')", st_connection)
我只想选择2020年的记录，所以我在这里使用子查询。在大约100米的记录和300多列，这个表是相当庞大的，所以我尝试采取一个子集的数据。出了点事，但我不知道出了什么问题。
浏览 1提问于2020-11-07得票数 0
回答已采纳
我有两个python函数直接查询数据库。有没有办法将这两个函数连接到python中？
我想做几个联接，不太确定如何在python中这样做。
查询1：
def query1(businessDate):
con = pyodbc.connect(r'DSN='+'Stack',autocommit=True)
print('working')
#businessDate = r"'2019-03-13'"
#remember business date should be ente
浏览 1提问于2019-05-03得票数 4
回答已采纳
我有一个名为SQLite的Europe.db数据库。我想导入，过滤和保存结果作为几个熊猫的数据框架。当前的代码可以工作，但我相信可以通过for循环来简化它。
当前代码：
company = "THEP.PA"
database = "sqlite:///Europe.db"
sqlite_table = f"SELECT * FROM balance_sheet WHERE symbol='{company}'"
bs_df = pd.read_sql(sqlite_table, database)
sqlite_table
浏览 2提问于2022-03-11得票数 0
1回答
Postgresql错误语句太大
、、、、
我在python和sqlalchemy上开发了一个脚本，以获取和更新活动用户的最后一个活动。
但是用户数量在增加，现在我得到了以下错误
psycopg2.ProgrammingError: Statement is too large. Statement Size: 16840277 bytes. Maximum Allowed: 16777216 bytes
我在想，如果我更新文件postgres.conf，它就会工作，所以在pg调优的帮助下，我更新了文件，但是它不能工作，所以我用以下参数更新了/etc/syAdd.1-.conf上的内核
kern.sysv.shmmax=4194304
浏览 1提问于2016-03-12得票数 0
回答已采纳
用例：我们有嵌套查询，我们的表有1000到2000万行。在这里，我们的目的是通过智能过滤器减少查询CPU时间
我喜欢按其他数据框列名称过滤pd.read_sql中的列。这可能吗？
第1步: df1 data frame age1和age3是我将来用于pd.read_sql的过滤器列
raw_data1 = {'age1': [23,45,21],'age2': [10,20,50], 'age3':['forty','fortyone','fortyfour']}
df1 = pd.Data
浏览 43提问于2018-06-07得票数 0
回答已采纳
1回答
这是我的疑问
df = pd.read_sql('SELECT id, timestamp, location_id FROM orders', con=db_connection)
我想分道扬镳
df1 = pd.read_sql('SELECT id, timestamp, location_id FROM orders where id<=1000000', con=db_connection)
...
df100 = pd.read_sql('SELECT id, timestamp, location_id FROM orders whe
浏览 2提问于2017-10-18得票数 0
回答已采纳
当使用pd.read_sql()从MySQL数据库中提取大约89万行(每行60-65列)时，连接(由SQLAlchemy引擎创建)会在形成查询之前被删除。有没有其他方法来优化对如此大量的数据的获取，因为我确实需要所有的行和列，并且我想要摆脱异常。
下面是一个代码片段：
import pandas as pd
def read_outputs(engine):
data = dict()
with engine.connect() as conn:
data['tbl_1']= pd.read_sql('tbl_1',con=con
浏览 86提问于2021-05-24得票数 0
我有三个表，每个表需要大约1分钟来查询(即总共3分钟)，如下所示 from my_utils import get_engine
import pandas as pd
def main():
con1 = get_engine("table1")
con2 = get_engine("table2")
con3 = get_engine("table3")
df1 = pd.read_sql(query1,con=con1)
df2 = pd.read_sql(query2,con=con2)
df3
浏览 35提问于2021-07-06得票数 0
回答已采纳
1回答
如何根据Y轴值填充图表上的颜色？
、、、、
我有一个巧妙的图表，跟踪各种关键字的现场情绪。
我想要图显示绿色的时候，情绪是积极的，红色的，当它是负的。
代码：
app = dash.Dash(__name__)
app.layout = html.Div(
[ html.Div(className='container-fluid', children=[html.H2('Live Market Sentiment', style={'color':"#0C0F0A", 'text-align': 'center'}),
浏览 4提问于2021-01-28得票数 1
假设我有一个非常大的表，并且我想使用chunksize = 10000的pd.read_sql。 我现在的方法是： from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('dialect://user:pass@host:port/schema')
with engine.connect() as conn:
for df in pd.read_sql('SELECT * FROM VERY_LARGE_TABLE', con=conn, chunk
浏览 106提问于2020-12-07得票数 0
1回答
我正在使用熊猫读取SQL表中的数据。
由于我有大量的联接等计算，所以我必须在代码中使用这个限制。
因此，在我的代码的多行代码中，例如，limit 100。我如何分配一个常量在限制之后，然后所有行都更新，而不需要遍历所有行来更新？
例如，我将一个常量赋值为a= 100，然后在代码中使用limit a。这里有一个简单的例子，我有两个限制。
feature1 = pd.read_sql("""SELECT * FROM mytable LIMIT 100""", db1)
feature2 = pd.read_sql("""S
浏览 2提问于2022-03-01得票数 1
回答已采纳
2回答
在尝试使用pd.read_sql时，我遇到了SQL server的参数化查询问题。
如果我运行
query = 'SELECT * FROM positions'
pd.read_sql(query,engine)
然后我得到了一个好的结果：
position_id position_name
0 0 ACCOUNTING MANAGER
1 1 HR MANAGER
...
...
浏览 8提问于2019-08-09得票数 0
在之后，我必须应用converters参数(而不是dtype)来拥有decimal.Decimal类的熊猫列，我尝试使用一个模块来访问SQLite数据库。但是，虽然这个参数是在pd.read_csv中实现的，并且在pd.read_excel中可以作为kwarg使用，但是pd.read_sql的情况并非如此。
In [1]: df = pd.read_sql('SELECT * FROM table', myconnection, converters={'somecol':decimal.Decimal})
Traceback (most recent call
浏览 1提问于2020-11-02得票数 0
回答已采纳
1回答
试图从sqlalchemy查询获得结果：
l = session.query(a.id)
这样做是为了获得正确的结果：
df = pd.read_sql(sql=l.statement,con=conn)
此外，这将返回正确的sql：
print(l)
但是，文档表明使用pandas.read_sql：
df = pd.read_sql(l, conn)
应该返回结果，对吗？
参考资料：
浏览 0提问于2019-01-21得票数 1
回答已采纳
我想在代码中循环使用不同的过滤器方法。
这就是我的代码。
import datetime
import pandas as pd
import sqlalchemy
engine = sqlalchemy.create_engine(..................)
datelist = [ datetime.date(2021, 5, 10),
datetime.date(2021, 5, 11),
datetime.date(2021, 5, 12),
datetime.date(2021, 5, 13),
datetime.date(2021, 5, 14),
dat
浏览 12提问于2021-05-31得票数 0
回答已采纳
1回答
我有一个函数，需要运行三个SQL查询才能获得一些数据，然后返回一个计算。
类似于：
df1 = pd.read_sql('''...''', cnxn) # Takes 5min
df2 = pd.read_sql('''...''', cnxn) # Takes 25min
df3 = pd.read_sql('''...''', cnxn) # Takes 20min
ans = my_calculation(df1, df2, df3)
是否有方
浏览 10提问于2021-12-16得票数 1
1回答
我正在尝试做异步等价的
engine = create_engine('sqlite:///./test.db')
stmt = session.query(MyTable)
data = pd.read_sql(stmt, engine)
但是错误AttributeError: 'AsyncConnection' object has no attribute 'cursor'失败了。
怎样才能使这件事奏效呢？
asyn_engine = create_async_engine('sqlite+aiosqlite:///./test.
浏览 32提问于2022-01-25得票数 3
我希望创建一个搜索框，它将从用户获得输入，将其放入SQL查询中，并从查询数据库返回匹配记录。
一切看起来都很好--除了我无法将查询结果显示为Pandas dataframe之外。脚本只在应该显示对象的时候执行。但是，当我使用print()时，将显示我的结果。
当我这样做的时候，什么都不会发生：
query = pd.read_sql(sql_string, connection)
query
但这很好用：
query = pd.read_sql(sql_string, connection)
print(query)
这是我的密码：
import qgrid
from ipywidgets i
浏览 0提问于2019-07-03得票数 0
2回答
我在一个库函数上使用partial，为其中一个参数提供默认值
library_func = lambda x, y, z : x + y + z
my_func = functools.partial(library_func, z = 5) #default value for one of the variables
# equiv to lambda x, y : x + y + 5
现在假设不是常量缺省z，我希望z依赖于y的值。例如，我们在字典中查找具有不同y值的键的z。
z = {"1":7,"2":8}[str(y)]
# now my_func
浏览 12提问于2018-12-13得票数 4
回答已采纳
我有一个从pandas pd.read_sql函数返回查询的数据库接口类。我希望将pd.read_sql参数传递给该方法，以便在调用函数时可以使用它，如下所示： import pyodbc
import pandas as pd
class Database:
def __init__():
driver_path = 'blablabla'
def select(self, query, **kwargs):
con = pyodbc.connect(driver_path)
result = pd.
浏览 16提问于2019-02-11得票数 1
回答已采纳
所以在Python中，我习惯于使用类似这样的东西
pd.read_sql(sql_query, connection_object)
以便从远程数据库获取数据。但在Ruby中形成类似的connection对象时：
require 'pg'
@connect_obj = PG.connect(:host => host, :dbname => db , :user => user , :password => pwd , :port => port )
为了运行像pd.read_sql(sql_query, connection_object)这样
浏览 5提问于2018-11-30得票数 0
2回答
如果我在SQL语句中使用with子句，则无法使用pyodbc执行SQL语句。 这是可行的： import pyodbc
cnxn = pyodbc.connect('DSN=database;PWD=password' )
cursor = cnxn.cursor()
sql = """
SELECT top 10 *
FROM table
"""
qnnum = pd.read_sql(sql, cnxn) 这不起作用： imp
浏览 30提问于2019-01-11得票数 0
回答已采纳
我有一个有两个索引的Pandas数据
Column1
indexA indexB
1001 aaa 1
bbb 1
ccc 1
ddd 1
创建者
pd.read_sql(sql=sql, index_col=['indexA'
浏览 3提问于2016-02-02得票数 6
pd.read_sql("SELECT * FROM usd_rates;", conn)
id date revenue_rates_usd
0 93 2021-07-23 {'AED': 3.673, 'AFN': 79.600004, 'ALL': 103.8,...
1 94 2021-07-24 {'AED': 3.673, 'AFN': 79.600004, 'ALL':
浏览 16提问于2021-07-24得票数 0
回答已采纳
我可以使用sqlalchemy和大熊猫成功地查询和插入数据：
from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('mssql://myserver/mydb?driver=SQL+Server+Native+Client+11.0?trusted_connection=yes')
阅读tempy表：
sql_command = """
select top 100 * from tempy
"""
df = pd.rea
浏览 11提问于2017-02-06得票数 25
回答已采纳
下面的代码产生一个错误，指出数据库已锁定：
df_chunks = pd.read_sql('cdr', engine, chunksize=100000)
engine.dispose()
with engine.connect() as conn:
trans = conn.begin()
query = """
CREATE TABLE test (row_id BIGINT,ego_id BIGINT,alter_id BIGINT)
""&#
浏览 68提问于2019-10-29得票数 2
我有一个这种格式的SQL表，我想阅读它并将其转换成熊猫时态。
y (year) w (week) d (some data)
2009 1 10
2009 2 15
...
做这件事的好方法是什么？
我知道read_sql()的parse_dates参数，或者使用DatetimeIndex手动设置索引。我无法理解如何使用周数据来实现这一点。我尝试了以下方法。谢谢。
# gives NaT for year & week:
df = pd.read_sql("SELECT y, w, d FROM t",
浏览 2提问于2014-08-23得票数 1
回答已采纳
1回答
考虑一个postgres表，在该表中，对于日期2022-05-01，我们有200个不同时间的值：
time value
2022-05-01 00:17:20+00:00 17175
2022-05-01 13:33:56+00:00 18000
...
我需要用chunk_size = 50逐块读取数据。进行重采样和聚合以计算每日统计数据，结果是四个相同的索引，其中每个索引包含聚合值
浏览 4提问于2022-03-27得票数 0
我在Mysql有一张桌子。该表有200多列。我想阅读所有的列，但是，我必须将其中一个列(A)作为一个特定的名称。现在，我必须使用两行代码，这需要时间。
df1 = pd.read_sql("""SELECT * FROM mytable""", db1)
df2 = pd.read_sql("""SELECT A as specific_name FROM mytable""", db1)
我想问的是，这到底是用一行代码呢？谢谢
浏览 4提问于2022-03-02得票数 0
回答已采纳
1回答
有一个有几个表的数据库。我试图编写一个函数来获取它们，而不显式地指示表名。
我有这样的功能：
def get_fb_sql_tables():
try:
fb_data_table = pd.read_sql('SELECT * FROM FB_Data', con=engine)
fb_meta_table = pd.read_sql('SELECT * FROM FB_Meta', con=engine)
fb_basic_table = pd.read_sql('SELECT * FROM F
浏览 0提问于2019-09-09得票数 2
回答已采纳
1回答
我目前正在编写一个web应用程序，需要通过清除缓存来“刷新页面”。因此，用户应该能够刷新页面。出于这个原因，我创建了一个按钮，其中包含以下语句：st.legacy_caching.caching.clear_cache()。然而，即使我有最更新的版本(1.12.0)，我也会得到以下错误：“模块‘legacy_caching’没有属性‘
我的代码如下所示
@st.cache(allow_output_mutation=True, suppress_st_warning=True)
def load_General():
engine = sa.create_engine("mss
浏览 11提问于2022-09-12得票数 1
1回答
我正在尝试使用PANDAS从ORACLE读取数据：
pd.read_sql(sql, myORACLEinfo)
其中sql是select语句
我不拥有ORACLE表，也不能更改表日期。
pd.read_sql返回此错误：
refresh 'charmap' codec can't decode byte 0x81 in position 1101:
character maps to <undefined>
有没有办法避免/忽略这个错误。
我尝试将：encoding='iso-8859-1'添加到炼金术create_engine设置中，
浏览 0提问于2019-07-13得票数 1
我有两个变量，我已经声明并指定了值，我想将它们传递给python中的sql查询限制。下面是我到目前为止所尝试的内容。任何帮助我们都将不胜感激。
limitstart = 10
limitend = 100
df = pd.read_sql("SELECT NUMBERS FROM `table` LIMIT '{limitstart}', '{limitend}'", con=dbConnection)
我收到一个语法错误。我希望查询最终是
df = pd.read_sql("SELECT NUMBERS FROM `table` LI
浏览 10提问于2020-05-23得票数 0
回答已采纳
格式化时，黑色将连接多行SQL语句：
格式化前：
df = pd.read_sql(
"SELECT TOP 1000 * " \
"FROM [ETZ3BSC1].[NT0001\BD9524].[AA_Trades]", conn
)
格式化后：
df = pd.read_sql(
"SELECT TOP 1000 * " "FROM [ETZ3BSC1].[NT0001\BD9524].[AA_Trades]", conn
)
是否可以启用多行SQL语句支持？在代码工作之前和之后添加# fmt: off和# fmt:
浏览 2提问于2019-11-19得票数 0
1回答
交互式Int滑翔机
、、、
嗨，我是Python，Plotly和木星笔记本的新手。我想使用一个滑块来选择天数作为查询中创建图形的范围。我唯一的问题是，我希望图形能够在与滑块的交互中自动更新，而不必重新运行查询和创建图形。我的代码如下：
slider = widgets.IntSlider()
display(slider)
sliderVal = slider.value
df = pd.read_sql(f"""
SELECT CASE WHEN SiteID LIKE 3 THEN 'BLAH'
WHEN SiteID LIKE 4 THEN 'BL
浏览 1提问于2018-05-10得票数 3
回答已采纳
1回答
我有一个包含2个表的数据库。我希望将两个表中的所有数据放入单个数据帧中。在这两个表中都有一个时间列，我希望在合并后对数据进行排序。 df1=pd.read_sql("Select * from table1")
df2=pd.read_sql("Select * from table2") 将df1和df2组合成按时间列排序的单个数据帧的最佳方式是什么？
浏览 7提问于2021-08-29得票数 1
我有一个数据文件data
A
0 10
1 11
我试图将每个单元格作为参数传递到pd.read_sql中。
query = ("select * table_1 where \"CoA_Id\"=%data[0] or \"CoA_Id\" =%data[1] ;")
result = pd.read_sql(query,con=conn,params={'data[0]':data[0],'data[1]':data[1]})
result_df = pd.Data
浏览 6提问于2022-10-04得票数 0
我对sqlalchemy完全陌生，我一直在努力更好地理解如何使用pd.read_sql。
我成功地运行了以下命令：
import sqlalchemy as sa
import pandas as pd
df = pd.DataFrame( index=range(10,30), data=np.random.rand(20, 10) )
eng = sa.create_engine('sqlite:///test.db')
df.reset_index().to_sql('test_table', eng, index=False)
df2 = pd.read
浏览 2提问于2016-09-21得票数 1
回答已采纳
2回答
pandas如何编写查询
、、、
基于此
我可以像这样创建一个简单的计算字段:我的查询
df = pd.read_sql("select range_start, range_end from "+table+" group by range_start, range_end", conn)
创建此表：
Start Stop
4385159 4499467
4175786 4352309
342426 354137
5591040 5600392
我想要做的是注入一个有diff的列，我可以这样做：
df2['Diff'] = df2['Stop'] -
浏览 0提问于2018-05-03得票数 0
我们有几个进程，它们使用SQLAlchemy从DB中提取数据，然后使用Pandas来操作数据。我是否在我的sql中使用cast()拉取到较小的数据类型？或者我应该将作为较小的数据类型加载到我的数据帧中？
df = pd.read_sql("select cast(column_name as smallint) from schema.table;")
vs
df = pd.read_sql("select column_name from schema.table;", dtype={"column_name": "int8"}
浏览 0提问于2020-05-12得票数 0
我有一个函数，它使用pd.read_sql直接从Python进行两个SQL查询，如下所示： def get_sql_queries():
source_data_query = """
SELECT
cf."fund" as 'Fund'
, cf."Symbol"
FROM
sql_table
"""
transactions = pd.read_sql(
sql
浏览 90提问于2021-10-11得票数 3
回答已采纳
我正在尝试使用try/except代码块。我有sqlite db和2个表，我想加载在不同的数据帧中。
有三种可能的结果，表a或表b不在那里，或者都不在那里。
我不清楚该如何编写try/except块？
例如
try:
df = pd.read_sql("select * from table_a", db)
try:
df2 = pd.read_sql("select * from table_b", db)
except DatabaseError:
print('no table b')
浏览 3提问于2018-08-07得票数 0
我正在尝试使用python从sql服务器上的存储进程中提取一些数据。
下面是我的代码：
import datetime as dt
import pyodbc
import pandas as pd
conn = pyodbc.connect('Trusted_Connection=yes', driver = '{SQL Server Native client 11.0}',server = '*****, database = '**')
pd.read_sql("EXEC ******** '20140528&
浏览 0提问于2015-05-30得票数 9
我正在处理一个项目，它有很多在python中运行的查询。当我检查土匪的时候，我看到了问题-
Test results:
>> Issue: [B608:hardcoded_sql_expressions] Possible SQL injection vector through string-based query construction.
Severity: Medium Confidence: Low
Location: main.py:160
More Info: https://bandit.readthedocs.io/en/latest/plu
浏览 10提问于2021-08-10得票数 0
这主要是在熊猫的jupyter笔记和查询的范围内(我对两者都非常陌生)。我注意到，当我按一定顺序编写查询时，需要按一定的顺序使用dataframe：
df = pd.read_sql("select date, count(*) as count from "+tableName+" group by date" ,conn").sort_values(['date'].ascending=False)
我比我更有经验的朋友：
df = pd.read_sql("select date, count(*) as count fro
浏览 0提问于2018-02-20得票数 0
回答已采纳
我正在使用便携式python 2.7.6.1，我想将一个查询从oracle数据库导入到python大熊猫中。我已经搜索了几个例子，并提出了以下代码：
from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('oracle://user:pass@host:port/schema', echo=False)
df = pd.read_sql('select * from databasetable', engine, index_col = index)
p
浏览 2提问于2015-02-19得票数 4
回答已采纳
我想使用pandas dataframe中多个表中的数据。我有两个从服务器下载数据的想法，一种方法是使用SQL连接和检索数据，另一种方法是分别下载数据文件并使用pandas.merge合并它们。
SQL连接
当我想将数据下载到pandas中时。
query='''SELECT table1.c1, table2.c2
FROM table1
INNER JOIN table2 ON table1.ID=table2.ID where condidtion;'''
df = pd.read_sql(query,engine)
熊猫合
浏览 1提问于2018-04-25得票数 9
回答已采纳
1回答
我尝试在django框架内连接sql server数据库，将sql查询结果读取到panda dataframe中。
from django.db import connections
query = """SELECT * FROM [dbo].[table] WHERE project=%(Name)s"""
data = pd.read_sql(query, connections[database], params={'Name': input} )
我得到的错误信息是‘格式需要一个映射’
如果我这样做，它将工作，但我真的
浏览 0提问于2019-08-01得票数 2
1回答
下面的代码是用Python语言编写的，我想把这段代码转换成pyspark，基本上我不确定语句- pd.read_sql(query，connect_to_hive)转换成pyspark的代码是什么 需要从EDL中提取数据，因此使用PYODBC连接到EDL，并使用sql查询提取数据。 pyodbc连接到企业数据湖： connect_to_hive = pyodbc.connect("DSN=Hive", autocommit=True)
transaction=pd.read_sql(query, connect_to_hive)
connect_to_hive.close()
浏览 55提问于2021-04-19得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
