Tsfresh耗时太长，计算机无法处理
Tsfresh是一个用于时间序列特征提取的开源Python库。它可以从时间序列数据中提取出大量的统计特征，用于机器学习和数据分析任务。然而，由于Tsfresh的计算复杂度较高，当处理大规模的时间序列数据时，可能会导致耗时过长，甚至超出计算机的处理能力。
为了解决Tsfresh耗时过长的问题，可以考虑以下几个方面的优化措施：
- 数据预处理：在使用Tsfresh之前，可以对时间序列数据进行预处理，包括数据清洗、降采样、去噪等操作，以减少数据量和噪声对计算性能的影响。
- 特征选择：Tsfresh提供了大量的特征提取方法，但并不是所有特征都对任务有用。可以通过特征选择算法，如相关性分析、方差阈值等方法，筛选出对任务有意义的特征，减少计算量。
- 并行计算：利用多核处理器或分布式计算框架，如Python的multiprocessing库或Apache Spark，将Tsfresh的计算任务并行化，加快特征提取的速度。
- 硬件升级：如果计算机的处理能力无法满足需求，可以考虑升级计算机硬件，如增加CPU核心数、内存容量等，以提升计算性能。
总结起来，要解决Tsfresh耗时过长的问题，可以通过数据预处理、特征选择、并行计算和硬件升级等方式进行优化。具体的优化策略需要根据实际情况进行调整和实施。
关于腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体品牌商，无法给出具体链接。但腾讯云作为一家知名的云计算服务提供商，提供了丰富的云计算产品和解决方案，可以通过腾讯云官方网站或相关技术文档进行了解和选择适合的产品。
相关·内容
我正在尝试使用一个测试文件(24行x366列)的有效参数来使用python 3.7.1中的tsfresh特征提取库。 它从不停止并继续处理，我试图在另一台安装了python 2.17.16的笔记本电脑上运行相同的库，但tsfresh库不起作用。 我该怎么办？ ? ? # Import Data from CSV file
#import csv
#with open('T7.csv') as T7:
# reader = csv.reader(T7)
# try:
# for row in reader:
#
浏览 64提问于2019-09-25得票数 0
tsfresh是一个用于时间序列分析的库。我试图在他们的文档中使用，但提供的代码似乎不起作用。
import matplotlib.pyplot as plt
from tsfresh import extract_features, select_features
from tsfresh.utilities.dataframe_functions import impute
from tsfresh.examples.robot_execution_failures import download_robot_execution_failures, \
load_robot_exe
浏览 0提问于2019-10-07得票数 2
1回答
我使用的是linux服务器，但我没有使用pip安装包的权限，所以我从下载了所需的包：tsfresh，然后使用ftp将我下载到Linux服务器的未打包文件夹上传到Linux服务器，但是如何实现import tsfresh呢？
我将下载文件夹放在路径/upload/tsfresh中，我的python工作目录位于/upload/中。
下面是我的文件夹upload的子文件夹
./tsfresh
./tsfresh/.github
./tsfresh/binder
./tsfresh/docs
./tsfresh/notebooks
./tsfresh/tests
./tsfresh/tsfresh
.
浏览 0提问于2018-09-26得票数 0
回答已采纳
1回答
在windows上构建路径时，我感到非常困惑：
HDF_OUTPUT = f'{__file__}'.split('\\')
print(HDF_OUTPUT)
HDF_OUTPUT = f'{__file__}'.split('/')
print(HDF_OUTPUT)
输出：
['C:/Users/Artur/Desktop/tsfresh/file.py']
['C:', 'Users', 'Artur', 'Desktop', 't
浏览 5提问于2020-02-07得票数 1
回答已采纳
我使用jQuery document ready方法- $(function()
如果页面渲染耗时太长(比如2mins+)，这会是页面抛出javascript执行错误/警告耗时过长的原因吗？
浏览 0提问于2010-07-15得票数 3
回答已采纳
我正在尝试查找给定字符串的所有电子邮件
下面是正则表达式：
r"([a-zA-Z0-9_.+-]+(?:\@|\[(?:(?:at|AT|@))\])+[a-zA-Z0-9-]+(?:\.|\[(?:[dtoDTO0\.])+\])[a-zA-Z0-9]+)"
字符串长度太长(~2L)。查找所有匹配的电子邮件的时间太长了。如果正则表达式耗时太长，我喜欢使用超时概念。有什么建议吗？
浏览 2提问于2017-05-01得票数 0
我正在尝试使用to包和extract_features()函数来提取特性。
新版本: 0.4.0.post0.dev1+ng19fa136
但是，我得到以下错误：
AttributeError:输入对象'MinimalFeatureExtractionSettings‘没有属性'n_processes’
代码：
import numpy as np
import pandas as pd
column_names = ['time_series1', 'time_series2','time_series3']
ts =
浏览 0提问于2016-12-25得票数 2
1回答
我正在尝试使用python中的tsfresh包，以便从加速度传感器输入中提取特征，我遇到了几个需要滞后变量的特征：
tsfresh.feature_extraction.feature_calculators.agg_autocorrelation(x, param)
Where:
x (numpy.ndarray) – the time series to calculate the feature of
param (list) – contains dictionaries {“f_agg”: x, “maxlag”
浏览 4提问于2020-01-24得票数 1
1回答
我们使用AWS S3桶作为客户文件的放置点。机器包含访问S3桶、读取一些文件、编写日志和输出所需的例程。有什么问题吗？有人在python/java/JavaScript中这样做过吗？
我无法将文件复制到Google存储中，这既耗时太长，又打开了一个我只是不想处理的安全场景。大量的答案显示了迁移，但在我的例子中，我只是想让图像能够访问它。谢谢
浏览 1提问于2021-04-15得票数 1
回答已采纳
1回答
我在PostgreSQL中有一个40 50的线表(这是我从50个较小的CSV文件中导入的)，查询耗时太长。我想把它寄给空军特种部队。我不是程序员。我该怎么做呢？
PS:我的电脑上是否有一个38 my线的新文件？我想我不明白DB是如何工作的。
浏览 0提问于2014-07-16得票数 1
1回答
我有一个很大的数据集(10 to )，并且我必须执行一个热编码(OHE)。在数据准备中，OHE是瓶颈，耗时太长。
我使用的是这个库：
from category_encoders.one_hot import OneHotEncoder
OneHotEncoder().fit_transform(df)
因为数据帧的小样本已经花费了太长的时间。
我怎样才能加快这个过程？也许可以将其并行化？另一种方式呢？
浏览 13提问于2020-02-28得票数 1
3回答
我使用python的multiprocessing模块同时处理许多函数。每个派生的进程函数都会获得一些初始的输入参数，以及一个Pipe连接来将其结果发回。由于各种原因，我必须使用这样的单个进程，即Pool.map_async()-methods之类的工具不在桌面上。
偶尔，我需要终止一个耗时太长的过程。
根据
警告：如果在关联进程使用管道或队列时使用此方法，则管道或队列容易损坏，其他进程可能无法使用。类似地，如果进程获得了锁或信号量等，则终止它可能会导致其他进程陷入死锁。
我并不担心第一部分，因为每个进程都有自己的管道对象，但是如何确定进程是否“获得了锁或信号量”，以及/或以对我的程序
浏览 6提问于2020-05-14得票数 1
1回答
问题：
我有一个返回大型结果集的查询。它太大了，不能带入PHP。我得到一个致命的内存最大错误，不能增加内存限制。
我需要多次迭代数组，但是mysqli_data_seek不能处理无缓冲的查询。
//I have a buffered result set
$bresult = $mysql->query("SELECT * FROM Small_Table");
//And a very large unbuffered result set
$uresult = $mysqli->query("SELECT * FROM Big_Table",
浏览 5提问于2013-08-08得票数 1
我使用的是一个嵌入式jetty容器，使用的是spring boot。如果我的请求耗时太长，Jetty将在503失败。在jetty日志中，我看到以下内容：
异步超时后调度
所以，我假设异步超时了。但是，我找不到在哪里将此超时更新为更高的值。
有什么想法吗？
浏览 12提问于2016-08-09得票数 3
回答已采纳
2回答
我有一个for循环，耗时太长，我不知道为什么。
Stopwatch proctime = new Stopwatch();
Stopwatch innerlooptime = new Stopwatch();
Stopwatch outerlooptime = new Stopwatch();
proctime.Start();
int length = inbtable.Rows.Count;
outerlooptime.Start();
for (int i = 0; i < length; i++)
{
outerlooptime.Stop();
DataRow
浏览 15提问于2017-02-04得票数 0
2回答
我正在遵循Tts新鲜package (pip install tsfresh)的“pip install tsfresh”代码，如下所示。
from tsfresh.examples.robot_execution_failures import download_robot_execution_failures, \
load_robot_execution_failures
download_robot_execution_failures()
timeseries, y = load_robot_execution_failures()
from tsfresh import e
浏览 7提问于2019-09-18得票数 1
回答已采纳
1回答
我正在尝试优化一个查询，这个查询耗时太长，但似乎无法解决。
CREATE TABLE `syncs` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`status` tinyint(1) NOT NULL,
`auto_retryable_after` timestamp NULL DEFAULT NULL,
`times_auto_retried` tinyint(4) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `UsedDate` (`status`,`auto_retryable
浏览 6提问于2022-03-31得票数 0
2回答
在我们的web应用程序中，我们有一个功能：
productsWrites 将它们的列表获取到excel文件中，将此excel文件返回给用户以供下载。
这个过程花费更多的时间取决于产品的数量>2分钟。有些请求需要超过5分钟！平均而言，用户下载100到500个产品，请求大约需要1到5分钟。
我认为，对于任何web服务器线程来说，1分钟太长，无法在任何单个请求上活动。除了耗时太长这一事实外，进程本身还会导致服务器内存错误，并使其崩溃。
我想让他们相信，这是错误的做法，因此必须通过引用软件架构师撰写的文章或书籍或研究来改变设计，这些文章或研究报告都是这样的，同时也提出了在这种情况下应该做什么的建
浏览 1提问于2011-01-06得票数 1
如果一个方法的运行时间太长，我如何中止它的执行？
例如：
string foo = DoSomethingComplex();
但是如果DoSomethingComplex()耗时太长(比方说20秒)。然后将foo设置为""；
浏览 0提问于2011-01-22得票数 4
回答已采纳
1回答
我在Linux上运行Eclipse，有人告诉我可以使用Xdebug来优化我的程序。我在我的脚本中使用了一种组合算法，运行起来耗时太长。
我只是要求一个起点来调试这一点。我知道如何做basics...break点，条件断点，开始，停止，跳过，等等。但我想学习更高级的技术，这样我就能写出更好、更优化的代码。
浏览 2提问于2011-04-23得票数 2
回答已采纳
我有性能问题。
Chrome时间轴显示“更新层树”耗时太长(在移动设备上三星Galaxy S3上耗时279ms)一堆带有diaply:none样式的div会导致这个问题吗？
浏览 0提问于2016-07-31得票数 0
6回答
我目前正在设计一个将被第三方使用的程序集。其中一个类有一个很长的TCP连接进程，它使用事件通知自己的进程。例如
''# Do stuff that takes some time
RaiseEvent CompletedFirstPartEvent()
''# Do stuff that takes some time
RaiseEvent CompletedSecondPartEvent()
''# Do stuff that takes some time
RaiseEvent CompletedSecondPartEvent()
我已经看到
浏览 3提问于2009-12-15得票数 1
回答已采纳
我的测试套件中的一个测试用例在我的程序中触发了一个bug，导致它进入无限循环。这个bug还会导致程序消耗无限大的内存，因此我的系统很快就会开始交换到磁盘，并且变得非常迟钝。
有没有什么方法可以让我的测试套件终止那些运行时间太长和/或消耗太多内存的测试？我更希望测试套件以“耗时太长”错误的方式使这些有out的测试用例失败，而不是让它们失控。
我能用Busted做些什么来防止测试套件在这些情况下卡住吗？我宁愿这个测试用例失败，并返回一个“太长时间无法返回”的错误。
浏览 5提问于2018-10-09得票数 0
我正在遵循https://fenics.readthedocs.io/projects/containers/en/latest/introduction.html的指示。 我得到了： fenics@af86d2c8af46:~$ cd ~/demo/python/documented/poisson
fenics@af86d2c8af46:~/demo/python/documented/poisson$ python3 demo_poisson.py
Calling FFC just-in-time (JIT) compiler, this may take some time.
浏览 230提问于2021-06-21得票数 1
1回答
我有一个列表，其中每个列表代表一个时间序列：
tsli=[[43,65,23,765,233,455,7,32,57,78,4,32],[34,32,565,87,23,86,32,56,32,57,78,32],[87,43,12,46,32,46,13,23,6,90,67,8],[1,2,3,3,4,5,6,7,8,9,0,9],[12,34,56,76,34,12,45,67,34,21,12,22]]
我想使用以下代码从这个带有to包的数据集中提取特性：
import tsfresh
tf=tsfresh.extract_features(tsli)
当我运行它时，我得到的值错误是：
浏览 4提问于2020-05-28得票数 2
回答已采纳
我最近安装了tsfresh包来提取我的时间序列数据的特征。我尝试在中运行该示例，但得到以下错误：
RuntimeError:
An attempt has been made to start a new process before the
current process has finished its bootstrapping phase.
This probably means that you are not using fork to start your
child processes and you have
浏览 1提问于2019-04-09得票数 1
据我所知，TSFRESH需要许多列ID(实体)，每个列ID(实体)都有一组连续的时间序列数据。 如果我为每个实体获得了许多不同的离散时间序列数据集，TSFRESH可以使用它们吗？这些数据集来自相同的传感器，但本质上是同一事件的多次重复。
浏览 7提问于2019-01-04得票数 1
回答已采纳
1回答
我已经在Android上实现了一个搜索功能。有时出现的问题是，初始搜索请求触发运行非常慢的网络请求，最终返回错误。在此期间，用户通过在搜索栏中输入输入来触发另一个搜索，这将返回一个成功响应并向用户显示搜索结果。 然而，当第一个耗时太长且失败的结果返回时，它会转换为一个空结果，从而冲击现有的搜索结果。RxJava中有没有一个运算符可能会忽略这个耗时太长的请求？
浏览 15提问于2021-06-29得票数 0
回答已采纳
1回答
我的Python代码耗时太长，如果时间超过几秒，我想停止并跳过此函数的执行。
例如，我想要计时的函数是：
batch_xs, batch_ys = train_loadbatch_from_lists(batch_size)
在某些情况下，此函数调用花费的时间太长，我想取消它。
我在找这样的东西：
if time for batch_xs, batch_ys = train_loadbatch_from_lists(batch_size) > 20 seconds:
then skip
参考。
我想知道如果发生超时，我将如何再次调用函数。
例如
@timeout(15)
def
浏览 0提问于2016-04-21得票数 6
回答已采纳
1回答
如何与群中的多个参数一起使用函数
、、、、
我有以下数据集，我想对其计算几个聚合metrics>
对于一些人，我使用标准函数，但对于另一些人，我在上中继，从那里导入函数：
sample.groupby('id').agg(['std', benford_correlation,absolute_maximum])
它适用于只有一个参数的函数，如下所示：
from tsfresh.feature_extraction.feature_calculators import benford_correlation #(x)
from tsfresh.feature_extraction.feat
浏览 10提问于2022-09-23得票数 0
回答已采纳
通过保存耗时太长的查询，我开始使用进行基准测试。对于一个用户，此查询：
SELECT chapter, order, topic, id, name
FROM topics
WHERE id = '1'
AND hidden = 'no'
花了2.97秒。我做了一个解释：
select_type table possible keys key key_len ref rows Extra
SIMPLE topics id id 4 const 42 Using Where
浏览 5提问于2013-08-30得票数 0
回答已采纳
我在我的网站上有图像，用户可以下载选定的图像。当用户选择多个图像时，这些文件将作为zip文件下载；压缩过程在服务器上进行。
然而，当用户选择更多的文件时(大小也增加了500MB)，所以当他按下download时，压缩开始在服务器上。网页挂起，用户无法执行任何操作，直到压缩过程完成。
有时浏览器(如Chrome)会给出消息(进程耗时太长，请终止此进程)。所以我在这里寻求一些帮助。
我需要一个可靠的建议
谢谢
我压缩文件的代码是：
public string Zip(string f, bool original)
{
string zip = "";
try
浏览 2提问于2011-02-04得票数 1
回答已采纳
5回答
假设我在main方法中调用一个进程。现在，如果这个进程停滞或耗时太长，通常可以通过中断线程来中断它。
但是如果我在main方法中实现它，而不是在任何外部线程中，我怎么能像我们调用thread.interupt()那样调用当前线程本身来进行中断；
浏览 0提问于2010-12-27得票数 0
3回答
我有一个由大约1,000,000条记录组成的列表。并且，我使用EF将其插入到数据库中。由于耗时太长，我需要将此列表拆分为100个记录的块并保存。
我该怎么做呢？
await dbCont.People.AddAsync(peoples);
await dbCont.Savechanges();
这里的人物列表包含1,000,000条记录。我需要一次插入大约100条记录，而不是一次保存所有记录(这会减慢插入速度)。我该怎么做呢？
浏览 0提问于2019-04-23得票数 3
JUnit允许“失控”或耗时太长的测试自动失败()。示例：
@Test(timeout=1000)
public void testWithTimeout() {
...
}
如何使用org.scalatest.FunSuite定义时间输入
浏览 0提问于2018-05-18得票数 2
我使用的是android studio，我的构建每次都需要3-4分钟。有没有办法解决耗时太长的问题？
谢谢。
浏览 1提问于2016-02-08得票数 1
1回答
如何为Sonar插件开发设置一个合适的调试工作流程。目前它看起来像是这个->
mvn干净安装插件
将jar复制到Sonar文件夹
重启Sonar服务器(对于像样的工作流程来说耗时太长)
在我的示例项目中运行mvndebug sonar:sonar
在IntelliJ中运行远程调试
我读了一些关于的东西，但我找不到任何兼容4.5或任何更新版本(当他们将其重命名为SonarQube)的东西。
谢谢!
浏览 0提问于2015-10-22得票数 0
我有一个驻留在窗口服务中的远程对象，它可能需要一点时间来初始化。问题是，第一个客户端请求通常会因为耗时太长而失败，但随后的请求会成功。我想知道是否有一种方法可以在服务启动时立即创建远程对象。以下是服务的OnStart()中的代码：
ChannelServices.RegisterChannel(new HttpChannel(8080), false);
RemotingConfiguration.RegisterWellKnownServiceType(typeof(MyService), "MyService", WellKnownObjectMode.Si
浏览 0提问于2011-01-21得票数 0
回答已采纳
1回答
我目前正在为一个项目(预测维护)使用tsfresh包。
它的工作真的很好，现在我想实现它的现场。
但是，问题是，我不知道如何存储应用于原始数据集的特性工程，以便对正在流(实时接收)的数据进行相同的特性工程。
您是否知道是否存在允许存储tsfresh执行的功能工程的参数或函数？
(我使用的是extract_relevant_features函数)。
浏览 1提问于2021-04-14得票数 0
我是一个使用的初学者。我正在使用它从时间序列中提取特征。使用下面的代码( tsfresh网站的示例代码)为我提供了97个新功能(F_x__abs_energy，F_x__range_count__max_1__min_-1，F_x__variance，F_x__standard_deviation等等)来命名为F_x，但我不需要所有这些功能。假设我只想计算F_x__variance和F_x__standard_deviation。我应该在下面的代码中修改什么？
from tsfresh import extract_relevant_features
from tsfresh.feature_
浏览 5提问于2018-05-19得票数 4
我正在制作一款android应用程序。当我在具有512 MiB内存的模拟器上运行它时，一个简单的活动需要3秒才能完成。在真正的设备上，这个时间会更短吗，因为3秒太长了，无法接受！如果它会更低，那么是什么因素(一个估计值就可以了)？谢谢。
浏览 0提问于2013-03-17得票数 0
回答已采纳
1回答
阈值对矩阵配置文件有什么作用？
、、、、
因此，我使用tsfresh特征提取库绘制了这两个矩阵配置文件，并验证了这两个图是相同的(通过gimp)，现在我的问题是，what does the threshold do, if it's not giving a big impact on the graph？我读到阈值必须在0到1之间，而且这些值似乎不影响这个特性。
有人能帮我理解门槛的作用吗？
谢谢!
#编辑
为方便研究:)
浏览 1提问于2021-12-13得票数 0
通过使用sdk和fetch query，我在一次请求中获得了5000条记录，但fetch耗时太长。
请给我建议如何在Android中使用Fetch query和sdk逐页获取记录。
浏览 0提问于2016-06-17得票数 0
1回答
我最近开始使用tsfresh库从时间序列数据中提取特性。
我可以在几行代码中获得一系列特性，这是非常酷的，但我对select_features方法背后的逻辑有疑问。我查看了官方文档并搜索了它，但找不到用于此的算法。我想知道它是如何工作的，这样我就可以在tsfresh中的数据处理之后决定在特性选择阶段做什么。
浏览 4提问于2019-10-01得票数 1
回答已采纳
5回答
如何初始化文件系统？
、、、
我在/dev/sda上有一些分区。我想通过编程将它们全部删除。一种方法是列出所有分区，然后逐个删除它们。另一种方法是直接执行
dd if=/dev/zero of=/dev/sda
当我的分区表出现问题时，第一个选项失败了，因为当前分区的列表没有提供任何输出，因此我无法删除任何当前分区。
第二种方法耗时太长。有没有什么“快速方法”可以在shell脚本中将整个硬盘(/dev/sda)设置为未分区？
浏览 0提问于2010-02-12得票数 2
回答已采纳
我正在寻找一个解决方案，使php页面将加载所有其他信息，说的内容/图像，如果有的话，然后做一个操作，这将需要一些时间来完成并显示其结果。
由于操作耗时太长，php页面加载太慢。我希望我的客户首先看到页面，然后做操作，这将在结束时显示结果。
我尝试使用ob_start() & flush()，但没有成功。可能需要Javascript来初始化操作，我想是这样的。但是我怎么才能暗示这一点呢。
浏览 0提问于2010-12-18得票数 2
我正在维护一个用apache + php + mysql + html + javascript编写的自定义服务系统，问题是获取网页的时间太长了，我应该使用什么工具或方法来找到耗时的点在哪里？
浏览 3提问于2012-10-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
