当我看到高维部分时，我正在读“统计学习导论”，他们认为高维数据会引起很多问题。我的问题是，要应用任何特征选择模型，必须有更多的特征而不是观察。
如果是的话，你能给我提供任何关于它的文章吗？
浏览 0提问于2020-11-25得票数 0
回答已采纳
1回答
我仍然在探索机器学习的这一领域，尽管我知道特征选择和降维之间的区别，但我发现在掌握何时进行特征选择或降维(或两者兼而有之)的概念上存在一些困难。
假设我有一个包含大约40个特征的数据集，那么单独执行降维还是单独进行特征选择是一种好的做法？或者应该有两种方法的混合(即先进行特征选择，然后进行降维-或者反之亦然)？
浏览 1提问于2017-12-16得票数 0
我有弓向量，我想知道在sklearn或gensim中是否有监督降维算法能够获取高维的监督数据，并将其投影到低维空间中，从而保留这些类之间的方差。
实际上，我正在尝试为分类/回归找到一个合适的度量标准，我相信使用维数可以帮助我。我知道有一些无监督的方法，但我希望在此过程中保留标签信息。
浏览 1提问于2015-07-29得票数 0
2回答
我注意到UMAP经常与其他聚类算法结合使用，例如K-means、DBSCAN、HDBSCAN。然而，据我所理解，UMAP可以用于集群任务。那么，为什么我注意到人们主要把它作为一种降维技术呢？
这里是我所说的一个例子：https://medium.com/grabngoinfo/topic-modeling-with-deep-learning-using-python-bertopic-cf91f5676504
我是不是出什么问题了？UMAP可以单独用于集群任务吗？将它与其他聚类算法结合使用有什么好处？
浏览 0提问于2023-03-29得票数 0
回答已采纳
3回答
从数据库中提取的数据集由50多个列组成，我将这些列称为_dimension_s，可以称之为_dimension_s吗？
显然，我必须对它们进行降维。但是，由于PCA算法和其他算法一样，通常采用轴旋转来生成一些新的轴。我认为我不会在降维中使用PCA算法。因此，我计算了这些列(参数)之间的相关性，并过滤了那些具有高值和其他一些规则的人。所以我还能称它为降维吗？因为我只做了一些参数过滤
我之所以不使用PCA算法，是因为我想实现神经网络分类，而且我需要实际的参数。
请评论一下，任何批评都是受欢迎的。
浏览 0提问于2017-03-21得票数 1
我的keras编解码码在cpu上工作得很好。但是在gpu上，除了1之外，我不能用batch_size启动它！这很奇怪。即使在这种拟合中不使用批处理大小参数，我也会得到：
tensorflow.python.framework.errors_impl.InvalidArgumentError:不兼容形状: 1568对32,49
(默认情况下，keras采用batch_size=32)
我可以用我想要的任何batch_size运行许多其他程序。模块是比较二维对象和一维对象吗？
浏览 1提问于2018-10-28得票数 2
2回答
降低词嵌入的维数
、、
我训练了300个维度的单词嵌入。现在，我想要50个维度的单词嵌入:是最好用50个维度来重新训练嵌入词，还是可以使用一些降维方法来将300个维度的单词嵌入到50个维度呢？
浏览 0提问于2015-07-28得票数 10
1回答
所以我有这个数据集，大约有750个变量(列)和5万行条目。我想将数据集的维数降到25-50-100维，然后计算这些维度之间的关联矩阵。我有连续的和离散的列。我还想知道哪些维度代表原始数据集中的单个变量束。我要补充的是，我没有输出变量，我只是试图在数据中找到相关性。在Python中有办法做到这一点吗？
浏览 0提问于2021-02-25得票数 1
解释说，fit_transform只能用于密集矩阵，但我有一个csr格式的稀疏矩阵，我想对它执行tsne。文档说要对稀疏矩阵使用fit方法，但这并不返回低维嵌入。
我很感谢我可以像在.todense()中一样使用方法，但是我的数据集非常大(0.4*10^6行和0.5*10^4列)，所以内存中不适合使用。真的，用稀疏矩阵来做这件事是很好的。是否有一种方法可以使用scikit TSNE (或TSNE的任何其他python实现)来降低大型稀疏矩阵的维数，然后返回低维嵌入以进行可视化？
浏览 6提问于2017-09-26得票数 4
回答已采纳
我试图使用高斯过程来拟合光滑函数到一些数据点。我对python使用了scikit-learn库，在我的例子中，我的输入是二维空间坐标，输出是一些转换后的版本，也是二维空间坐标。我生成了一些虚拟测试数据，并试图拟合一个GP模型。我使用的代码如下：
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C
import numpy as np
# Some dummy data
X = np.
浏览 0提问于2018-02-06得票数 0
回答已采纳
1回答
t高维数据可视化
、、、、
我有一个推特语料库，我用它来建立情感分析应用程序。该语料库有5k条推文，被手工标记为阴性、中性或阳性。
为了表示文本，我使用gensim word2vec预训练向量。每个单词被映射到300个维度。对于一条推文，我将所有的单词向量相加，得到一个单一的300个模糊向量。因此，每个tweet被映射到一个300维的向量上。
我正在使用tsne (tsne python包)可视化我的数据。见所附图片 -红点=负tweets，蓝点=中性tweets和绿点=正tweets
问题：在图中没有明确的数据点之间的分离(边界)。我是否可以假设，300维中的原始点也是如此？
也就是说，如果点在then图中重叠，
浏览 0提问于2016-01-21得票数 4
我想使用MatLab中的主成分分析(PCA)将一个更大的维数矩阵(如2000*768)减少到一些较低的维数(如200*768或400*400 (不固定))。我想这样做是为了减少特征维数。我怎么才能轻松做到这一点呢？请给我推荐一些教程，以便更好地理解PCA。
提前谢谢。
浏览 4提问于2015-05-08得票数 0
2回答
由于各种维度诅咒的存在，许多常用的预测技术对高维数据的精度和速度都会降低。帮助有效处理高维数据的一些最有用的技术/技巧/启发式方法是什么？例如,
某些统计/建模方法在高维数据集上表现良好吗？
我们可以通过使用特定的(定义距离的替代概念)或核粒 (定义点积的替代概念)来改进高维数据上的预测模型的性能吗？
高维数据降维最有用的技术是什么？
浏览 0提问于2015-01-25得票数 17
1回答
我有一个具有大约100万行和大约500 K稀疏特性的数据集。我想把维数降到1K-5K稠密特征的某个地方。
sklearn.decomposition.PCA不工作在稀疏数据上，我尝试过使用sklearn.decomposition.TruncatedSVD，但是很快就得到了一个内存错误。在这个尺度上，我的有效降维选择是什么？
浏览 0提问于2018-08-29得票数 14
回答已采纳
1回答
我最近开始使用python从事机器学习等相关领域的工作。今天，我正在处理一个数据集，我想在其中应用降维并应用我的模型来评估分数。这个数据集有30个特征。
我从一个简单的算法开始，这是Logistic回归，但在应用我的logistic回归之前，我想做一个PCA。为了确定哪个组件的数量是最好的，我使用了带有逻辑回归的gridsearchCV，只使用了C参数和我选择组件数量的主成分分析。我得到的结果是，我在PCA中使用的组件越多，精度得分就越高。以我的n_components=30为例，我得到了0.81的精度分数。
问题是，我认为PCA用于降维(即处理较少的特征)，它可以帮助提高分数。有什么我不明白
浏览 1提问于2020-10-26得票数 0
1回答
基本上，我有一个n维数组，我想遍历它的元素，但是迭代器只能去一个相邻的元素。例如，像这样(用2D数组)-
现在，我可以想出一种用2D数组来完成这个任务的方法--例如(通过编辑数组本身)，但我想不出任何n维数组都可以以这种方式循环通过。如果你对此有任何想法的话，那会有很大帮助的。它不需要在特定的模式中移动，唯一需要的是迭代器在每个步骤中只移动到相邻的矩阵元素。
注意:我之所以需要这样做，是因为我正在编写一个python脚本来操作一个QM程序，以运行一个“轻松扫描”。在这种情况下，一个或多个键的长度必须被限制到特定的值，其余的分子被允许放松。大多数程序都是这样做的，每次都采用第一个提供的
浏览 1提问于2020-11-09得票数 0
我有一些高维数据，我想从这些数据中检测异常值。我知道如果我在处理低维数据，我可以聚类，然后检查一个数据点是否属于一个聚类，或者计算它到它的k个最近邻居的平均距离，等等。但我不能在高维数据上做这些，因为维度的诅咒。
因此，我想也许我可以随机地将高维数据投影到低维数据，并检查数据点的投影在大多数转换后的数据集中是否为异常值。我的假设是，高维的异常值在大多数对低维的投影中也应该表现为异常值。
例如，随机生成一些投影
(假设我们有维度的诅咒
)至
(我们可以通过传统方法进行聚类)，由
(所有这些都是
具有随机元素的矩阵)。假设我们想要检测
。如果对很多人来说
，
是中的异常值
，然后
浏览 13提问于2016-09-01得票数 1
3回答
可视化高维字段箭头？
、、、、
我有一个很大的元组列表(a，b)，其中a和b都是来自同一空间的9维向量。这本质上是对系统的状态和一些转换进行编码。我想将这些元组描述的字段可视化为从a->b指向的箭头，无论是2D还是3D。然而，我的一个问题是，这不是一个行为良好的向量场(不是连续的)，但我有理由相信它可能可以很好地布局，即使在2D中也是如此。
有没有人知道有什么工具箱(用于matlab/python)或程序可以做到这一点？这可能首先涉及a和b上的某种降维，然后绘制从一个点到另一个点的小箭头。
谢谢你的帮助!
浏览 0提问于2010-07-07得票数 1
回答已采纳
1回答
我的工作是利用FER2013数据集和vgg16模型进行人脸情感检测。我正在将t-sne应用于我的训练数据集，用于降维.
我的问题是“tensorflow需要降维吗？”
浏览 0提问于2022-09-05得票数 0
回答已采纳
1回答
我试图执行LDA (线性鉴别分析)，以执行降维(从532特征)到我的数据集(features，一个1360x532矩阵)。
lda = LinearDiscriminantAnalysis(n_components=80)
features = lda.fit(features, target).transform(features)
print("[STATUS] LDA performed")
print("[STATUS] feature vector size {}".format(np.array(features).shape))
我编写了这段代码，
浏览 0提问于2019-01-23得票数 0
回答已采纳
3回答
降维技术在深度学习中是否有用？
、、、、
我一直在研究机器学习，并且注意到大多数时候，像PCA和t-SNE这样的降维技术都被用于机器学习，但我很少注意到有人会在深度学习项目中这样做。在深度学习中没有使用降维技术的具体原因是什么？
浏览 0提问于2018-07-30得票数 4
回答已采纳
2回答
矩阵TFIDF的降维
、、、
我计算了TFIdf(词频，反向文档频率)，并且我已经看到，在这一步之后，有必要使用诸如LSI、chi -square test等方法来降低矩阵的维数。
我不知道如何在java中实现用于矩阵TFIDF降维的卡方测试，如果有一些库可以做这件事，或者有教程解释我如何做这件事，请告诉我
浏览 0提问于2011-03-30得票数 4
回答已采纳
2回答
目前，我正在阅读the可视化技术，有人提到，使用主成分分析可视化高维数据的缺点之一是，它只保留大的两两点之间的距离。意思是，在高维中相距很远的点在低维时也会出现很远的距离，但除此之外，所有其他点的距离都会被扭曲。
有人能帮我理解一下为什么是这样吗?从图形上来说，这意味着什么？
非常感谢!
浏览 5提问于2015-10-13得票数 3
1回答
据我所知，DR是一种将高维数据转化为低维数据的技术。但是它是特征选择还是特征提取？这些功能是只从可用的功能中选择的，还是被设计出来的？(在一些测试中被要求从特征选择和提取中进行选择)
浏览 5提问于2021-12-12得票数 0
2回答
我已经创建了一个word2vec模型，并使用TSNE和matplotlib对特定术语的前n个相似单词进行了可视化。我不明白的是，当我多次运行它时，相同的单词被绘制到不同的位置，即使每次单词和向量都是相同的。为什么会这样呢？我有一种感觉，这与TSNE降低向量维数的方式有关。如果是这样的话，使用这种可视化方法真的可靠吗?因为每次都是不同的。 model = Word2Vec.load("a_w2v_model")
topn_words_list = [x[0] for x in model.wv.most_similar("king",topn=3)]
topn
浏览 14提问于2020-01-27得票数 1
1回答
LDA在主题建模前的降维
、、、
我想用LDA做一些主题建模，但不幸的是，我的数据相当稀疏，结果并不令人满意。因为我仍然想尝试用LDA来解决我的任务(即使可能有更好的可能性)，我正在考虑在LDA之前使用某种降维方法。
我知道LDA用于主题建模，但也可以用于降维，那么在使用LDA之前尝试降维有意义吗？如果是，我可以使用什么方法？我认为使用像LSI或SVD这样的东西是没有意义的。
浏览 9提问于2020-05-23得票数 0
回答已采纳
1回答
无监督降维算法以矩阵NxC1为输入，其中N是输入向量的个数，C1是每个向量的分量数(向量的维数)。因此，它返回一个新的矩阵NxC2 (C2 < C1)，其中每个向量的分量较少。
模糊聚类算法以矩阵N*C1为输入矩阵，其中N是输入向量的个数，C1是每个向量的分量数。因此，它返回一个新的矩阵NxC2 (C2通常低于C1)，其中每个向量的每个分量都指示向量属于相应的簇的程度。
我注意到，这两类算法的输入和输出在结构上是相同的，只是对结果的解释发生了变化。此外，在scikit-learn中没有模糊聚类实现，因此出现了以下问题：
使用降维算法进行模糊聚类有意义吗？例如，将或应用于从文本数据中提取的
浏览 2提问于2015-10-13得票数 3
回答已采纳
1回答
我看到the可以帮助我们减少维数和可视化数据.但是我们从这个可视化中得到了什么信息呢？因为我们知道，新的轴在我们的上下文中没有意义。
此外，如果我们有一个类标记数据，那么我们可以从可视化中获得什么信息？我们已经知道有一些'n‘类，我们必须对其中一个类中的新示例进行分类。
还是我理解得不对？
浏览 0提问于2020-07-30得票数 0
1回答
我有一个包含100 k高维数据的数据集(例如LA中的房屋) (dim=100，例如房屋参数，如面积、到市中心的距离等)。下面是由目标值(如房价)着色的数据的两分量PCA表示。
📷
正如你所看到的，价格函数具有随机性，并且在任何地方都会发生迅速的变化。
是否有一种将目标值考虑在内的降维方法，其结果是一方面聚集廉价住房，然后在地图上看到房价的梯度？
多方面的学习对这项任务有帮助吗？
我尝试了基于岭回归的后向特征提取，根据它们对目标值回归结果的影响来降低维数，然后应用主成分分析( PCA )进行归一化，但输出结果并不理想。这是输出：
📷
谢谢
浏览 0提问于2019-07-06得票数 1
回答已采纳
根据wiki的说法，重新开始使用T-SNE映射到二维.
如果我们想要可视化数据，我可以理解这一点。
如果我们想要减少功能的数量(即从30个特性减少到5个dims)，那么是否建议使用T-SNE来实现呢？还是我们应该使用其他的降维算法？
浏览 0提问于2021-06-22得票数 7
回答已采纳
我已经从一组图像中提取了颜色矩，并希望使用Kmeans进行维数约简，并找到顶层k个潜在语义。如何使用Kmeans进行潜在的语义分析？
浏览 0提问于2021-10-22得票数 0
回答已采纳
1回答
我正在尝试找到一种方法来可视化具有高维输入的数据，用于支持向量机的两类分类，然后在分析之前决定使用哪个核。在联机文档中，数据的可视化只针对二维输入(我指的是两个属性)。
另一个问题出现了:如果我有多个类和两个以上的属性怎么办？
浏览 1提问于2014-04-19得票数 1
1回答
我是数据科学和统计学的新手。我遇到了这个问题，它有50个自变量和一个因变量，并试图找出一个很好的回归技术。下面是我执行的流程图：
数据挖掘->相关矩阵->维数约简-> (维数约简) ->基本线性回归技术。
如果有其他更好的技术或程序，有人能指导我吗？
浏览 0提问于2018-11-07得票数 1
1回答
关于下面的链接，用电影和人的例子很好地解释了维数约简，但我无法理解的是，在数学上特征向量是如何成为电影的特征，为什么特征向量而不是任何其他向量
浏览 2提问于2014-09-29得票数 0
回答已采纳
1回答
我试图在的基础上，在sklearn Python中使用LDA绘制sklearn虹膜数据集的边界线。
对于二维数据，我们可以很容易地使用LDA.coef_和LDA.intercept_绘制线条。
但是对于被简化为两个组件的多维数据，LDA.coef_和LDA.intercept有很多维，我不知道如何用它们来绘制二维降维图中的边界线。
我试过只使用LDA.coef_和LDA.intercept的前两个元素来绘制图，但没有成功。
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets
from s
浏览 0提问于2019-09-03得票数 3
我试图使用KNN将.wav文件正确地分类为两组，第0组和第1组。
我提取了数据，创建了模型，拟合了模型，但是当我尝试使用.predict()方法时，我得到了以下错误：
Traceback (most recent call last):
File "/..../....../KNN.py", line 20, in <module>
classifier.fit(X_train, y_train)
File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/s
浏览 2提问于2017-12-28得票数 4
回答已采纳
在我的3D游戏中，有300个类别的生物可以属于。我想教我的RL代理根据它最接近的10个怪物来做决定。
到目前为止，我的神经网络输入向量是十个300维一维热编码向量的级联.如果我有10个40维向量，那就太棒了。
那么，是否有可能通过自动编码器传递一个300维的一维热编码矢量，从自动编码器的中间抓取它的压缩版本(嵌入)？
这将允许我将几个这样的压缩嵌入连接成一个“总”输入(十个级联的40D向量)，而不膨胀这个总输入向量。
在我的游戏中，每一个热点都应该代表一个不同的类别.我的分类在任何方面都不相关.
( 1)它是有效的，还是会像标签编码那样引入不必要的假设？
2)如何训练这种自动编码器？我可以简单
浏览 0提问于2018-08-06得票数 4
回答已采纳
1回答
我有一个二进制形式的NxM数据的数据集。我对它应用了各种维度技术，并绘制了前两个维度。这就是我如何直观地判断该技术是否适合我的数据集。有没有更合适的/有条理的/启发式的/正式的方法来测试我使用的降维技术的适用性？
浏览 2提问于2013-07-30得票数 4
1回答
有人能指出特征选择和聚类以及降维算法之间的区别吗？
特征选择算法:允许找到最能代表数据的主要变量，也可以找到表示gbm / lasso类的最佳参数。
聚类帮助我们指出哪些变量簇清楚地定义了输出。
这与降维算法不一样吗？特征选择+聚类不是和降维算法一样吗？
浏览 4提问于2015-10-27得票数 0
1回答
谁能给我介绍一个健壮的python实现算法，比如Robust-PCA或基于角度的离群值检测(ABOD)？我尝试了几个Robust-PCA的python实现，但它们被证明是非常占用内存的，程序崩溃了。我的数据集是60,000×900个浮点数。R有一个ABOD的实现，但我想坚持使用python。
浏览 0提问于2017-07-14得票数 3
自组织地图被认为是一个非常有效的工具，用于探索性数据分析，因为它有助于高维数据的可视化。
然而，对于我来说，维数降低的部分还不清楚。从这篇文章中，我了解到这些信息本质上是嵌入在神经元的权向量中的，这些神经元和原始模式的维数是相同的。同样的权重向量应该被用于可视化(如果我跟随流行的颜色示例)。
如果这是真的，我不明白SOM是如何进行维数降维的，以及它如何使高维数据的可视化变得更简单。
有人能解释一下(如果可能的话) SOM是如何进行维数约简并使可视化成为可能的(如果可能的话)？
浏览 0提问于2018-02-02得票数 5
回答已采纳
多达5个不同的功能。每个类的平均实例/样本数约为300个(从200到400个不等)。样本总数接近4500个。
(为了清楚起见:例如，对于一个类和一个颜色特征，我有一个具有220行(样本)的矩阵，每行是5376维向量，因此一个220 x 5376维矩阵代表一个类和一个特征)。
现在，如果我在单个类别/类上应用主成分分析，那么我将获得小于270的所有特征集的降维( n_components = min(n_samples，feature_dimension))。
如果我将PCA应用于4500个图像的完整数据集(连接来自15个类别的所有样本)，当然是在一个特征集上，比如颜色。然后我将获得一个降维小于
浏览 0提问于2016-01-19得票数 0
1回答
推理时的单图像特征约简: SVM
、、、、
我试着用scikit学习来训练一个SVM分类器。在训练时，我要减少特征向量维数。我使用PCA来减少维数。
pp = PCA(n_components=400).fit(features)
features = pp.transform(features)
主成分分析需要m x n数据集来确定方差。但在推理时，我只有一幅图像和相应的一维特征向量。我想知道如何在推理时减少特征向量以匹配训练维数。
或者，如果有人可以提出一些其他的降维技术，可用于单一图像将是非常值得赞赏的。
浏览 0提问于2020-07-30得票数 0
我想要可视化的主题建模与LDA-算法。我使用称为"pyldavis“的python模块，并使用jupyter笔记本作为环境。
import pyLDAvis.sklearn
...
pyLDAvis.sklearn.prepare(lda_tf, dtm_tf, tf_vectorizer)
pyLDAvis.sklearn.prepare(lda_tf, dtm_tf, tf_vectorizer, mds='mmds')
pyLDAvis.sklearn.prepare(lda_tf, dtm_tf, tf_vectorizer, mds='tsne'
浏览 7提问于2018-06-19得票数 2
1回答
我一直在对两位作者的电子邮件进行分类。我成功地使用了监督学习和文本向量化、主成分分析和SelectPercentile特征选择来执行同样的任务。我用科学工具-学习包来实现同样的目标。
现在，我也想尝试使用无监督学习KMeans算法将电子邮件聚类成两组。我已经创建了dataset，其中将每个数据点作为python列表中的一行。因为我是一个新手，没有监督，所以我想问，我是否可以应用相同的降维工具，在监督(TFIDF和SelectPercentile)。如果不是，他们的对应方是什么？我正在使用scikit-学习它的编码。
我环顾四周，发现堆积如山，但没有得到令人满意的答案。我真的被困在这一点上了。
浏览 4提问于2016-05-27得票数 2
回答已采纳
1回答
K-均值聚类的局限性
、、、、
我正在查阅西密歇根大学的一份文件，以了解K均值聚类算法的局限性。以下是链接：
在33张幻灯片上，它提到当团簇是不同的时，K-均值有问题。
大小
密度
非球形形状
既然我们探索了我们的数据，并试图通过k均值聚类算法找出数据中存在的不同组，那么我们如何事先知道集群的大小是不同的呢？如果我们有二维数据，我们可以可视化它，但是如果数据是n维的话，它是如何实现的呢？在开始应用k-方法之前，是否有任何方法检查数据。
此外，对这种限制的解释是:如果我们有不同的集群大小，k-均值将不会给出所希望的集群，因为它试图对集群进行平等的划分。但我不认为情况总是如此。我在下面的数据集上应用了k-m
浏览 4提问于2020-07-08得票数 0
1回答
通用语句编码器，减少向量维数
、、、、
我正在使用模块成功地转换TensorFlow集线器上的文档。
每个文档的输出都是一个512维向量，但是对于我的应用程序来说，这太大了，我想降低维度，这是模块本身没有提供的。
我可以看到一些选择：
使用另一个具有较低维度输出的包。
使用诸如PCA或tSNE之类的方法来减少尺寸。
使用PCA或tSNE的问题是，这需要适合许多示例向量的数据--这意味着当新文档到达并转换为512-dim向量时，我需要继续拟合另一个模型，然后更新旧的文档向量--这在我的应用程序中将是一个巨大的问题。
还有其他的降维技术可以在一个数据点上工作吗？
浏览 4提问于2019-10-01得票数 1
回答已采纳
1回答
分解机(FMs)是一种将高维数据表示为较低维的方法，尽管原始数据稀疏。
它与PCA本身是一种降维技术有何不同？
这两种方法都有利弊吗？
浏览 0提问于2019-06-05得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
