我需要在CPU端做相当多的4x4双精度矩阵数学运算,以取代固定函数管道的推送/弹出/转换业务。同样的应用程序还将包含一些机器学习代码,这些代码需要对大矩阵进行操作。我看过用于机器学习的JBLAS (由于我已经在使用JNI for JOGL,依赖于另一个本地库的缺点很小),但我不确定它是否是与GL相关的矩阵的最佳选择。有什么想法?
为了进行培训,为了开始使用python进行机器学习和数据分析,我使用了一个非常小的数据集(20000行,600 of ) .But,因为几天后我决定更进一步,所以我已经下载了一个1Go的大数据集。我想做一些分析,并应用机器学习,所以我试着阅读csv文件与pyhton在木星笔记本和th文件仍在加载超过3个小时。
因此,我想知道,当您必须使用大型数据集时,应该遵循哪些最佳实践/流程?