首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

data.table;中的并行化集适用于for循环;但foreach %dopa%不适用;foreach %do%适用

data.table是一个在R语言中用于数据处理和分析的包。它提供了高效的数据操作和计算功能,特别适用于大规模数据集的处理。

并行化集是data.table包中的一个特性,它允许用户在处理数据时利用多核处理器的并行计算能力,从而加快数据处理的速度。通过并行化集,用户可以将数据分成多个部分并同时处理,然后将结果合并在一起,从而实现并行计算。

对于使用for循环进行数据处理的情况,data.table的并行化集非常适用。通过将数据分成多个部分并在多个核心上同时处理,可以显著提高数据处理的效率。这对于处理大规模数据集或需要进行复杂计算的情况特别有用。

然而,对于使用foreach包中的%dopa%函数进行并行计算的情况,data.table的并行化集并不适用。因为%dopa%函数在处理数据时会将数据复制到每个核心上进行计算,这会导致内存占用过高,从而降低计算效率。因此,在使用foreach包进行并行计算时,不建议同时使用data.table的并行化集。

相反,如果使用foreach包中的%do%函数进行并行计算,则可以与data.table的并行化集结合使用。%do%函数会将数据分发到各个核心上进行计算,而不会复制数据,因此可以避免内存占用过高的问题。这样,就可以同时利用data.table的并行化集和foreach包的并行计算功能,提高数据处理的效率。

总结起来,data.table的并行化集适用于使用for循环进行数据处理的情况,而不适用于使用foreach包中的%dopa%函数进行并行计算的情况。但可以与foreach包中的%do%函数结合使用,以实现更高效的数据处理。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • 你也可以训练超大神经网络!谷歌开源GPipe库

    深度神经网络(DNN)推动了许多机器学习任务的发展,包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT 2.0取得的近期进展表明,DNN模型越大,其在任务中的表现越好。视觉识别领域过去取得的进展也表明,模型大小和分类准确率之间存在很强的关联。例如,2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率,但仅仅过了三年,冠军的宝座就被Squeeze-and-ExcitationNetworks抢去,后者以1.458亿(前者的36倍还多)的参数量取得了82.7%的top-1准确率。然而,在这段时间里,GPU的内存只提高了3倍左右,当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此,我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。

    03

    学界 | 数据并行化对神经网络训练有何影响?谷歌大脑进行了实证研究

    神经网络在解决大量预测任务时非常高效。在较大数据集上训练的大型模型是神经网络近期成功的原因之一,我们期望在更多数据上训练的模型可以持续取得预测性能改进。尽管当下的 GPU 和自定义神经网络加速器可以使我们以前所未有的速度训练当前最优模型,但训练时间仍然限制着这些模型的预测性能及应用范围。很多重要问题的最佳模型在训练结束时仍然在提升性能,这是因为研究者无法一次训练很多天或好几周。在极端案例中,训练必须在完成一次数据遍历之前终止。减少训练时间的一种方式是提高数据处理速度。这可以极大地促进模型质量的提升,因为它使得训练过程能够处理更多数据,同时还能降低实验迭代时间,使研究者能够更快速地尝试新想法和新配置条件。更快的训练还使得神经网络能够部署到需要频繁更新模型的应用中,比如训练数据定期增删的情况就需要生成新模型。

    04

    你也可以训练超大神经网络!谷歌开源GPipe库

    深度神经网络(DNN)推动了许多机器学习任务的发展,包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT2.0取得的近期进展表明,DNN模型越大,其在任务中的表现越好。视觉识别领域过去取得的进展也表明,模型大小和分类准确率之间存在很强的关联。例如,2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率,但仅仅过了三年,冠军的宝座就被Squeeze-and-ExcitationNetworks抢去,后者以1.458亿(前者的36倍还多)的参数量取得了82.7%的top-1准确率。然而,在这段时间里,GPU的内存只提高了3倍左右,当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此,我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。

    02
    领券