从大型文件excel中提取数据
从大型文件excel中提取数据
提问于 2015-12-14 01:27:25
我正在使用Pentaho Data Integration来创建从xlsx文件到mysql的转换，但是我不能使用Excel 2007 xlsx(apache POI Straiming)从大文件导入数据。它会显示内存不足错误。
回答 2
Stack Overflow用户
发布于 2015-12-14 23:41:04
你有没有试过这个选项？
高级设置->生成模式->占用较少的内存用于大型excel(事件模式
(您需要先勾选“读取excel2007文件格式”)
Stack Overflow用户
发布于 2015-12-15 03:18:52
我建议您在运行转换之前增加jvm内存分配。默认情况下，pentaho数据集成(又名kettle )具有较低的内存分配，这将导致运行涉及大文件的ETL时出现问题。您需要修改-Xmx值，以便在spoon.bat中相应地指定更大的内存上限。
如果您在窗口中使用spoon并编辑spoon.bat，请在下面的代码行中显示。
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx512m" "-XX:MaxPermSize=256m"如果您正在使用厨房或平底锅，请相应地在这些pan.bat或kitchen.bat中进行编辑。如果您在linux中使用，请在.sh文件中更改。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/34254033
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号