我们的应用程序使用java将数据从avro文件加载到内存h2数据库中。我有145000000行要插入,而且我得到了java堆错误。它可以处理200万行。我怎样才能解决这个问题?
下面粘贴错误的原因是: org.h2.jdbc.JdbcSQLNonTransientConnectionException:内存不足。SQL语句: at org.h2.message.DbException.getJdbcSQLException(DbException.java:617) ~h2-1.4.199.jar:1.4.199 at org.h2.message.DbException.getJdbcSQL
在我们的hadoop设置中,当datanode崩溃(或) hadoop在datanode上没有响应时,reduce任务将失败,无法从失败的节点读取数据(下面的异常)。我认为hadoop处理数据节点故障,这是创建hadoop的主要目的。有没有人在集群上遇到类似的问题?如果你有解决方案,请告诉我。
java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(Unkn
我们有一个每天一次使用整个分配堆内存的应用程序。我对堆空间做了一个内存转储,以帮助我找到这个问题的原因,这个问题在这个链接上是可用的。我认为应用程序实现得不好,或者可能与DB4O技术有关,它的对象在客户端和服务器之间发送,或者在用户在系统和服务器之间同步数据之后向服务器开放。该服务没有提供错误:内存不足:堆空间,但我跟踪您的资源分配。
我用这个shell脚本启动应用程序..。
set +x
export BRANCHOFFICE_HOME=/bat/orquestra/branchoffice/live18
cd ${BRANCHOFFICE_HOME}
echo BRANCHOFFICE_
我有一个包含一些数据的文本文件。当我试图将数据放入MySQL时,我得到了这个错误"java.lang.OutOfMemoryError: Java heap space“。
我的代码:
try {
// create a buffer reader
java.io.BufferedReader br = new BufferedReader(new FileReader(f));
// define line
String line = null;
// connect to the dat
我在Hadoop2.6上运行Hive1.2,并在3个节点上加载了一个大小为21 am的拼花表,该表存储在HDFS中,复制因子为1。我正在运行一个简单的选择查询,它不返回任何行(主要是为了衡量整个表扫描的性能):
select * from myParquetTable where id < 0;
但是,我一直从"ParquetFileReader“(接近仅映射作业的末尾)获得Java堆空间内存问题:
parquet.hadoop.ParquetFileReader$ConsecutiveChunkList.readAll(ParquetFileReader.java:755)
当我使用ApacheBeamSDKforJava2.29.0将数据插入Bigauqery时,我正在断断续续地处理数据流作业中的内存问题。
这是堆栈跟踪
Error message from worker: java.lang.RuntimeException: java.lang.OutOfMemoryError: unable to create native thread: possibly out of memory or process/resource limits reached
org.apache.beam.sdk.io.gcp.bigquery.Big
我有一个问题的软件打印PDF文件直接与默认打印机。有时,当用户打印PDF文件时,我会收到一个OutOfMemoryError,但我不知道问题出在哪里。
java.lang.OutOfMemoryError: Java heap space
at java.awt.image.DataBufferInt.<init>(Unknown Source)
at java.awt.image.Raster.createPackedRaster(Unknown Source)
at java.awt.image.DirectColorModel.createCom
我试图在talend中读取一个30-60 MB的excel文件,但它给出了以下错误
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.lang.AbstractStringBuilder.<init>(Unknown Source)
at java.lang.StringBuffer.<init>(Unknown Source)
at org.apache.xmlbeans.impl.store.Locale$ScrubBuffer.<ini
我有两个用java编写的函数,我正在尝试创建它们的单元测试。第一个函数是向数据库添加一个元素,第二个函数是根据元素的id从数据库中获取该元素。我创建了他们的两个测试,第一个在数据库中正确插入。但是当我做get的时候,数据库似乎是空的!
enter code here
package com.example.service;
import com.example.model.City;
import org.junit.Test;
import java.sql.*;
public class DatabaseService {
public static int addCity(Co
我有一个Java应用程序来生成Excel工作表。我是基于Apache的BigGridDemo示例来生成Excel(xlsx)的。
我的想法是
fileSubstitute 创建模板工作簿,创建工作表和全局对象,如单元格样式、数字格式等。创建一个应用程序,该应用程序以生成的数据在模板中将数据流到文本中。
在Linux中,在第三步中,JVM使用以下信息崩溃
# A fatal error has been detected by the Java Runtime Environment:
# SIGSEGV (0xb) at pc=0x000000307a772c44, pid=11781, t
我有一个用于处理简单表的代码,当同一个表被分区到多个子分区时,就停止工作了。
在分布式应用程序(Spark)中,我们有代码可以在同一时间并行执行来自不同计算机的批删除查询(删除不同的记录)。
大多数查询都正常工作,但其中一个查询似乎在套接字连接超时上失败:
java.sql.BatchUpdateException: Batch entry 0 DELETE FROM my_table WHERE vessel_id='xxxxxx' AND day='2020-09-15 00:00:00+00'::timestamp was aborted: An I/O
后端代码:
public class MyServlet extends HttpServlet {
@Override
public void doGet(HttpServletRequest req, HttpServletResponse resp)
throws IOException {
resp.setContentType("text/plain");
resp.getWriter().println("Please use the form to POST to this url");}
@Override
pub
我有一个应用程序在谷歌商店和我收到崩溃的堆栈跟踪。问题是我无法获得崩溃的行或文件,因为名称不像java文件中的名称
java.lang.RuntimeException: An error occured while executing doInBackground()
at android.os.AsyncTask$3.done(AsyncTask.java:299)
at java.util.concurrent.FutureTask.finishCompletion(FutureTask.java:352)
at java.util.concurrent.FutureTask.setEx
我正在尝试从一个数据列表构建一个DataFrame,然后将它写成拼花文件:
dataframe = None
while True:
data_list = get_data_list() # this function would return a list of data, about 1 million rows
rdd = sparkContext.parallelize(data_list, 20)
if dataframe:
dataframe.union(sparkSession.createDataFrame(data=rdd))
我正在使用MongoDb,在从数据库中读取记录时遇到了问题。我可以将它们放到游标中,但是当我尝试使用cursor.hasNext()从游标中获取记录时,它给出了以下异常:
com.mongodb.MongoInternalException: couldn't get next element
at com.mongodb.DBCursor.hasNext(DBCursor.java:459)
Caused by: java.net.SocketTimeoutException: Read timed out
at java.net.SocketInpu
我们的团队正在构建一个小型应用程序,其中的UI有大约10个下拉列表框。( DDLB )。
这些列表框将通过从不同的表中选择数据来填充。
我们的JAVA人员认为为每个列表进行单独的数据库调用将非常昂贵,并且希望为所有列表进行单个数据库调用。
我觉得在一个数据库调用中填充所有列表是不切实际的,原因如下
a. Imagine an end user chooses state = 'NY' from one DDLB.
b. The next drop down should be populated with values from ZIP_CODES table for ST
我正在开发一个基于comp的应用程序。在此应用程序中,有n个容器通过它们彼此提供的RMI服务相互通信。在certaion点,连接到我的容器的一个rmi线程由于内存不足错误而失去连接,但是连接到我的容器的所有其他RMI线程都正常工作。
错误的堆栈记录在这里:
Exception dispatching call to [655d565c:11f1d5dbae2:-7ffb, -3259564578052694518] in thread "RMI TCP Connection(21)-132.186.96.179" at Wed Jan 28 18:50:37 GMT+05:30
我最近买了一个VPS,纸面上它应该给我1GB的专用内存和1GB的可存储内存.所以在任何时候,我可以使用的内存总量应该在1GB到2GB之间,对吗?如果我错了就纠正我..。
如何从我的Ubuntu中检查这个?这样我就知道我得到了我所付出的..。
我想检查这一点,因为我在VPS上安装了Java,而且由于内存不足,它没有运行。
顺便说一下,我知道“自由”的命令..。问题是,这能达到我的目的吗?
编辑:我认为内存不足的原因是,当我有一个VPN会话并在控制台中输入java时,我会得到以下错误:
Error occurred during initialization of VM
Could not res