1回答
我按照上的说明将现有文件转换为序列文件：
VectorWriter vectorWriter = SequenceFile.createWriter(filesystem,
configuration,
outfile,
LongWritable.class,
浏览 5提问于2015-03-11得票数 0
0回答
我正在使用下面的代码片段来编写序列文件，但是如果序列文件不存在，它工作得很好，但是如果序列文件存在，它就会覆盖内容，而不是附加到它上面。
SequenceFile.Writer writer = SequenceFile.createWriter(FileContext.getFileContext(conf), conf, sequenceFile, Text.class, Text.class, CompressionType.NONE, null, new Metadata(), EnumSet.of(CreateFlag.CREATE, CreateFlag.APPEND));
请注意
浏览 7提问于2017-01-01得票数 1
2回答
我有一个输出格式为SequenceFileOuputFormat的作业。
我将输出键和值类设置如下：
conf.setOutputKeyClass(IntWritable.class);
conf.setOutputValueClass(SplitInfo.class);
SplitInfo类implements Serializable,Writable
我将io.serializations属性设置如下：
conf.set("io.serializations","org.apache.hadoop.io.serializer.JavaSerialization,&
浏览 2提问于2012-09-16得票数 2
回答已采纳
在Kafka connect hdfs中，我们有下面的SequenceFileWriter.java类，用于在SequenceFileFormat中写入kafka消息。
import java.io.IOException;
import io.confluent.connect.avro.AvroData;
import io.confluent.connect.hdfs.RecordWriter;
import io.confluent.connect.hdfs.RecordWriterProvider;
import org.apache.hadoop.conf.Configurati
浏览 8提问于2018-09-17得票数 0
我现在开始学习C++，并尝试创建一个函数，该函数可以打开.txt文件，读取它，并将其单词保存在数组中(每个单词都是一个蛋白质序列)。不幸的是，我没有成功地调用函数中包含文件名(argv[1])的参数。有人能在我的代码中或在我实现这一点的方式中发现错误吗？预先谢谢，您将发现下面的代码和错误消息：
库
这是我的歌词和“捷径”。
// Librairies
#include <iostream>
#include <string>
#include <fstream>
// Alias
using std::cout;
using std::endl;
usin
浏览 4提问于2016-12-17得票数 0
回答已采纳
1回答
我有一堂课：
class Class1 implements Writable{
int intField;
double doubleField;
Class2 refToClass2;
public void readField(DataInput in){...}
public void write(DataOutput out){...}
class Class2 implements Serializable, Writable{
....
}
当使用Class1作为输出值时，Hadoop将此
浏览 3提问于2012-09-16得票数 0
回答已采纳
我在mapred-site.xml中将属性keep.task.files.pattern设置为".*"。
重新启动集群并执行我的测试mapreduce程序。
我在文件夹file.out中看到了两个文件/opt/hadoopws/tmp/mapred/local/taskTracker/hduser/jobcache/job_201403260903_0001/attempt_201403260903_0001_m_000000_0/output/和file.out.index
当我试图使用下面的代码读取file.out时，我会得到"not a SequenceFile
浏览 4提问于2014-03-26得票数 1
1回答
我正在尝试创建hadoop序列文件。
我成功地在HDFS中创建了一个序列文件，但是如果我试图读取一个序列文件，“序列文件而不是SequenceFile”会发生错误。我还检查了HDFS中创建的序列文件。
这是我的源代码，可以读写序列文件到HDFS。
package us.qi.hdfs;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apac
浏览 4提问于2018-09-18得票数 1
回答已采纳
我有一个小程序，它每秒向HDFS上的块压缩同步写入10条记录，然后每5分钟运行一次SequenceFile ()，以确保超过5分钟的所有内容都可用于处理。
因为我的代码只有几行，所以我只提取了重要的部分：
// initialize
Configuration hdfsConfig = new Configuration();
CompressionCodecFactory codecFactory = new CompressionCodecFactory(hdfsConfig);
CompressionCodec compressionCodec = codecFactory.getC
浏览 2提问于2015-03-09得票数 2
2回答
请有人提供一个示例代码片段，以说明如何将文件附加到现有的序列文件中？
下面是我用来附加到现有序列文件outputfile的代码，但是在后面读取序列文件时，它正在抛出校验和错误：
打开校验和文件: /Users/{homedirectory}/Desktop/Sample/SequenceFile/outputfile. 问题忽略异常: java.io.EOFException
public class AppendSequenceFile {
/**
* @param args
* @throws IOException
* @throws Illega
浏览 5提问于2016-12-27得票数 0
1回答
我想在火花作业中使用Kryo序列化。
public class SerializeTest {
public static class Toto implements Serializable {
private static final long serialVersionUID = 6369241181075151871L;
private String a;
public String getA() {
return a;
}
public void setA(Strin
浏览 3提问于2015-09-21得票数 1
回答已采纳
我一直试图使用Java在HDFS上创建和维护序列文件，而不运行MapReduce作业作为未来MapReduce作业的设置。我希望将MapReduce作业的所有输入数据存储在一个序列文件中，但是这些数据会在一天中随时间增加。问题是，如果存在SequenceFile，下面的调用将只是覆盖SequenceFile，而不是附加到它。
// fs and conf are set up for HDFS, not as a LocalFileSystem
seqWriter = SequenceFile.createWriter(fs, conf, new Path(hdfsPath),
浏览 2提问于2011-04-08得票数 4
我正在寻找一个例子，是使用新的API来读取和写入序列文件。
实际上，我需要知道如何使用这些函数。
createWriter(Configuration conf, org.apache.hadoop.io.SequenceFile.Writer.Option... opts)
旧的定义不适用于我：
SequenceFile.createWriter( fs, conf, path, key.getClass(), value.getClass());
同样，我需要知道读取序列文件的代码是什么，因为取消了折叠：
SequenceFile.Reader(fs, path, conf);
以下
浏览 3提问于2013-04-17得票数 18
回答已采纳
我尝试从HBase中读取数据并将其另存为sequenceFile，但是
java.io.IOException: Could not find a serializer for the Value class: 'org.apache.hadoop.hbase.client.Result'. Please ensure that the configuration 'io.serializations' is properly configured, if you're usingcustom serialization.
错误。
我看到了两个类似的帖子
浏览 6提问于2017-05-26得票数 1
我尝试使用这个过程：来导出我的Bigtable以进行迁移。
我使用的是Google Cloud Shell，它是从Google Cloud Platform仪表板开始的。这是Debian GNU/Linux 9.4 (stretch)。
java报告-version版本"1.8.0_171“
似乎还没有现成的jre (即apt-get中的)来进行扩展
我像这样调用：
java -jar bigtable-beam-import-1.3.0-shaded.jar export \
--runner=dataflow \
--project=xx-may23 \
--bigtableIns
浏览 0提问于2018-05-26得票数 2
当我在Centos 6.4中运行MapReduce jar时，出现了如下所示的错误。
适用于64位的Hadoop版本为2.6.0。
MapReduce失败，该如何解决？
Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.
at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.
浏览 3提问于2015-12-10得票数 1
我试着在下面的链接下运行Norstadt先生展示的一个矩阵乘法示例。我可以使用hadoop 0.20.2成功运行它，但我尝试使用hadoop 1.0.3运行它，但得到以下错误。是我的hadoop配置的问题，还是author.Also在Hadoop0.20中编写的代码的兼容性问题，请指导我，在这两种情况下，我如何修复这个错误。这是我得到的错误。
in thread "main" java.io.EOFException
at java.io.DataInputStream.readFully(DataInputStream.java:180)
at
浏览 0提问于2012-05-25得票数 3
回答已采纳
1回答
SparkContext定义了Writable与它们的原始类型(如LongWritable <-> Long、Text <-> String )之间的几个隐式转换。
测试用例1：
我使用下面的代码来组合小文件
@Test
def testCombineSmallFiles(): Unit = {
val path = "file:///d:/logs"
val rdd = sc.newAPIHadoopFile[LongWritable,Text, CombineTextInputFormat](path)
浏览 4提问于2017-07-03得票数 3
我想从客户端应用程序读取HDFS中的特定SequenceFile。我可以通过使用SequenceFile.Reader来做到这一点，而且它工作得很好。但是，是否也可以通过分析抛出的SequenceFile来检查文件是否是其他IOException呢？
浏览 5提问于2014-11-07得票数 2
回答已采纳
我在单个节点集群中运行Hadoop0.21.0来处理单个大的> 200 GB文件。为了减少执行时间，我尝试了不同的HDFS块大小(分别为128、256、512 MB、1、1.5和1.75GB)。但是，当使用块大小为>= 2 GB时，我得到了以下异常。
注意:我使用的是java-8-甲骨文。
2015-08-05 12:02:12,524 WARN org.apache.hadoop.mapred.Child: Exception running child : java.lang.IndexOutOfBoundsException
at org.apache.hadoop.fs.F
浏览 4提问于2015-08-05得票数 1
回答已采纳
1回答
我正在尝试读取Hadoop2.0中的序列文件，但我无法实现它。我正在使用下面的代码，它在Hadoop1.0中工作得很好。如果我遗漏了一些wrt 2.0，请告诉我
Configuration conf = new Configuration();
try {
FileSystem fs = FileSystem.get(conf);
Path p = new Path("/Users/xxx/git/xxx/src/test/cntr-20140527104344-r-00172");
SequenceFile.Reader reader = new SequenceFile.R
浏览 3提问于2014-05-29得票数 0
2回答
我正在尝试对输入数据执行k均值聚类算法，如下所示：然而，当将要执行map reduce作业时，我得到了错误
11/10/16 21:05:57 INFO mapred.JobClient: Task Id : attempt_201110161920_0008_m_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: org.apache.mahout.math.Vector
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.
浏览 13提问于2011-10-16得票数 0
回答已采纳
1回答
Hama BSP中的例外
、、、、
在实际运行BSP作业之前，我的hama在输入数据分区阶段抛出以下异常。我能知道这种异常的可能根源是什么吗？任何关于如何找出根本原因的建议都会受到欢迎。谢谢!
13/11/06 03:50:50 WARN snappy.LoadSnappy: Snappy native library not loaded
13/11/06 03:50:50 INFO sync.ZKSyncClient: Initializing ZK Sync Client
13/11/06 03:50:50 INFO sync.ZooKeeperSyncClientImpl: Start connecting to Zoo
浏览 3提问于2013-11-06得票数 1
回答已采纳
我在Hadoop作业中得到以下异常。我不能找出这个异常的原因。你能帮我解决这个错误吗？为什么我们会得到这个错误？
异常堆栈跟踪：
org.apache.hadoop.fs.BlockMissingException: Could not obtain block: blk_6488469967470272993_1110 file=/media/ephemeral0/hadoop-root/5614861051_themeToProductsPipe_F832FB7243E64F41892F20744AF6A0B7/part-00054
at org.apache.hadoop.hdf
浏览 4提问于2015-09-06得票数 0
我有一些由MapReduce输出的lzo压缩文件，它们将用于另一个工作。所有这些文件都被编入了索引，并且我已经将LzoTextInputFormat设置为输入格式类。
我的问题是：
在使用这些lzo文件时，如何处理记录/行边界？
记录/行可以被截断成两个相邻的压缩块。如果两个相邻的块在逻辑上拆分到不同的映射器中，则很难确定不完整的记录/行并将两部分合并。
有人能帮我吗？
浏览 3提问于2012-11-02得票数 0
回答已采纳
我试图将java对RDD存储为Hadoop序列文件，如下所示：
JavaPairRDD<ImmutableBytesWritable, Put> putRdd = ...
config.set("io.serializations","org.apache.hadoop.io.serializer.JavaSerialization,org.apache.hadoop.io.serializer.WritableSerialization");
putRdd.saveAsNewAPIHadoopFile(outputPath, ImmutableBy
浏览 2提问于2017-04-06得票数 1
回答已采纳
我使用Hadoop 2.2
我的代码创建了一个MapFile编写器，如下所示
Configuration conf = new Configuration();
Path path = new Path(filename);
writer = new MapFile.Writer(conf,path,
SequenceFile.Writer.keyClass(key.getClass()),
SequenceFile.Writer.valueClass(value.getClass()),
SequenceFile.Writer.compression(Se
浏览 1提问于2014-01-09得票数 0
我有一个猪脚本，其中包含一些计算繁重的部分；我想删除这些部分，并使用一些优化的MapReduce作业来运行它们。
我认为对于MapReduce作业来说，直接读写与Pig用于存储中间结果相同的数据格式将是完美的，以避免无用的转换。
我在考虑使用org.apache.pig.builtin.BinStorage存储函数来存储数据。
我的问题是，我不知道如何从MapReduce作业中读取该格式。
我尝试使用以下代码：
public class WordCount {
public static class Map extends MapReduceBase implements Mappe
浏览 0提问于2014-10-30得票数 0
我尝试了不同的方法来创建一个只有一个短(<100字节)的密钥和一个大的(>1 1GB)值(BytesWriteable)的大型Hadoop。
以下示例适用于开箱即用的情况：
写入多个随机长度的key和value，总大小大于3 3GB。
然而，这并不是我想要做的。因此，我使用hadoop 2.2.0API将其修改为类似于：
Path file = new Path("/input");
SequenceFile.Writer writer = SequenceFile.createWriter(conf,
SequenceFile
浏览 5提问于2014-06-10得票数 3
使用Mahout命令，我成功地在seq2sparse中创建了以下文件夹
df-count
dictionary.file-0
frequency.file-0
tf-vectors
tfidf-vectors
tokenized-documents
wordcount
在此之后，当我使用以下语法运行trainnb命令时
mahout trainnb -i tweet-vectors -el -li labelindex -o model -ow -c
我得到以下错误。有没有人知道同样的解决方案？
Exception in thread "main" java.lang.Ille
浏览 2提问于2013-09-15得票数 0
我写了一个代码，将文件保存到Hadoop的序列文件中。键是文件名，值是序列文件和.crc文件的file.The输出的字节数组
在那之后，我尝试从序列文件中读取，但是我得到了关于校验和的异常：
Exception in thread "main" org.apache.hadoop.fs.ChecksumException: Checksum error: file:/home/mosab/Desktop/output/ProcessWS/sequence.seq at 18873344
at org.apache.hadoop.fs.ChecksumFileSystem
浏览 10提问于2017-03-17得票数 0
在我的一个MapReduce任务中，我将BytesWritable覆盖为KeyBytesWritable，并将ByteWritable覆盖为ValueBytesWritable。然后我使用SequenceFileOutputFormat输出结果。
我的问题是，当我开始下一个MapReduce任务时，我想使用这个SequenceFile作为输入文件。那么我该如何设置作业类，以及Mapper类如何识别我之前覆盖的SequenceFile中的键和值呢？
我知道我可以通过SequenceFile.Reader来读取键和值。
Configuration config = new Configuratio
浏览 0提问于2013-03-03得票数 3
回答已采纳
1回答
我阅读了hadoop-1.0.4源代码中的SequenceFile.java。我还发现了sync(long)方法，该方法用于在SequenceFile中将SequenceFile拆分为文件拆分时，在MapReduce中查找“同步标记”(在文件创建时生成的16字节MapReduce)。
/** Seek to the next sync mark past a given position.*/
public synchronized void sync(long position) throws IOException {
if (position+SYNC_SIZE >= end)
浏览 5提问于2013-04-27得票数 1
回答已采纳
2回答
我还没有弄清楚这个错误消息是什么意思。我对HDFS和HBase也很陌生，所以这是问题的一部分。除了HDFS服务器空间不足的可能性外，可能导致此错误的原因是：
2014-06-13 12:55:33,164 WARN org.apache.hadoop.hbase.regionserver.wal.HLogSplitter:
Could not open hdfs://<OURSERVER>:8020/hbase/.logs/<HBASE_BOX>,60020,1402678303659-splitting/<HBASE_BOX>m%2C60020%2C14
浏览 0提问于2014-06-14得票数 0
我有一个SequenceFile，我想使用Pyspark将其转换为DataFrame。 为此，我使用以下代码： seq_file = sc.sequenceFile("products_sequencefile")
df = prod_seq.map(lambda a: str(a).split(",")).map(lambda a: (a[0],a[1],a[2],a[3],a[4],a[5],a[6])).toDF() 但是，它给我的输出包含一些带有'u： +--------+-------+---+--------------------+---
浏览 18提问于2020-12-12得票数 0
回答已采纳
HDFS和Hadoop中的Novell :我正在开发一个程序，它应该获取特定目录的所有文件，在那里我们可以找到几个任意类型的小文件。
获取每个文件并在压缩的SequenceFile中进行追加，其中键必须是文件的路径，而值必须是获得的文件，目前我的代码是：
import java.net.*;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.io.compress.
浏览 3提问于2015-04-16得票数 0
回答已采纳
我正在尝试运行一个简单的MapReduce作业来将数据导入到HBase中，但是它无法运行，下面是错误堆栈跟踪。
Exception in thread "main" java.io.IOException: Mkdirs failed to create /user/SOME_PATH/hbase-staging (exists=false, cwd=file:/Users/SOME_PATH/2ND_PATH/HFileIntoHBase)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSy
浏览 18提问于2017-06-02得票数 1
1回答
在hadoop中，我只是尝试使用这两种格式来评估配置单元查询的性能。当我对存储为文本文件的表进行查询时，我最终得到了比存储为序列文件的结果更早的结果。但它不应该是另一种方式吗？此外，仅供参考，我先将数据加载到文本文件表中，然后再将数据传输到SEQUENCEFILE表中。
create table text(acid int，value string，id int)以'~‘结尾的行格式分隔字段存储为TEXTFILE；
创建存储为SEQUENCEFILE的表seq(acid int，value string，id int)；
load data local inpath‘-’覆盖成表格文本
浏览 1提问于2013-06-26得票数 1
环境: Hadoop 0.20.2-cdh3u5
我正在尝试上传日志数据(10G)到硬盘文件系统的自定义工具，其中使用SequenceFile.Writer。
SequenceFile.Writer w = SequenceFile.createWriter(
hdfs,
conf,
p,
LongWritable.class,
Text.class,
4096,
hdfs
浏览 3提问于2012-09-24得票数 3
回答已采纳
1回答
我试着在Hadoop中使用to...figure这个例子。
什么是最好的文件格式Avro或SequenceFile，以防将图像存储在HDFS中，然后用Python处理它们？
SequenceFile是面向关键值的，所以我认为Avro文件会工作得更好吗？
浏览 2提问于2014-06-07得票数 1
回答已采纳
2回答
在我的用例中，我需要找到一种方法将键/值对附加到现有的序列文件中。该怎么做呢？任何线索都会很有帮助。我使用的是hadoop 2x。
另外，我还看到了下面的文档。有人能告诉我怎么用这个来追加吗？
公共静态类createWriter(FileContext fc，配置配置，路径名，类keyClass，org.apache.hadoop.io.SequenceFile.CompressionType valClass、Class compressionType、CompressionCodec编解码器、org.apache.hadoop.io.SequenceFile.Metadata元数据、Enu
浏览 4提问于2014-09-15得票数 1
1回答
Hadoop序列文件的压缩
、、、、
我有一些关于hadoop顺序文件的基本问题。
1)默认压缩编解码器在多大程度上压缩文件？
2)当我读取该文件并将其内容转储到文本文件时，我发现hadoop序列文件为100 MB，我观察到的文本文件大小约为1GB(可以吗？)
3)在读取序列文件时，"syncSeen()“和”seek(长位置)“的意义是什么？如果我在阅读时不使用这些电话，有什么问题吗？有关于如何使用这些方法的例子吗？
浏览 3提问于2011-11-29得票数 0
回答已采纳
我确实有很多图像文件，需要将它们存储在HDFS中，为了避免小文件问题，我计划使用序列文件来存储我的图像文件。
我的问题是，我需要创建一个只处理这些文件的MapReduce程序，我不认为从SequenceFile中读取所有图像内容是个好主意，如果我只打算处理其中的几个，那么还可以添加更多的图像，如果我为每一组图像创建一个新的SequenceFile，我如何知道哪个SequenceFile包含我需要处理的图像？如果我知道，在输入到mapper之前，手动过滤图像将是压倒性的。
请指点。谢谢!
浏览 2提问于2014-02-27得票数 0
回答已采纳
如何使用Python在Spark中读写压缩的SequenceFile。
我正在使用带有Python 2.7的CDH 5.12 Quickstart VM上的Spark 1.6
如下所示找到示例，但无法正常工作。
rdd.saveAsSequenceFile(<path location>, Some(classOf[compressionCodecClass]))
sparkContext.sequenceFile(<path location>, classOf[<class name>],
浏览 5提问于2018-04-24得票数 1
我有一个SequenceFile，它是由以前的MapReduce作业生成的。这个SequenceFile有N行，每一行都是一对键和值，都是文本对象。
line1: key1 \t value1
line2: key2 \t value2
line3: key3 \t value3
...
lineN: keyN \t valueN
我使用这个SequenceFile作为新MapReduce作业的输入。在这个新的MapReduce工作中，我希望每个映射器处理SequenceFile的几行，例如2行。
line1, line2 goes to mapper1
line3, line4 g
浏览 2提问于2018-06-12得票数 0
我有大量的数据存储在HDFS中，但单个文件非常小(KB)。所以MapReduce处理需要很长时间。
我可以减少处理时间吗？SequenceFile是个不错的选择吗？
请提供一些Java或MR代码来转换多个较小的文本文件为SequenceFile。
浏览 0提问于2013-06-10得票数 3
回答已采纳
我有一堆Hadoop SequenceFiles，它们都是用我编写的一些可写子类编写的。我们叫它FishWritable吧。
这个Writable工作了很长一段时间，直到我决定需要一个包重命名来澄清。因此，现在FishWritable的完全限定名是com.vertebrates.fishes.FishWritable而不是com.mammals.fishes.FishWritable。鉴于所涉一揽子计划的范围如何演变，这是一个合理的变化。
然后，我发现我的MapReduce作业都不会运行，因为它们在尝试初始化SequenceFileRecordReader时崩溃：
java.lang.Runt
浏览 3提问于2013-09-19得票数 6
回答已采纳
我试图在上运行Hadoop作业，以处理我们的压缩数据，该数据位于上。在尝试通过SequenceFileInputFormat读取数据时，我得到以下异常：
hadoop@hadoop-m:/home/salikeeno$ hadoop jar ${JAR} ${PROJECT} ${OUTPUT_TABLE}
14/08/21 19:56:00 INFO jaws.JawsApp: Using export bucket 'askbuckerthroughhadoop' as specified in 'mapred.bq.gcs.bucket'
14/08/21
浏览 3提问于2014-08-21得票数 2
回答已采纳
我使用--as-sequencefile选项将一个表从MySql导入到HDFS中。然后，我创建了一个带有STORED AS SEQUENCEFILE子句和LOCATION子句的Hive表，该子句指向存在Sqoop导入序列文件的HDFS位置。
Sqoop导入命令：
sqoop import --connect jdbc:mysql://sandbox.hortonworks.com:3306/hirw --username root --password hadoop --table stocks -m 2 --as-sequencefile --target-dir /user/root/o
浏览 6提问于2016-06-02得票数 0
我在HDFS中有一个SequenceFile，我想转换成一个数据帧并插入到一个表中。我在转换部分遇到了一些麻烦。 我有这样的代码： myseqFile = sc.sequenceFile("/user/sequencefile") 我得到了以下结构： (u' 10', u' 10,34,Center,Tatic') 我需要获取以下数据帧： 10,10,34,Center,Tatic 为此，我尝试使用以下代码： res=myseqFile .map(lambda x: tuple(x)).map(lambda x: str(x).split(&#
浏览 24提问于2020-11-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
