我在PostgreSQL DB中有数据，我想获取它，处理它并将其保存到HBase DB中。是否可以在Map操作中以某种方式分发JDBC操作？
浏览 1提问于2013-07-17得票数 2
回答已采纳
at org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:167) at org.apache.sqoop.mapreduce.db.DBInpu
浏览 0提问于2016-01-28得票数 0
我想要做的是为每个实体类型设置一个DBWritable的DBInputFormat，它将实体类型映射到组合的Avro类型。然后将每个DBInputFormat赋予类似MultipleInputs的值，这样我就可以创建一种复合输入格式。数据不断地添加到这些数据库表中，因此我需要能够为每个实体类型/dbtable配置DBInputFormat，以便只获取新数据并正确地进行拆分。基本上，我需要DBInputFormat或DataDrivenDBInputFormat的功能，但也有能力使它们的组合，类似于您可以做的路径和
浏览 0提问于2011-12-02得票数 1
回答已采纳
2回答
(DBInputFormat.java:167) at org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java(DBInputFormat.java:187)
13/1
浏览 6提问于2013-11-28得票数 0
1回答
: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
浏览 2提问于2015-03-26得票数 1
回答已采纳
at org.apache.sqoop.mapreduce.db.DBInputFormat.setDbConf(DBInputFormat.java:170) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)at org.apache.sqoop.mapreduc
浏览 0提问于2018-01-22得票数 0
1回答
执行sqoop作业时的运行时异常
、、、、
java.sql.SQLException: The Network Adapter could not establish the connection at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.javajava.sql.SQLException: The Network Adap
浏览 2提问于2015-10-08得票数 0
回答已采纳
现在，我正在使用带有域名列表的seed.txt文件来爬行，但是是否有一种方法可以让这个列表出现在DB中，就像我用Nutch设置的那样？
浏览 8提问于2016-12-05得票数 0
回答已采纳
INFO mapreduce.Job:任务Id : attempt_1577368744752_0394_m_000000_0状态:失败错误: org.apache.sqoop.mapreduce.db.DBInputFormat.setDbConf(DBInputFormat.java:170)：java.lang.RuntimeException: java.sql.SQLException:缓存JDBC通信链接失败:连接超时(连接超时)在org.apache.hadoop.util.ReflectionUtils.setConf)引起的: java.l
浏览 3提问于2020-01-02得票数 0
我是hadoop的新手，对它的map/reduce功能有一点了解，了解它的字数统计演示，但不了解hadoop map/reduce在数据库特定计算方面的实际使用。这是不正确的方式，如何映射/减少帮助我在一些计算或数据库特定的处理。谁能给我提供一个链接或一些指南，帮助我了解什么是最好的用法，以及我可以实现哪些senerio，以便更好地理解Hadoop map/reduce部分。
浏览 1提问于2013-02-14得票数 1
回答已采纳
sqlserver://MyDbServerAddr:1433;databaseName=ThisDb;integratedSecurity=true;"，"db_userName"，“db_Pws”；DBInputFormatjava.lang.ClassNotFoundException: com.microsoft.sqlserver.jdbc.SQLServerDriver
at org.apache.hadoop.mapreduce.lib.db.DBInputFormat.setC
浏览 1提问于2012-11-06得票数 2
: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:70: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
浏览 0提问于2013-04-15得票数 1
java.lang.RuntimeException：在org.apache.sqoop.mapreduce.db.DBInputFormat.setDbConf(DBInputFormat.java:170)
奇怪的是，即使我指定了一个映射器，并且按照Sqoop文档应该只生成一个到Oracle的连接，它也会出现。
浏览 0提问于2018-04-26得票数 0
回答已采纳
这听起来可能是个愚蠢的问题。我可能会编写一个MR代码，它可以将输入和输出作为HDFS的位置，然后我真的不需要担心hadoop/先生的并行计算能力(如果我错了，请纠正我)。
但是，如果我的输入不是HDFS位置，比如我将一个mongodb://localhost:27017/mongo_hadoop.messages数据作为输入--运行映射器和减法器，并将数据存储回mongodb，那么HDFS将如何进入画面。我的意思是，如何确保1GB或任何大小的大文件首先在HDFS上分发，然后在其上执行并行计算？是这个直接URI不会分发数据吗?我需要接受BSON文件，将它加载到HDFS上，然后将HDFS路径作为M
浏览 1提问于2014-10-23得票数 0
回答已采纳
我能够用DBInputFormat和DBOutputFormat成功地在一张先生的工作中成功地完成几张记录。当我将输入记录缩放到100+百万条记录时，job先生会挂起。对于包含大约百万条400+记录的庞大数据集，使用DBInputFormat和DBOutputFormat或使用HDFS作为数据源和目标，哪个选项更好。
浏览 0提问于2013-07-26得票数 0
回答已采纳
java.sql.SQLException: The Network Adapter could not establish the connection at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73
浏览 0提问于2015-10-08得票数 1
对于支持JDBC的数据库，Hadoop中有"DBInputFormat.java“和"DBConfiguration.java”文件，它们负责访问数据库并在用户定义的类中获取结果，该类扩展了DBWritable
浏览 12提问于2013-03-31得票数 1
我不想使用DBInputFormat。DBInputFormat不能使用MySQL表。
有什么问题吗？
浏览 0提问于2015-06-06得票数 0
2回答
at com.mysql.jdbc.StatementImpl.executeQuery(StatementImpl.java:1557) at cascading.jdbc.db.DBInputFormat.getRecordReader(DBInputFormat.java
浏览 0提问于2013-07-23得票数 1
回答已采纳
我听说like for mapreduce作业输入不需要在HDFS中。它可以位于其他文件系统上。有人能为我提供更多关于这方面的信息吗..
浏览 0提问于2012-01-19得票数 1
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
