3回答
我正在构建一个完整的“横向扩展”解决方案，为我们的客户提供深入的实时分析。我希望每个会话长达4分钟，并在4分钟内触发大约20个事件。我会记录开始日期、结束日期，以及会话期间的一些计数器(例如点击数)。这大约是每秒8000次插入。我考虑过Hadoop</em
浏览 3提问于2011-11-21得票数 2
2回答
目前，我们已经有了基于mysql的分析。我们每隔15分钟读取日志，对其进行处理并添加到mysql数据库中。随着我们的数据不断增长(在一种情况下，到目前为止增加了900万行&每月增加50万行)，我们计划将分析转移到无sql数据库。根据我的研究，Hadoop似乎更适合我们处理日志&它可以处理非常大的数据集。
然而，如果我能从专家那里得到一些建议，那就太好了。
浏览 0提问于2014-04-12得票数 0
目前，我们存储了大量的日志(30g/天的x3机器= av。100G)的文件服务器。日志已压缩。搜索日志实际工具是搜索相应的日志(根据timerange)，将它们复制到本地，解压缩，然后在xml中搜索信息和显示。我们正在研究制作一个类似spunk的工具来搜索日志的可能性(它是消息总线的输出:xml-发送到其他系统的消息)。
依赖于一个类似mongo
浏览 0提问于2013-01-25得票数 2
回答已采纳
2回答
我们有一个盒子，每天有to的数据(10-20TB)，驱动器上的每个文件都在to到to的任何地方。
我们希望将所有这些文件发送到一组“披萨盒”，在那里他们将消费和处理这些文件。除了distcp (hadoop)之外，我似乎找不到任何构建来处理如此大量的数据的东西。Robocopy/etc不能这样做。有谁知道一个解决方案，可以处理这种类型的委托(在披萨盒之间分担工作)，并具有可靠的文件传输？
浏览 1提问于2010-10-06得票数 1
我需要建立一个日志收集系统。1、作为前端开发人员，我是否可以花费一定的时间(例如，一周)来完成简单的构建而不需要服务端的基础？2、我可以使用nodejs、mongodb和其他技术栈来构建日志系统吗？
浏览 4提问于2022-09-05得票数 0
回答已采纳
1回答
我正在尝试分析我的应用程序，看看我是否可以重现。我将-D mapred.task.profile=true添加到命令行中，并签入了所需的作业配置。Hadoop<
浏览 1提问于2013-05-08得票数 6
我有一个Postgres数据库，用于生产服务器，需要定期使用Hadoop进行分析。在Hadoop中进行的每一个查询都应该基于Postges数据库中可能的最新版本。不同步是可以接受的，但只能延迟几分钟。
如何在Hadoop中进行近乎实时的数据分析？
浏览 4提问于2015-05-19得票数 2
回答已采纳
1回答
如何创建内部漏斗分析？
、、、、
我想建立内部漏斗分析基础设施。所有用户活动提要信息都将写入所选择的数据库/ DW，然后，当我动态定义漏斗时，我希望能够为漏斗中的每个阶段选择会话计数。
我在任何地方都找不到创造这种东西的例子。有些人说我应该使用Hadoop和MapReduce来实现这一点，但是我在网上找不到任何例子。
浏览 1提问于2014-01-31得票数 1
回答已采纳
我是Hadoop的新手，如果我的问题太不成熟，我深表歉意。但是，在基于Hadoop的数据库中是如何工作的呢？在客户端，如果请求特定的<
浏览 2提问于2015-12-23得票数 0
2回答
应用洞察日志分析
、、、、
我有应用程序洞察的事件日志，其中事件被记录并作为json存储在存储在blob存储中的文本文件中。我需要找到符合标准的customProperty。点击次数非常少(约10或20)，但是记录的数据非常大。我在微软的文档中读到，HDInsights理解blob存储，而且效率很高。这与我的设想有关系吗？如果是的话，谁能提供一些起点。
浏览 7提问于2016-06-10得票数 0
回答已采纳
2回答
我想知道hadoop如何帮助用户数据跟踪。例如，我有一个电子商务应用程序，我希望记录客户执行的每一个活动，例如查看项、添加到购物车或购买项目。是否有使用hadoop记录事件的示例或最佳实践。我之所以想使用hadoop，是因为它的高可用性和可伸缩性，而且记录的数据也将从GBs增长到TBs。还是我错了？因为日志记录应该独立于hadoop，以后对日志数据的分析可以用hadoop<
浏览 3提问于2014-04-11得票数 1
回答已采纳
2回答
日志文件如下所示：--此日志中的具体示例：
User1234有一个reminder --这个reminder有一个id=131235467，在此之后，他用以下data创建了一个order：在这个例子中，{items:[是相同的，所以我想总结一下<code>d15<//code>*amount -&
浏览 4提问于2013-03-11得票数 6
1回答
我有来自Hadoop的日志文件，我想分析这些大文件以生成报告，所以我正在寻找一个方便的工具来分析这些文件。请介绍用于分析这些文件的工具。
浏览 16提问于2016-08-13得票数 0
我有十个服务器，每个服务器每天都会产生大约3G日志文件。我已经完成了hadoop教程，并在每台机器上安装了每个hadoop (HDFS)。我想要使用map-reduce来分析这些日志。我的问题是如何在hadoop中启用MP的每日日志？目前，对于服务器A，我手动将日志文件复制到HDFS目录：
>hadoop fs -put local_log_path /A/log_20
浏览 28提问于2017-02-20得票数 0
回答已采纳
2回答
我们可以只使用Hadoop进行日志记录，还是只使用Hadoop进行报告？因此，我可以尝试不同的东西，比如使用脚本进行日志记录和使用Hadoop进行报告。
浏览 3提问于2011-12-05得票数 0
我现在有一个Hadoop集群，在这里我存储了大量的日志，我在其中运行用于计算聚合分析的猪脚本。我还拥有一个Mongo集群，在这里存储生产数据。我最近被安置在一个职位上，我需要做很多一次性的分析查询，或者让其他人也能做。这些查询经常需要同时使用生产数据和日志数据，因此无论我使用什么，我都希望将所有内容放在一个地方。我的日志数据在json中，大约是我的prod数据的10倍。HBase
浏览 4提问于2013-05-15得票数 2
有没有可以在Linux或Windows机器上本地模拟完整集群的Hadoop框架？DFS可以在本地复制数据，而计算层将进行并行执行？有没有这样或类似的框架？
浏览 3提问于2011-11-28得票数 1
回答已采纳
我是Hadoop的新手，我用一个节点执行POC。这是第二次发生这种情况，而且不知道如何解决。资源管理器进行了相应的配置(10 is内存，2核)，但不知道会发生什么。[root@hadoop01 /]# hadoop versionSubversion git@github.com:hortonworks/hadoop.git/hadoop-common-2.6.0.2.
浏览 1提问于2015-07-15得票数 0
回答已采纳
3回答
实施大规模日志文件分析
、、、
有没有人能给我一个参考资料，或者提供一个像Facebook，Yahoo，Google等这样的公司是如何执行大规模(例如数TB范围)日志分析的，这些公司是如何进行运营分析的，特别是web分析？特别关注web分析，我对两个密切相关的方面感兴趣:查询性能和数据存储。
我知道一般的方法是使用map reduce将每个查询分布在一个集群上(例如使用Hadoop)。但是，最有效的存储格式是什么
浏览 3提问于2009-04-27得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
