1回答
我正在努力寻找执行实时复制的最佳方法。我不确定它是否能够实时复制整个服务器。Lsyncd可以复制一个目录。该文件服务器正在运行Samba，并使用LDAP对窗口用户进行身份验证。我想找到一种方法来实时复制2台服务器。如果另一台服务器死亡，其中一台服务器将充当替代服务器。
浏览 0提问于2017-04-27得票数 0
2回答
我正在着手签约，今天进行了我的第一轮面试，面试的是一个承包商的职位。我已经通过了它，但我被告知--我主要是一名UI开发人员--我只介绍了他们后端所需的基础知识，我应该在第二轮之前阅读有关分布式系统的知识。
到目前为止，在我的职业生涯中，我一直在post操作中工作，那里从来不需要实时。由于我只剩下几天的时间，我需要介绍哪些主题？首先能够回答他的问题，并且在分布式系统中通常被认为是足够的？
问题是如何在UI上近乎实时地显示数据？在后台需要做些什么？我已经提到了实时数据馈送的生产者/消费者模式。他喜欢它，但他说他在第二次面试时需要更多。
任何帮助都将不胜感激，
浏览 2提问于2011-02-17得票数 31
回答已采纳
2回答
我在一个博客上读到，它说
Hadoop是以批处理为中心的理想的发现、探索和分析大量不适合于表的多结构化数据，不适合于实时操作。
所以，任何人都可以帮助我，给出更好的解释，就像它不适合实时操作一样。TQ
浏览 8提问于2015-01-26得票数 1
回答已采纳
随着see在市场上的增长，我可以看到spark在Hadoop上的主要用例如下：
机器学习中的迭代算法
交互式数据挖掘与数据处理
Spark是一个完全兼容Apache的数据仓库系统，比Hive快100倍。
流处理:实时流中的日志处理和欺诈检测，用于警报、聚合和分析。
传感器数据处理:从多个源获取和连接数据，内存中的数据集非常有用，因为它们很容易。
而且处理得很快。
我的问题是：
火花会在未来几天取代Hadoop吗？
当火花并行运行时，Hadoop同时工作？(这是真的吗？)
浏览 0提问于2015-07-08得票数 3
回答已采纳
3回答
我是大数据技术的新手，我有一个关于hbase如何与hadoop集成的问题。"Hbase位于HDFS之上“是什么意思？我的理解是，HDFS是分布在多个节点上的结构化和非结构化数据的集合，而HBase是结构化数据。
如何将Hbase与Hadoop集成，以提供对底层数据的实时访问。我们必须编写特殊的作业来构建索引之类的吗？换句话说，Hbase和hdfs之间是否有一个额外的层，其中包含HBase所理解的结构中的数据。
浏览 8提问于2016-03-27得票数 1
回答已采纳
3回答
Druid用于实时处理和批处理。但它能完全取代hadoop吗？如果不是为什么？与德鲁伊相比，hadoop有什么优势？我读过德鲁伊和hadoop一起使用。那么，是否可以避免使用Hadoop呢？
浏览 3提问于2014-06-09得票数 10
回答已采纳
1回答
Storm框架应用程序
、、、、
我使用Hadoop构建了一个应用程序，用于在分布式环境中搜索相似的图像存储。但是Hadoop不支持实时处理，这就是响应时间长的原因。我知道Storm是另一个大数据分析应用程序框架。但我对我们是否可以使用Storm来实现这种应用程序感到困惑。
有没有人能给出一个有效使用Storm框架的应用程序的建议。
浏览 0提问于2015-10-07得票数 1
我遇到了一个奇怪的问题，自从我在一次大灾难后恢复了服务器上的所有内容后，这个问题就开始出现了。
我有两个存储库，一个叫做“默认”，另一个是实时网站。
当我在我的dev机器上进行本地更改时，我会提交这些更改并将其推送到默认存储库。然后，我通过SSH连接到服务器，将cd连接到实时网站存储库，并将更改从默认存储库拉到实时存储库。
问题是，当我推送变更集时，它们看起来可以正常运行，没有错误，hg serve窗口给出了通常通过它运行的命令的GET列表，但当我尝试从默认存储库中拉出时，它显示没有发现任何更改，如果我在默认存储库上运行hg summary，我认为已经推送到其中的变更集就不在那里。
你知道会出
浏览 1提问于2014-03-17得票数 0
2回答
我在班上学习过消息队列系统，但我仍然不明白这些消息队列系统在实时场景中是如何工作的？有没有能帮助我全面了解的教程？有人能给我解释一下这些系统是怎么工作的吗？
浏览 0提问于2013-04-15得票数 8
回答已采纳
我想问问我对卡夫卡的理解是否正确。
对于非常大的数据流来说，传统的数据库是不够的，所以人们使用Hadoop或Storm之类的东西。卡夫卡坐在上面所说的数据库，并提供...directions的实时数据应该去哪里？
浏览 11提问于2016-05-17得票数 23
回答已采纳
1回答
是否有可能使用Ubuntu实现高可用性的文件服务器？
我有四台机器，每台有8TB的空间，每台有4台2TB的硬盘。
在UbuntuCloud12.04中可以动态地管理存储空间吗？
我的要求是：
文件可用空间的8TB
我不需要实时故障恢复(10-20分钟的停机时间是可以的)。
一个很好的方法将是某种恢复文件的“时间机器”方式。
浏览 0提问于2012-04-20得票数 3
1回答
我正在尝试设置一个目录，该目录存储在本地(Linux)服务器上，并镜像到几台(windows)计算机上。
我看过像这样的选项，但考虑到正在处理的数据类型，即时同步到服务器是非常重要的。
我也考虑过NFS挂载(如sftp、webdav等)，但这些客户端需要实时数据，我不能承受任何网络连接问题。
完美的是两者的结合: NFS挂载(和“即时同步”)，只要网络正常，就有一个本地备用存储位置，以防出现网络问题。有什么想法吗？
浏览 2提问于2012-01-17得票数 3
回答已采纳
1回答
我正在做一个项目，我将积累实时的数据。我想定期将这些数据从我的本地计算机上传到HDFS。这里的频率将每隔几个小时。
我的想法是定期安排一个批处理文件在2小时后运行。
浏览 0提问于2013-08-07得票数 0
2回答
假设一个场景如下:假设您有一台中央计算机，它生成大量数据。这个数据必须经过一些处理，不幸的是，这比生成要花费的时间要长。为了使处理赶上实时，我们插入了更多的从计算机。
此外，我们必须考虑到奴隶中途退出网络的可能性，以及增加奴隶的可能性。中央计算机应该确保所有的工作都完成到它满意的程度，并且一个奴隶掉下来的工作被重新分配给另一个人。
主要的问题是:我应该用什么方法来实现这一点？
但也许以下这些会帮助我得出一个答案:我想要做的事情是否有一个名字或设计模式？
我需要哪些领域的知识才能达到让这些计算机相互交流的目标？(例如，我所了解的数据库是否足够，还是涉及到我尚未了解的套接字？)
有这种制度的例子吗
浏览 0提问于2013-01-02得票数 11
如果有人能解释一下Twitter和Apache之间的体系结构差异，那就太好了？我正在寻找一些内部材料以外的实时v/s批处理。由于这两种技术在编写Storm或map拓扑方面非常相似，在Hadoop上编写拓扑，Hadoop在任务跟踪器/作业跟踪器方面，在Hadoop分区和等效洗牌(随机、字段等)方面，这两种技术都是类似的。在Storm等方面(如果我说Storm在内部使用消息队列在喷口/螺栓之间传输数据，这不完全是Hadoop的情况，因为在Hadoop中创建了中间文件，因此涉及到I/O，对此我说对了吗？)
编辑：
我已经讨论了问题，但是被接受的答案使我想知道的不仅仅是用例，即实时v/s批处理。
浏览 5提问于2013-08-07得票数 5
1回答
对于每天必须处理至少"2-3 to“数据的业务用例，我在"Hadoop & Storm”上做了分析。
不用说，“Storm”看起来令人印象深刻，因为它在处理传入大数据方面的效率，但我不确定“Storm”是否有足够的能力处理“to”的数据，同时为我提供实时结果？
有谁能解释一下吗？
谢谢，加金德拉
浏览 0提问于2012-11-06得票数 0
回答已采纳
我正在搜索一个分布式实时计算系统，该系统将从kafka服务器收集数据，以便处理数据，然后将其存储在ElasticSearch中。我已经选择了其中的一些：
阿帕奇风暴
Apache火花流
和Logstash (更多地描述为ETL (提取、转换、加载))
我已经找到了几个教程比较风暴和星火流。然而，我没有发现任何教程将逻辑存储与风暴和火花流进行比较。这对我来说非常令人困惑，因为我已经熟悉logstash，但是我想确定我选择了适合我的需求的工具。
提前谢谢你
浏览 0提问于2016-07-11得票数 0
回答已采纳
3回答
高访问可扩展多媒体数据库
、、、
我想为我的系统选择合适的数据库提供一些建议。我在这里处理多媒体数据(图像、视频、音频、运动...)并且应该有大量用户访问我的数据库，例如50000个用户。
数据是从其他存储设备实时收集的，应该是可扩展的，以及可以访问系统的用户数量。
最初的想法是使用非SQL数据库，例如RIAK或Cassandra，以便于扩展，但我不确定在这种情况下使用多媒体数据库是否更好。而且我实际上没有使用非SQL数据库的经验。
浏览 2提问于2012-12-11得票数 0
回答已采纳
我为私有云部署Openstack。面临着选择存储文件系统的问题。物理服务器之间的实时迁移成功了。
配置: HP P2000 FC磁盘块和四个计算笔记，通过HBA FiberChanel连接到存储上的一个通用lun。
建议群集文件系统，而不使用iscsi、fcoe...等等。仅限FC。作为来自Vmware的VMFS ...
谢谢！
浏览 0提问于2013-08-29得票数 0
1回答
我有一个Ruby on Rails应用程序，用户可以上传视频，我正在寻找一个系统，用于将用户上传的视频转换为FLV格式。
目前我们使用的是FFMPEG，由于视频转换是一项繁重的任务，它似乎需要花费大量的时间和大量的CPU资源。
我们正在寻找是否可以使用map-reduce / Hadoop框架来实现视频转换，因为它是完全分布式的。
使用map-reduce进行视频实时转换是个不错的选择吗？如果是这样的话，如何实现呢？
注:每个视频文件大小约为50 - 60 MB。
浏览 2提问于2014-03-17得票数 1
我有一个实时聊天的应用程序。聊天是在客户端和服务器端(nodejs)使用Faye实现的。
现在，这个客户端聊天被用于rails应用程序，当我的页面重新加载/刷新时，我不想丢失在以下场景中可能发生的消息：
我重新加载页面
我从DB那里得到聊天记录
用户在聊天的另一边写5行
我呈现这一页
我丢失了5份最近的记录
我想听听你对解决这个问题的意见。我想到了一个类似于消息队列的消息队列，其中没有传递给客户端的消息将在那里等待，然后在页面通过javascript打开时被获取。
如果有人确认消息队列非常适合使用zeromq或在redis中实现简单队列，我还需要您的意见，因为我已经
浏览 2提问于2012-10-02得票数 1
回答已采纳
Apache Kafka:分布式消息传递系统
Apache Storm:实时消息处理
我们如何在实时数据管道中使用这两种技术来处理事件数据？
在实时数据管道方面，在我看来两者做的工作是一样的。我们如何在数据管道上使用这两种技术？
浏览 35提问于2014-02-16得票数 109
回答已采纳
3回答
我需要一些好的参考资料使用Hadoop的实时系统，如搜索与很少的响应时间。我知道hadoop有hdfs的开销，但是用hadoop做这件事的最好方法是什么？
浏览 0提问于2010-05-23得票数 3
我想知道当涉及到合并一个实时的(不断更新的) SVN respository和一个离线的(更新频率较低的)SVN respository时，人们通常会采取什么步骤，以我的场景为例：
不久前，我下载了BugTracker.NET系统，当时它的版本是3.2.3。随后，我对我们的业务代码进行了一些增强。我们使用SVN在源代码控制下开发这些工具。当然，核心BugTracker.NET代码仍在继续开发中。基本上，我希望将来自BugTracker.NET SourceForge存储库(我相信它也是SVN)的所有更新合并到我自己的内部存储库中。
在你看来，做这件事最好的方法是什么？
谢谢,
安迪
浏览 2提问于2010-04-16得票数 2
回答已采纳
2回答
Eclipse中的协作编程
、、、、
在Google Docs中，多个人可以实时编辑一个文件。我尝试了一下，发现响应时间有点慢。我想在Eclipse中做同样的事情。有可能吗？如果不是，那么有什么好的选择呢？
浏览 3提问于2011-11-14得票数 4
回答已采纳
我想存储大量的用户操作数据，比如喜欢、标签等(我有电子商务和文档管理的计划)。
对于数据点，我希望支持诸如
“爱X的用户喜欢Y，Z”推荐
“获取更多类似于X，Y的东西”聚类。
所谓生产准备，实时；我的意思是，我可以输入数据点，同时进行查询，服务器将自己处理回答查询和更新分数。
我在网上搜索过，提出的解决方案有以下两种：
数据挖掘库主要是面向学术的，适用于大型批处理操作，不适用于大型实时查询。
Hadoop/Mahout已经做好了生产准备，支持实时更新和查询，但是有一个陡峭的学习曲线，而且很难管理。
浏览 3提问于2011-12-14得票数 0
回答已采纳
在过去的几周里，我一直在使用Elasticsearch和Solr，并尝试实时地进行OLTP处理。然而，在我看来，他们声称(特别是ES)是实时的。对我来说，实时的含义看起来很模糊。
如果我们深入研究它，ES和Solr都定义了刷新率或软提交率，在刷新率或软提交率之后，新索引的文档将可用于搜索，从而有效地仅提供接近实时的功能。
它看起来像是实时搜索，它要么是一种营销声明，称之为实时，要么他们通过谈论实时搜索而不是批处理或分析处理来使这个词变得模糊。
我是否正确，或者如果我错了就纠正我，并且在典型的OLTP系统中可以进行实时搜索，其中每个事务都对最后一个文档具有搜索可见性？
浏览 2提问于2014-01-21得票数 4
我的java应用程序的两个实例部署在服务器中。其中一个实例将在任何一个点处于活动状态，另一个实例将处于备用状态。活动实例将从一些接收者接收一些数据，并进行一些处理。现在，如果我的活动实例由于某些错误而被关闭，备用将变成实时的。
在第一个实例中维护/收集的数据(map/list)是否可以以某种方式共享给第二个实例？
浏览 6提问于2017-06-28得票数 0
回答已采纳
我已经在我的集群上安装了hadoop 1.0.4，包括1个主服务器和3个从服务器，现在我想通过我的web应用程序访问我的HDFS文件系统，以存储和访问现有web应用程序的数据。
因为我的web应用程序当前使用MySQL作为数据库，所以我希望将其替换为HDFS。
那么，我可以使用什么来通过现有的web应用程序访问HDFS呢？
出于后端数据迁移的目的，我使用sqoop和flume，但我希望与HDFS进行实时应用程序同步。因为我保存的网页应该直接去HDFS和我想要的搜索应该直接从HDFS。
请提个建议。
提前谢谢。
浏览 0提问于2013-03-23得票数 1
回答已采纳
2回答
我们有一些运行WinXP的数据收集机器。写入新文件后，我们希望立即将新文件自动复制到网络存储( NetApp CIFS共享)。
我们需要生成实时或接近实时的副本(文件句柄上的复制就可以了--这些不是长时间运行的系统日志)。到目前为止，我发现了两个商业应用程序: MirrorFile和IBM的Tivoli。是否有任何可靠的开源程序或简单的方法可以让影子拷贝做类似的事情？
如果它作为一项服务运行，则奖励积分。
浏览 0提问于2010-10-15得票数 1
回答已采纳
1回答
从MT4导入实时外汇引号到C++
、、、、
是否有方法将实时数据引号从MetaTrader Terminal MT4导入到外部C++程序？
或者是否可以通过C++通信在DDE中读取Excel单元格？
提前感谢
浏览 1提问于2015-12-08得票数 1
回答已采纳
Quickfix (一个开源的修复引擎)在服务器的文件系统(本例中是Linux)中持久化状态信息并发送/接收消息。对于灾难恢复，我希望这些文件能够在WAN上的备用服务器上实时更新，这样说备用可以启动并知道系统的状态。
持久化文件是人工可解析的文本，合并后的文件很少超过一天中积累的千兆字节。他们每天晚上都被清洗。
我希望在第三台服务器上没有远程共享文件系统的情况下，直接实现同步。我还需要这些文件，以生存彻底和突然破坏的主服务器。
Rsync太慢，不够接近，无法实时使用。DRBD似乎是一种替代方案，但我希望对替代方法进行评估。
在DRBD和rsync之外做这样的事情有哪些选择？
浏览 0提问于2010-12-09得票数 2
回答已采纳
我正在开发一个web应用程序(Range2和Asp.net web )，当另一个用户创建某个任务时(数据库中的任务表上的一个条目)，该应用程序将被通知给用户。通知可以类似于Facebook通知。
什么技术可以用来实现这一实时通知？我是新的实时应用程序，所以请帮助我选择正确的道路。
浏览 4提问于2016-05-11得票数 0
3回答
我没有太多使用Kafka/ Spark-Streaming的经验，但我读过很多关于组合在为分析/仪表板构建实时系统方面有多棒的文章。有人能给我解释一下为什么spark-streaming不能单独完成吗？换句话说，为什么Kafka在数据源和spark-streaming之间？
谢谢
浏览 1提问于2016-01-11得票数 1
1回答
大数据平台究竟在哪里适合于数据科学/机器学习项目？
假设我有一个二进制分类问题的大数据集-猫和狗。
现在我需要创建一个实时分类模型。
这是我的问题。
1由于dataset是巨大的，我可以使用任何分布式平台来更快地计算和创建模型，对吗？
2一旦模型准备就绪，就不需要这些分布式平台了，对吗？或者需要它们来进行特征提取？
浏览 0提问于2017-03-09得票数 3
我正在尝试使用MS graph在SharePoint上获得更新。 我正在使用以下接口订阅 POST https://graph.microsoft.com/v1.0/subscriptions
Content-type: application/json
{
"changeType": "updated",
"notificationUrl": "https://<hostname>/api/send/myNotifyClient",
"resource": "<Do
浏览 8提问于2020-06-10得票数 2
回答已采纳
1回答
我一直在阅读这个主题，但找不到正确的信息，我们一直在使用诸如Twitter流、Datasift和其他数据推送服务。我想了解的是下面的服务是如何工作的，
每秒收到的tweet数量非常多。
许多人连接指定他们想要接收tweet的关键字，这些可能是复杂的布尔查询。
根据所有这些布尔查询对所有tweet进行实时检查，然后将数据流到正确的连接。
任何指向所使用的体系结构类型的指针都会有帮助。
浏览 0提问于2013-10-06得票数 0
4回答
我分别找到了分布式系统和分布式计算的以下定义：
分布式系统：与互连网络相连的独立计算机的集合。
分布式计算：计算机处理的一种方法，其中一个计算机程序的不同部分在两个或多个通过网络相互通信的计算机上运行。
然而，我不清楚这两者之间的区别是什么。分布式系统和分布式计算有什么区别？
浏览 9提问于2017-09-28得票数 10
根据
Cassandra所寻求的解决方案与Hadoop略有不同。Cassandra擅长高容量实时事务处理，而Hadoop擅长于更多面向批处理的分析解决方案。。
Cassandra和Hadoop的体系结构/实现有什么不同，这是造成这种用法差异的原因。(非专业软件专业术语)
浏览 4提问于2012-11-12得票数 4
回答已采纳
我无法找出两者之间的根本区别。我只能举出一些例子：
decentralized.Web BitTorrent是一个分布式p2p系统，但ToR是分布式web服务，但我想不出分布式web服务。(也许是散居国外？)
浏览 7提问于2011-03-04得票数 1
1回答
我为我的无知事先道歉，我刚开始编程。
您能为GUI框架设置正确的路径吗？考虑到我普遍缺乏专业知识，看相当令人望而生畏。
摘要：
我正试图在python中编写一个GUI，它可以主动地用numpy生成的图像更新第二个监视器。GUI将具有可实时调整的参数，从而相应地改变图像(光的干涉图案)。
的重要标准：
屏幕上调整参数实时改变干扰方向
与numpy、matplotlib (或易于绘图)兼容
二级标准：
对对工业编程感兴趣的初学者来说是有用的/灵活的框架
双监视器支持(如果推送被推入，我只需更新窗口中的图像并将窗口移动到第二个监视器)。
作为一个附带的项目，我想写一个股票
浏览 5提问于2014-10-08得票数 2
回答已采纳
1回答
您知道哪些开源java项目是高性能的还是实时的？我试着在github或google上找到它们，但是找不到合适的。
我想从这个项目中学习，所以在我的面试中不会是新手;)
到目前为止，我将坚持播放框架项目。有没有更好的选择？
我见过可能重复，但我正在寻找一个非常需要负载的应用程序。德意志银行的人写道。
浏览 0提问于2013-04-11得票数 2
回答已采纳
1回答
我想使用SqlCacheDependency实时更新数据集，但我们还没有启用生产数据库中的service。启用服务中介是否会产生任何不良影响(性能、可靠性等)？
浏览 0提问于2013-03-11得票数 5
1回答
我正在学习有关分布式查询的知识，并使用Server 2008进行实践。
我通过OPENROWSET语句成功地从链接服务器获得数据。
现在，我想在事务中包装一些数据修改语句，并在链接服务器上执行。我该怎么做？此事务与本地服务器上的事务相同吗？
此外，我如何实现安全设置，以防止某人获得密码登录到链接服务器？密码是sp_addlinkedsrvlogin过程的参数。
浏览 2提问于2011-11-19得票数 0
我需要加载一个具有多个房间和频道的聊天工具，它将测试来自所有房间多个位置的数千名用户的总体负载，在至少一个房间(数百个用户)中实时实时聊天和同时使用侧栏/1:1聊天。来自单个位置的所有用户都不会被视为有效的测试。
任何人都知道一个工具或工具集可以帮助我完成这一任务。我们目前使用的是Visual的本机自动化工具jmeter和Selenium。
浏览 0提问于2018-10-11得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
