1回答
我正在尝试从维基数据转储中提取与中介语相关的文章。在互联网上搜索后，我发现有一个名为的工具可以帮助处理这些类型的数据。但是没有关于如何找到不同语言的相关文章的信息。例如，英语中的文章：与意大利语中的文章：相关。我的意思是第二个是第一个的翻译版本。我试着使用这个工具包，但我找不到任何解决方案。请写一些关于如何找到这篇相关文章的例子。
浏览 12提问于2018-01-23得票数 1
7回答
维基百科文本下载
、、、
我希望为我的大学项目下载完整的维基百科文本。我是否必须编写自己的爬行器才能下载它，或者维基百科的公共数据集可以在线获得？
为了给你一些我的项目的概述，我想找出我感兴趣的几篇文章中的有趣的单词。但是为了找到这些有趣的单词，我计划使用tf/idf来计算每个单词的词频，并挑选频率较高的单词。但要计算tf，我需要知道整个维基百科中出现的总次数。
如何做到这一点？
浏览 8提问于2010-04-21得票数 27
回答已采纳
3回答
如何下载维基百科图片转储
、、、、
我正在尝试制作离线版本的维基百科。但问题是我无法下载维基百科的图片转储。他们所提供的都是只有元图像信息的SQL，任何地方都没有动作图像。
另外，我正在使用维基百科在本地服务器上运行维基百科。任何帮助如何下载图像或是否有其他方法下载图像/内容在本地。
浏览 16提问于2018-04-09得票数 1
1回答
我想从维基百科加载数据，以便在Hadoop中完成一些任务。我找到了一些链接：，。但我不确定它将以何种形式存在，以及如何处理它。那么，问题是，有谁知道是否可以在一个或多个txt文件中下载wikipedia？
浏览 4提问于2016-04-17得票数 1
回答已采纳
我想做一个大型的SQL Server数据库来比较全文搜索和Solr的索引速度。我该怎么做呢？
您有任何比较结果或其他建议吗？
浏览 1提问于2012-02-12得票数 0
回答已采纳
3回答
我需要一个巨大的自然文本文件的机器学习和维基百科转储是伟大的这一目的。那么，如果没有xml标记(仅仅是内容)，我如何以某种语言(非英语)下载几个gb的文本呢？
浏览 10提问于2016-05-30得票数 0
回答已采纳
2回答
我想要计算特定语言的wiki转储中的实体/类别。对于初学者来说，官方文档很难找到/遵循。到目前为止，我所理解的是，我可以下载一个XML转储(从所有可用的不同文件中下载什么)，并解析它(?)统计实体(文章主题)和类别。 这些信息，如果有的话，很难找到。请帮助我提供一些关于如何使用它的说明，或者我可以了解它的资源。 谢谢!
浏览 77提问于2020-07-22得票数 1
2回答
来自转储的维基百科类别层次结构
、、、、
使用维基百科的转储，我想为它的类别建立一个层次结构。我已经下载了主转储文件(enwiki-latest-pages-文章)和类别SQL转储文件(enwiki-latest- category )。但是我找不到层次结构信息。
例如，SQL类别的转储具有每个类别的条目，但我找不到任何关于它们之间如何关联的内容。
另一个转储(最新页面-文章)以无序的方式显示每个页面的父类别。它只说明了所有的父母。
我见过wikiprep的类别层次结构()...它是如何构造的？Wikiprep列出了类别ID，而不是它的名称。有没有办法获得每个ID的名称？
浏览 5提问于2013-07-03得票数 14
回答已采纳
3回答
我想在我的项目中使用维基百科转储。以下是我的项目所需的信息。
对于维基百科的条目，我想知道是哪种语言包含了这个页面？
我想要一个csv或其他通用格式的可下载数据。
有办法获取这些数据吗？
谢谢Bala
浏览 3提问于2010-09-13得票数 2
回答已采纳
我正在尝试下载维基百科的图片转储放到我本地的MediaWiki中。请问下载的地方在哪里？
在谷歌搜索之后，我没有看到任何简单的答案。如果有一种方法只获取这些图像的缩略图转储，那也是很好的。
浏览 0提问于2013-06-07得票数 1
2回答
我将道歉，因为我是SQL的新手。
我想避免爬取维基百科，所以我开始寻找其他的方法。DBPedia似乎是一个可行的解决方案，但在寻找了一个小时后，我又回到了维基百科的转储上。
我的问题是如何在转储中找到我想要的东西？我需要哪些转储来查找特定的信息？那里有很多转储，它们对结构的不同部分有贡献。我是否需要下载所有这些数据才能获得100兆字节的数据？
我研究过Mediawiki数据库结构，但没有多大帮助。
以前有没有人做过这样的事情？我特别感兴趣的是wiki做的关于运动员之类的表格。有没有办法跟踪哪些特定维基转储中的信息或链接相关信息？
编辑:我正在努力获取所有运动项目的运动员名单，包括姓名、年龄、运
浏览 1提问于2012-08-24得票数 0
回答已采纳
2回答
我正在尝试理解JWPL( API )。
要实例化维基百科对象，我需要一个DatabaseConfiguration。请看下面的代码。
// configure the database connection parameters
DatabaseConfiguration dbConfig = new DatabaseConfiguration();
dbConfig.setHost("SERVER_URL");
dbConfig.setDatabase("DATABASE");
dbConfig.setUser("USER");
dbConf
浏览 2提问于2014-12-19得票数 0
回答已采纳
1回答
我想比较dbpedia 2015-10数据集()与原始维基百科的来源。他们提供的链接()目前无法访问。有人知道如何获取原始数据吗？
浏览 3提问于2016-04-22得票数 0
回答已采纳
1回答
我已经设置了一个本地的mediawiki实例。它运行得很好。现在我要把整个维基百科放在本地。
我找到了这个转储：
我应该下载哪些文件？
下载后，如何设置将数据推送到mediawiki？
我使用：在我的AWS实例上设置MediaWiki。
我的最终目标是从我的AWS实例中使用Wikipedia搜索API，而不是公共可用的端点。
浏览 0提问于2017-05-30得票数 0
1回答
我正在学习数据挖掘。我的梦想是开发一个系统，它接收一个小文本(几个句子)，并提供一本字典，其中包含文本中的短语和数据库中最相关的标签。例如,
输出：
"LOS ANGELES" : [USA, California, Los_Angeles, city],
"The Walt Disney Company": [Walt_Disney, Corporation, USA, movies, entertainment],
"childhood obesity" : [childhood, illness, health],
"all
浏览 3提问于2012-06-06得票数 1
我正在查询每个维基百科页面的所有修订历史。我从链接下载了主命名空间中页面标题列表的维基转储。然而，我下载的转储中似乎有超过12,000,000个标题，这比维基百科报告的()多得多。谁能告诉我这是怎么回事？我是否使用了正确的转储？
我询问的原因是，如果我查询提供文章标题的历史记录，似乎需要几百天才能获得所有修订历史记录。因此，如果有任何更好的方法来提取修订历史，它也将非常有帮助。
浏览 0提问于2017-08-23得票数 0
我们可以使用Wikipedia API中的functions从Wikipedia中获取一些结果。
例如：
**import Wikipedia
print(Wikipedia.search("Bill", results=2)).**
我的问题是，如何将Wikipedia API函数用于特定版本的维基百科(例如，仅维基百科2017)?!！
浏览 0提问于2020-04-11得票数 0
我有一个JSON文件(test2.json)，其数据如下所示：
{"index":{"_index":"wiki","_type":"data","_id":1},
"mappings": {
"doc": {
"properties": {
"curr": {"type": "text"},
"n": {"type": "integer
浏览 3提问于2019-01-23得票数 0
回答已采纳
我的网络搜索没有发现任何有用的东西，也许还没有人这样做。虽然我已经完成了一些处理自由基转储和使用rdf和arangodb的工作，但我的经验仍然非常有限，我想听听关于这个主题的意见/建议/经验。
有几件事我很好奇：
有没有人将一个自由库转储导入ArangoDb？
有什么工具可以帮助完成这一任务吗？
手工操作的策略是什么？
或者这只是个坏主意而不应该做呢？
我期待的一些挑战是：
rdf数据(afaik)中没有订单保证。假设我对某个人感兴趣，而/people/person实例引用的一些信息出现在转储者之前--那么我必须第二次在转储中找到这些引用的信息
在存储数据方面，
浏览 0提问于2014-11-24得票数 5
3回答
我建立了一个应用程序，让你选择你喜欢的主题，这些主题应该在数据库中。
有数百万个“赞”！(披萨，PHP，曼彻斯特联队，任何电影..我不知道)，所以我决定将这些“赞”插入到我的维基百科数据库中。
那么，有一种方法可以获得所有的“赞”(使用api我有一个限制[我想每次搜索500个)？或者另一种解决方案？
非常感谢。
浏览 3提问于2010-12-09得票数 1
回答已采纳
我想获取所有实例的Wikipedia描述，并将其保存到我的数据库中。
它需要两个API调用-一个用于获取中间，另一个用于获取wiki描述。可以将这两个查询合并到一个查询中吗？
提前谢谢。
浏览 4提问于2014-02-27得票数 0
回答已采纳
2回答
我想做一个mysql数据库与每个维基百科文章id和它的类别id (最一般的类别)。我看到维基百科给出了一个完整的转储，还有一些人喜欢类别之间的链接。我还看到有mediawiki，但我无法找到要发送的正确查询。
但尽管如此，我还是找不到如何转储一个包含文章id和类别id的大文件。我怎么发动汽车呢？我应该期待多少数据？
浏览 0提问于2013-05-14得票数 1
回答已采纳
7回答
我如何获取维基百科页面的子集(比如100MB)？我发现您可以获得整个数据集作为XML，但它更像是1或2 as；我不需要那么多。
我想尝试实现一个map-reduce算法。
话虽如此，如果我能从任何地方找到价值100兆的文本样本数据，那也是很好的。例如，Stack Overflow数据库，如果它可用，可能是一个很好的大小。我乐于接受大家的建议。
编辑:有没有不是torrents的？我不能在工作中拿到这些。
浏览 0提问于2009-08-24得票数 4
回答已采纳
我想处理维基百科的转储文件。在其他意义上，我想提取标题，类别和每篇文章的文本内容。我想问的是，有没有java api/工具可以帮助我做到这一点。提前感谢
浏览 1提问于2012-02-16得票数 4
我是专门为英文版维基百科(enwiki)发言的。我在其他轻量级版本的维基百科上尝试过，通过下载sql dump(分类链接、页面、page_prop)，但在英文版本中，这并不容易。我正在将数据从sql文件写入到数据库中，但我想要其他更简单的方法，因为这将需要大量的时间。如果我真的成功地写入了数据，那么查询可能会花费很长时间。那么，我如何才能从英文维基百科中整理出文章及其类别的列表呢？
浏览 0提问于2017-11-10得票数 0
我想知道是否有一个网站(或编程方法)来获得每周编辑统计数据的给定维基百科网页。我知道我可以在这里获得维基百科的文章流量统计：，但我不知道维基百科是否以同样的方式记录编辑统计信息。
我已经找到了这个网页，它生成了一个按周编辑网页历史的图表：。有没有办法去刮这个图，或者找出这个图是从哪里得到它的统计数据？
浏览 6提问于2016-10-16得票数 0
是否有一种简单的方法可以导出维基百科的翻译标题，以获得这样的设置：
russian_title -> english_title
我试着从上得到一个，但是只有不到25000个翻译。
我发现有些人不在场。例如，人们可以看到到英语wiki 的链接，但转储中没有链接[[en:Yandex]]。
也许我应该尝试解析英语维基百科，但我相信有一个更好的解决方案。
顺便说一句，我正在使用 +试图用grep查找en:Yandex。
UPD:链接到@svick的解决方案数据：语言代码wiki/
浏览 2提问于2014-01-08得票数 4
回答已采纳
4回答
有什么方法可以获取维基百科页面的主要描述吗？
就像在中
我想要得到：
Radiohead是一支来自牛津郡阿宾登的英国另类摇滚乐队，成立于1985年。乐队成员包括索姆·约克(主唱、节奏吉他、钢琴、节拍)、乔尼·格林伍德(主吉他、键盘和其他乐器)、埃德·奥布莱恩(吉他、伴唱)、科林·格林伍德(贝斯吉他、合成器)和菲尔·塞尔维(鼓、打击乐)。..。Radiohead的作品出现在大量听众投票和评论家的名单中。2例如，在2005年，Radiohead在“滚石”杂志的“有史以来最伟大的艺术家”.4排行榜中名列第73位，而乐队早期的专辑对英国摇滚和流行音乐特别有影响力，5他们后来的专辑为他们带来了广泛的听众
浏览 0提问于2010-02-20得票数 0
回答已采纳
我必须从wikimedia数据库执行备份，然后将数据导入postgresql。我在谷歌上搜索了一下，但没有找到解决方案。
我在这里并不是在寻求解决方案。我只想知道如何从wikimedia复制数据并将其导入postgresql。当然，数据将是xml格式的。
我知道这可能是一个错误的问题，但是尝试的时候有什么问题呢？
浏览 3提问于2014-01-17得票数 3
1回答
维基百科删除日志下载
、、、、
我需要我的项目维基百科删除日志。我在这里找到了删除日志
http://en.wikipedia.org/w/index.php?title=Special:Log&type=delete&user=&page=&year=&month=-1&tagfilter=&hide_review_log=1
我可以一次下载5000个条目，但这将花费大量的时间，因为页面数量很大。有没有可用的垃圾场？
谢谢
巴拉
浏览 2提问于2011-01-11得票数 0
回答已采纳
首先:我使用的是新的Mac Book，运行的是El Capitan 10.11.3，我刚刚下载了最新的Hadoop (2.6.0)。
我正在尝试使用Cloud9从维基百科转储中的一堆页面中提取主要文章文本。基本上，他们告诉您如何做到这一点，这是他们在文档页面上的第二个“快速而肮脏”的示例：
我下载了所有内容，并在我的终端中输入了相同的命令：
hadoop jar target/cloud9-2.0.2-SNAPSHOT-fatjar.jar edu.umd.cloud9.collection.wikipedia.DumpWikipediaToPlainText \ -input /wiki-s
浏览 0提问于2016-03-03得票数 0
2回答
我试图使用维基百科API来获取所有页面上的所有链接。目前我正在使用
但这似乎不是从第一篇文章开始，到最后一篇文章结束。我怎样才能让它生成所有的页面和它们的链接？
浏览 2提问于2017-03-23得票数 2
回答已采纳
2回答
我知道我可以完全下载维基百科。但是我想知道有没有办法按类别下载它？他们有页面，但编写一个类别(例如，文化)会添加子页面和另一组类别，所以尝试获取所有的文化页面将花费“永远”，因为当你提交另一个文化的子类别时，另一个会出现。你们知道有什么其他方法可以按类别导出吗？(用一种简单的方式)
浏览 0提问于2012-01-30得票数 4
回答已采纳
我已经填充了一个数据存储，并让webapp2提供一些图形，以便在我转到已部署的appspot站点时显示数据。但是，出于开发目的，我希望能够针对相同的数据在本地运行Google App Engine的实例。我已经阅读了关于备份和恢复()的谷歌文档，但它似乎没有提供任何将种子数据填充到本地实例的选项。
是否有人知道如何从已部署的数据存储导出数据并将其导入本地版本，或者如何将webapp2的本地实例指向已部署的数据存储以进行只读事务？
浏览 0提问于2014-11-14得票数 0
我正在开发一个Rails 3应用程序，我希望能够从维基百科中提取关于任何主题的数据(标题和短文本)。
我需要得到的信息非常“干净”，换句话说，从HTML，维基标签和不相关的数据，如参考列表等。
有没有可能只得到标题和一些关于该主题的文本？
我使用gem来获取数据，但它非常丑陋。
{{for|the television series|Solsidan (TV series)}} {{Infobox settlement |official_name = Solsidan |image_skyline = |image_caption = |pushpin_map = Sweden |pushp
浏览 2提问于2011-02-23得票数 1
回答已采纳
我正在尝试通过以下方式下载Heroku上的数据库转储文件：
pg_dump dc6psqngs8h580 -h url_address -U user_name> db.sql
但是我一直收到这个错误：
pg_dump: server version: 9.2.4; pg_dump version: 9.1.5
pg_dump: aborting because of server version mismatch
我在SO上找到了这个错误的主题，但没有一个对我解决这个问题有帮助。我补充道：
PATH="/Applications/Postgres.app/Contents/Ma
浏览 4提问于2013-11-20得票数 0
3回答
我如何下载一个Wikia进行离线阅读？是否有一个特定的服务，我可以使用下载一个Wikia？一旦完成，我如何读取下载的文件？我不需要图片或其他媒体文件，但HTML格式会很好！
浏览 0提问于2013-03-05得票数 5
回答已采纳
我对这里有点陌生。我有一个项目，我必须下载和使用维基百科的NLP。我面临的问题如下:我的RAM只有12 GB，但英文维基转储压缩了超过15 GB。这是否限制了我对wiki的处理？我不需要维基上的任何图片。在处理之前，我需要解压缩转储吗？有人能告诉我所需的步骤或为我指出相关的内容吗？提前谢谢。
浏览 30提问于2020-09-17得票数 2
回答已采纳
有一种方法可以使用heroku pg:pull (--exclude-table-data)排除表。
但是，如果我需要从过去获取一些数据，那么备份如何呢？
heroku pg:backups:download似乎没有选择要下载的表的选项。如果我只需要一小块数据，有没有办法只下载一部分数据，而不是加载千兆字节的数据？
浏览 0提问于2019-10-09得票数 1
如果我下载了Wikipedia XML转储文件，有没有办法删除XML文件中的所有内部链接？
谢谢
浏览 0提问于2009-03-31得票数 0
回答已采纳
1回答
我从下载了维基百科转储。将其解压缩到enwiki.xml并运行php importDump.php < enwiki.xml。差不多要两天才能完成。不知怎么的，我的本地媒体比在线wiki有更少的文章/页面/类别。
select count(*) from page;只给了我691716。另一个很好的例子是，我的本地媒体维基中缺少了页面。
我还尝试从导出一个小xml，并使用importDump.php将xml插入到MySQL中。结果看上去很好。没有缺页。
1.我是下载了错误的维基百科图片，还是在很大的时候导入过程出了问题？
我还尝试了mwdumper.jar和perl脚本，根据。尽管我将页
浏览 18提问于2019-09-17得票数 1
我试图下载Freebase实体的基本的离线主题转储，但我认为目前没有这样的链接。这是旧链接：
这是什么地方提供的数据吗？如果能再次提供数据，那就太好了。谢谢
浏览 3提问于2013-10-01得票数 1
回答已采纳
1回答
我想解析XML维基百科转储，并从中提取所有不同类型的表(不仅仅是信息框)。
我使用来解析转储，但问题是在维基百科转储中解析不同类型的表(拆分-单元格表、合并-单元格表、带有颜色代码的表)。
在找到标记为表的项之前，我能够解析XML文章，但在将表解析为对象时，我没有标准可遵循，而且似乎有许多类型的表具有许多排列。
是否有一些关于表类型的文档化的标准，这样我就可以在我将要创建的运行时对象中讨论这个问题，或者有什么方法可以解决这个问题？
注意：
以下是一些帮助你理解我的意思的例子：
查看Andrew行(一些行被合并和拆分)
有时头在顶部和底部
浏览 3提问于2012-10-31得票数 1
2回答
名字的拼写变化
、、、
作为联系管理系统的一部分，我有一个很大的姓名数据库。人们经常对此进行编辑，因此我们会遇到同一人以不同形式存在的问题(John Smith和Jonathan Smith)。我研究了单词的相似性，但很容易想到根本不相似的名字变体(Richard vs Dick)。我想知道是否有一个常见的英文名字变体列表，我可以用来检测和纠正这样的错误。
浏览 2提问于2010-09-28得票数 5
1回答
用于全文搜索的示例数据库
、、、
我希望在PostgreSQL，SQLServer和Lucene中做一些全文搜索索引的基准测试。
在哪里可以找到一个很好的大样本数据库来执行查询？
在此之前非常感谢。
浏览 2提问于2010-09-08得票数 3
回答已采纳
我的上网速度确实很慢。尽管如此，下载我要查找的文件列表还是足够快的:我需要一个Wikipedia.org和commons.wikimedia.org上的所有文件的列表。(之后，所有的svg文件都出现在维基百科和维基媒体的其他页面上。)
但我的互联网连接速度还不够快，无法找到正确的搜索词--通过尝试和错误:以64 64kbit/秒的速度进行尝试和错误是绝对乏味的。
谁能给我指出维基百科或commons.wikimedia上的正确页面，在那里我可以开始这样的搜索，以及使用哪些关键字和设置？
浏览 0提问于2015-04-07得票数 4
回答已采纳
1回答
如何提取和导入维基百科页面？
、、、、
我正在构建一个搜索引擎，为了更好地测试它，它需要更多的文章。他们最好的来源是维基百科。
我已经搜索了一些转储，但有些是XML (我在导入时遇到了麻烦)，有些没有内容。
那么，如何获得一个转储，最好是MySQL格式。它必须是一种非英语语言。
有什么想法吗？
浏览 1提问于2011-01-23得票数 0
回答已采纳
1回答
如何分析webRTC内部转储
、、、、
我已经从chrome:// webRTC -internals/下载了webrtc的json dump。现在我想分析日志，并需要绘制图形。在统计数据中有多个我不理解的字段。谁能解释一下这些字段代表什么，以及我如何使用它们来绘制视频质量和比特率与时间戳图。
浏览 47提问于2021-10-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
