我正在使用nodejs来抓取多个粉丝站点，作为我自己的练习。我能够获得我需要和想要的数据，但我在将这些数据写入我的json文件时遇到了问题，因为我得到的是[content content]而不是我想要的标题。= title; }) }
var append = file => content => fsp.appendFile(file, cont
浏览 1提问于2018-01-30得票数 0
回答已采纳
我正在使用Node.js和Puppeteer，我正在使用Puppeteer来抓取多个网站。我正在考虑通过将每个站点实现分离到其自己的文件来组织代码。这样，我就可以在index.js文件中导入所有这些模块。我读过关于Nodejs缓存模块的文章，这种组织代码的方式是标准的，然而，在我的例子中，假设我有100个不同的网站需要抓取，那么我将有100个模块需要(puppeteer/jsdom)在每个模块中，所以如果Nodejs缓存模块
浏览 1提问于2021-04-11得票数 1
4回答
我已经构建了一个PHP文件，它可以抓取一个网页(使用cURL)来获取一些数据，并以JSON格式输出到屏幕上。
目标网站涉及一些重定向，临时输出数据到我的PHP文件。一旦重定向成功完成，JSON就会如期而至。我遇到的问题是，当我尝试使用jQuery的$.ajax()方法访问JSON时，它有时会返回不正确的数据，因为它没有等待重定向完成。请注意，没有更干净的解决方案用于页面抓取，重定向是必不可少的，必须输出到屏幕上才能完
浏览 4提问于2012-03-01得票数 0
回答已采纳
1回答
使用nodeJS。var test = require('web-scraper.js');
test.scrap
浏览 2提问于2016-12-19得票数 1
网站：我试图从表中抓取标题行，但由于某种原因无法将其解析为列表，因此我无法对其进行操作。然后，我想从每一列中获取数据，并将其全部输出到JSON文件。我希望能够将其输出到JSON文件，并像这样显示它。
ASN编号:国家：“美国”，“名称”：XXX，"Routes V4"，"XXXX"，"Routes V6"，"XXX“
浏览 0提问于2019-01-12得票数 0
1回答
如何从网站收集联系信息？
、、、、
有没有人知道从网站收集联系方式的网络爬虫工具？说我有一个www.web/联系人。我想拿出地址，电话号码等等。我一直在研究两个工具: java的cralwer4j开源jar和。
浏览 1提问于2015-03-19得票数 0
回答已采纳
1回答
我正试图从这个网页上得到餐馆的名单，类型和地址。到目前为止，我写了这个：from bs4 import BeautifulSoup
'AppleWebKit/537.36 (KHTML, like Gecko) '\
&#
浏览 4提问于2022-04-15得票数 -1
2回答
我正在这个网站上使用JavaScript、HTML和PHP，我的GUI与IDE非常相似。我想说的是，我有多个选项卡，带有不同的按钮，在一个大的表上生成多个表单。当我完成填充这些多个表单中的所有字段时，这些字段最近都会导出到一个JSON对象中。但这不是现在的问题。
这里的主要问题是保存信息，并允许用户在将所有信息导出到JSON之前对其进行编辑。
浏览 1提问于2013-09-02得票数 2
回答已采纳
1回答
我使用scrapy抓取一堆网站，然后将整个过程中存储的所有项目导出到一个json文件中。下面是我的输出： [{...{...}{more json formatted stuff...{...{...]{even more json formatted stuff...{...{...] 这不是我想要
浏览 7提问于2020-10-14得票数 0
1回答
XStream中的序列化问题
、、、、
这是一个网络抓取器，从我们学校的选课网站上为我正在做的一个项目抓取页面，我试图将指定科目的所有课程信息输出到一个XML文件中。问题是，有些类有多个部分，而不是仅仅重写这些文件名和浪费空间，我希望它们都保留在XML中称为"Sections“的部分下。你知道我的代码出了什么问题吗？
浏览 2提问于2012-10-26得票数 1
回答已采纳
2回答
我想要它从网站上抓取图片。该网站有一个包含代码的JSON文件。var request = require('request');
request("http://www.pgbovine.net/photos/json-files/boston.json" , function(error, respo
浏览 17提问于2016-09-18得票数 0
我试图抓取不同的网站(电子商务网站)，并从每个网站的网页(即产品价格，数量，出版日期等)的具体信息。我的问题是:如何配置解析，因为每个网站有一个不同的HTML布局，这意味着我需要不同的Xpath对同一项目取决于网站？我们可以在每个网站的拓扑中添加多个解析器吗？如果是，我们如何为每个解析器螺栓分配不同的parsefilters.json文件？
浏览 5提问于2021-04-27得票数 0
回答已采纳
2回答
因此，我一直在使用nodejs开发这个应用程序，我必须从多个网站中抓取多个HTML表。我已经从承诺中解决了这些问题。但是响应的主体是一整页的字符串，看起来是这样的。output.json [ globalJson.push(allData)
fs.writeFile('client/src/output.j
浏览 3提问于2018-09-06得票数 0
我正在尝试将所有Azure DevOps版本或版本导出到桌面？有一种方法可以通过Azure DevOps UI网站导出每个文件，并将其保存为json文件。我猜我们可以使用微软网站上的这个RestAPI发布，但是我们如何使用与Azure DevOps UI网站上相同的名称将所有Azure DevOps发布或构建导出到桌面？
浏览 24提问于2021-02-10得票数 1
回答已采纳
1回答
我有一个文件，它有一个域名列表。我需要抓取域(即整个网站)，以获得rss链接。递归地抓取网站的每一页，从每个页面获取rss链接，并写入与域对应的json文件--这是我的代码，仅用于一个网站： item['rss_link'] = sites
浏览 4提问于2013-12-20得票数 0
回答已采纳
这是一个小项目，我想在不久的将来开始。它还在规划阶段，所以这篇文章更多的是关于被引导到正确的方向，我最初解决这个问题的计划是使用Beautiful Soup，一个特定于Python的库，但是，我相信Twitter是更好的方法(关于这个主题的建议会更好)
要回答(3)，我想这取决于我想对数据做什么。我还没有决定如何使用分析过的数据，但我知道我希望将其分类，所以我的想法可能是数据
浏览 1提问于2018-06-29得票数 0
4回答
我正在寻找一个软件或附加，以自动提取电子邮件地址从一个网站。免费获取例如(*[at]*.*)页面中电子邮件地址的模式。
对于Microsoft
浏览 0提问于2014-05-02得票数 1
2回答
我正在研究如何使用它来抓取整个网站的链接，在其中我会将条目输出到多个JSON文件中。所以我可以把它们上传到Amazon搜索中进行索引。是否有可能将项目分割成多个文件，而不是最终只有一个巨大的文件？据我所读，项目出口商只能输出到每个蜘蛛一个文件。但是我只使用一个CrawlSpider来完成这个任务。如果我能对每个文件中包含的项目的数量设置一个限制，比如500或1000，那就太好了。
浏览 3提问于2015-09-30得票数 7
回答已采纳
我试图从一个网站上的多个链接刮体育时间表。已正确找到并打印了URL，但只有来自上一次抓取的URL的数据才会输出到控制台和文本文件。我的代码如下：这为我提供了以下输出<code>B1</code>我有下面的旧代码，它的工作正常，并输出所有的数据从每个抓取的网址从主页。<code>A2</code><cod
浏览 24提问于2020-08-01得票数 0
回答已采纳
1回答
我用grunt构建它，并将dist-文件夹中的文件复制到我的/var/www//public_html/
瘦php文件'Missing Slim from Composer dep
浏览 2提问于2014-12-14得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
