我的网站的一个设计特点是爬行和显示从另一个网站分析的数据(例如，股票价格的变化)。我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？下面是我的系统的示例用法
用户可以从数据<
浏览 0提问于2018-01-25得票数 3
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。哪一个更有效率？无
浏览 7提问于2021-05-14得票数 0
嗨，我正在编写一个网络爬虫，这将爬行网站，并有选择地解析网站的不同部分。我是一个.Net开发人员，所以我选择用.Net做这件事是显而易见的，但是速度非常慢，包括下载和解析HTMLPages
然后，我尝试先使用.Net下载内容，然后使用python下载相同的域名，但python在下载数据方面给人留下了深刻的印象。我已经使用python实现了下载，但是后面的部分并不容易用python编写，这显然不是我想要做的。同一批域名在Python中需
浏览 0提问于2011-02-12得票数 0
回答已采纳
1回答
我正在运行一个具有自己的绑定DNS缓存的网络爬虫。我们的代码使用DNS缓存进行解析，并使用Python的请求库发出GET请求。因此，我们的爬虫试图连接这些it，并以来自数据中心的扫描报告结束。绑定是
浏览 0提问于2015-12-30得票数 2
回答已采纳
我正在创建一个网络爬虫，我使用HTMLParser模块来解析超文本标记语言文档中的链接。如果解析器遇到错误的标记，它会引发解析错误并终止应用程序。由于爬虫遍历了整个web，所以这个错误经常会被抛出。在python.org错误部分，已经有人提出了这个问题。你可以看看这个。这样做的问题是，我真的不知道如何使用提供的“补丁”，我也不理解评论。我希望覆盖HTMLParser模块的默认行为，以允许它在出现解析错误后继续解析。
浏览 0提问于2011-04-20得票数 1
回答已采纳
1回答
开放图反应性元信息
、、、
我的OG元信息对于某个链接(例如博客帖子链接)来自一个数据库(例如，博客帖子需要一段时间的加载)。我不想要预录制，我想保持我的数据尽可能的动态。有办法解决这个问题吗？
浏览 2提问于2018-10-18得票数 0
回答已采纳
我必须用Python写一个网络爬虫。我不知道如何解析页面并从HTML中提取URL。我应该去哪里学习来编写这样的程序呢？
换句话说，有没有一个简单的python程序可以作为通用网络爬虫的模板？
浏览 2提问于2013-03-20得票数 17
我已经编写了一个python模块爬虫，它可以解析网页并使用本机信息创建JSON对象。我的模块爬虫的下一步是使用elasticsearch存储本机信息。
真正的问题如下所示。哪种技术更适合我的场合？elasticsearch python API还是用于弹性搜索的RESTful API (elasticsearch-py)？
浏览 4提问于2015-12-01得票数 1
我对Python非常陌生，但似乎相处得很融洽。我正在用Python写一个网络爬虫。我想自己弄清楚代码，但如果你愿意提供一个样本，我不会争辩。:)
浏览 2提问于2015-02-18得票数 0
我ḿ希望通过网络或网站进行自动搜索，以检索链接。这是为了检索共享的IP tv链接，以便创建一个媒体库，以便使用VLC在线观看Tṽ。重点是，我甚至不知道最好的解决方案是什么，比如使用脚本的网页还是使用小程序的网页……我刚开始接触终端和其他东西，刚刚安装了xubuntu，所以请……耐心点:D
浏览 3提问于2016-01-25得票数 3
我对编程很陌生，我正试图通过将WARC文件分割成块，然后将每个块存储在字典中来处理WARC文件。WARC/1.0WARC-Date: 2020-08-04T01:43:40ZContent-Length: 500WARC-Filename: CC-MAIN-20
浏览 7提问于2020-10-06得票数 2
有了angular JS的网站，google就能够解析解释过的内容。但是与facebook共享一个链接，facebook爬虫是否也能够解析解释的内容，或者我们必须提供静态页面(例如prerender.io)？
浏览 39提问于2016-08-16得票数 0
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
查找，可能是“href”链接，然后存储在某个数据文件中。
浏览 15提问于2010-11-25得票数 22
回答已采纳
4回答
我发现了一个项目，，它在服务器端嵌入了Firefox引擎，所以它可以很好地解析服务器端的JavaScript。但是，这个项目似乎已经死了。解析HTML和提取数据对于爬行网页是很有帮助的。
浏览 3提问于2010-10-09得票数 1
回答已采纳
我想自动抓取大约100万个URL(在一个CSV文件上)，并检查这些站点是否提供了Facebook登录按钮(即用户可以通过将他们的Facebook帐户连接到站点来创建帐户)。然后，我想记录这些按钮是为哪些网站找到的。什么是好工具？
浏览 0提问于2015-05-18得票数 3
回答已采纳
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
