我正在尝试做一些网页抓取，我需要从网页中提取关键字。我尝试使用page_soup.findAll()来提取它，但是我不知道在()之间插入什么来提取我需要的东西。ISAPRES, INCENDIOS, COLUSION CONFORT, COMPENSACION, PERMISOS DE CIRCULACION, REV
浏览 9提问于2019-11-26得票数 0
6回答
爬行和网络抓取有区别吗？
如果有不同之处，为了收集一些网络数据来提供一个数据库，以便在定制的搜索引擎中使用，最好的方法是什么？
浏览 2提问于2010-12-02得票数 96
回答已采纳
下面的场景:我们已经开发了大约400个个人网站，目前我们正在尝试建立我们的投资组合。由于多种原因，我们想要显示索引，以便我们可以把它放在我们的投资组合中。第一个想法是对每个网站进行程序截图。我们公司的负责人立即揭穿了它，因为他们想要现场直播。Iframes显然不是一种选择。所以我们必须下载索引。可能只有正确显示它所需的样式和图像。你们有什么想法吗？
浏览 3提问于2016-03-30得票数 0
4回答
我们正在设计一个大规模的web抓取/解析项目。基本上，脚本需要遍历网页列表，提取特定标记的内容，并将其存储在数据库中。如果要进行大规模(数千万页？)的操作，您建议使用哪种语言？。我们使用MongoDB作为数据库，因此任何具有可靠MongoDB驱动程序的都是一个加号。到目前为止，我们一直在使用PHP、curl和，但我不认为它们可以扩展到数百万个页面，特别是在PHP没有适当的
浏览 1提问于2010-06-30得票数 8
我遇到了一个问题，我需要将网页的特定内容放入我的网页视图中。这是我想要从获取内容的网页。但我只想获取该网页中的具体内容，如下所示：我不知道JavaScript，CSS，或者HTML，所以我不知道如何提取信息。我找遍了谷歌，但都没
浏览 2提问于2013-07-02得票数 2
我需要从网页中提取特定的文本，但文本所在的锚点标记嵌入了几个子类。我是网络抓取的新手，所以很抱歉，如果这个场景已经回答了，但是我需要从这个网页上抓取文本(https://www.astm.org/search/fullsite-search.html?soup对象时，我无
浏览 18提问于2019-06-20得票数 0
回答已采纳
我对编码比较陌生，希望从span中编写的网页中抓取信息，但不确定如何做到这一点。下面是代码的一个例子，我要提取的数据是“2001年10月-2002年1月” <h4 class="pv-entity__date-range t-14 t-black--light t-normal">="visually-hidden&quo
浏览 55提问于2020-11-02得票数 0
我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
3回答
在网络抓取中，有时我需要从波斯网页中获取数据，所以当我试图解码并看到提取的数据时，结果并不是我所期望的那样。以下是此问题发生时的分步代码：import urllib2
data = urllib2.urlopen('http://cafebazar.ir').
浏览 6提问于2016-09-24得票数 0
回答已采纳
我是网络抓取的新手，我正在尝试使用BeautifulSoup从网站中提取链接和表格数据。但是，即使网页中有链接，它也会返回none。我可以通过在浏览器中查看网页来找到链接。下面是我使用的代码 from bs4 import BeautifulSoup as soup
driver = webdrive
浏览 23提问于2020-04-04得票数 0
我是新的网络抓取，我不知道如何从网页上的“关于我们”下的文本。请您指点我，或者提供代码，以便在这样的网页中提取“关于我们”的文本。我可以在头文件中看到“关于我们”，但是无法用这个标题提取
浏览 1提问于2019-08-03得票数 0
2回答
我试图在Scrapy和xpath选择器的帮助下刮一个非常简单的网页，但出于某种原因，我的选择器在Scrapy中不工作，但它们在其他xpath实用程序中工作<select3644-1/20th-century-boys/chapter-5.html">Chapter 5: Night of the Science Room</
浏览 4提问于2014-01-19得票数 1
回答已采纳
我是网络抓取的新手。我已经看过一些关于如何使用漂亮的汤来抓取网站的教程。作为练习，我想从一个房地产网站上提取数据。我想要抓取的特定页面是这个：
我的目标是提取每个房地产销售的所有链接的列表。然后，我想遍历链接列表以
浏览 4提问于2021-05-02得票数 1
1回答
我需要在多个网页上计算不同数量的特定HTML属性。然后，我将使用这个数字来抓取那些href属性中包含的所需数据。[seq(1,1500,3)]%>%
na.omit(fighter_links) 上面代码的目的是读取该页面上的HTML并提取我需要的链接。这只是我需要抓取的26个<em
浏览 12提问于2020-10-22得票数 1
回答已采纳
嗨，我要在一个项目上工作，在这个项目中，我想查询一些网站，并从他们获取类似的数据，并将其呈现给用户。例如:如果一个用户有一个查询的名称-“锐步鞋”的大小为"9.0“的范围"$30到$75”，我的应用程序应该景观这些查询的几个网站(我将提供)，并从them.Without获取相关数据保存在数据库中的数据，<em
浏览 0提问于2012-10-07得票数 1
回答已采纳
我试图在WebView中只显示页面的一部分，例如。从html代码的第400行到第600行。(这部分包含我想要显示的网页上的数据框架)提前感谢！
浏览 5提问于2012-05-17得票数 0
2回答
我可以通过Python中的web抓取从网页中获取数据。我的数据被提取到一个列表中。但不知道如何将该列表转换为数据框架。有任何方法我可以网络刮和直接获取数据到一个df？这是我的代码：import re
浏览 7提问于2020-04-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
