我是Python的初学者。我有一个任务，从维基百科页面刮信息表。我想使用下面的代码来抓取： from pandas.io.html import read_htmlprint("Extracted {num} wikitables".format(num=len(wikitables)))
wikitables</em
浏览 24提问于2020-08-13得票数 2
回答已采纳
1回答
我试图对维基百科中的一个表做一个简单的打印，但在编写我自己的代码时失败了--我决定使用一个教程示例并进行构建。然而，这是行不通的，我也不知道为什么。table_classes = {"class": ["sortable", "
浏览 3提问于2017-08-31得票数 0
回答已采纳
2回答
我在抓取时遇到问题
url从1开始增加30。它包含许多页面，其中列出了肯尼亚的中学列表。每一页都有30所学校的列表。我想用下面的代码抓取所有的数据，但它只给出了一个页面的内容，这是30所学校。
浏览 0提问于2018-06-23得票数 0
2回答
我正试着用漂亮的汤拼凑出一个多页面的网站。代码部分工作。它只返回最后一页，而不是所有页。我如何解决这个问题？import urllib.requestaziende = [
'35-azienda-4_planets', '36-azienda-archivio_23', '24-azienda-bm', '16-azienda-brolese_virginio', '39-azien
浏览 3提问于2018-09-03得票数 0
回答已采纳
2回答
因此，假设我在一个网站上抓取多个页面(比方说1000)。我想知道哪种语言最适合用来抓取这些页面- javascript还是python。此外，我听说过javascript抓取器更快(由于多个get请求)，但我不确定如何实现这一点-有人能告诉我吗？
谢谢!
浏览 1提问于2012-03-04得票数 0
回答已采纳
2回答
我正在尝试用Python抓取Facebook的公共页面点赞数据。我的抓取器使用帖子号来抓取点赞数据。然而，有些帖子有6000多个赞，而我只能刮6000个赞，而且有人告诉我，这是由于Facebook的限制，每天不允许刮6000个以上。我如何才能继续为帖子刮点赞，从刮刀停止刮的地方。
浏览 3提问于2018-02-02得票数 0
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。url) links = soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取是按顺序进行的我对Python中的线程化不是很了解。谁能告诉我，我怎样才能并行抓取？任何帮助都将不胜感激
浏览 0提问于2017-05-29得票数 2
2回答
我想从多个网站抓取类似的网址，如，和。 print("mobile: " + mobile)
有没有一种方法可以让我简单地列出url的不同部分(woollahra，唐人街，邦迪比奇)，这样脚本就会使用我已经写好的代码循环遍历每个网页
浏览 17提问于2017-08-04得票数 0
回答已采纳
1回答
我想从网站上抓取数据。这个表扩展到多个页面上，但是url没有像page=3这样的东西，所以我不能遍历各个页面来获取数据。
有没有其他方法可以像这样抓取数据，而不会在不同的页面上循环？如何从python访问不同的页面来抓取数据？
浏览 19提问于2018-03-04得票数 0
1回答
我正在用Python构建一个web爬虫，使用MongoDB来存储一个队列，其中包含所有要爬行的URL。我将有几个独立的工人，将抓取URL。每当工作人员完成URL抓取时，它将在MongoDB集合"queue“中发出请求，以获得要爬行的新URL。我的问题是，既然会有多个爬虫，我如何确保两个爬虫器不会同时查询数据库并获得相同的URL来抓取？
非常感谢你的帮助
浏览 0提问于2014-03-29得票数 0
回答已采纳
我重构了一些django代码来做一些web抓取。我为每个要抓取数据的用户启动一个单独的Celery Task。在每个Celery任务中，我使用asyncio和aiohttp为给定的用户进行抓取。，但一旦我触发实际的数据库查询，我就会收到如下错误： ...
[2019-02-16 18:04:38,126] WARNING log /home/chrisadmin/anaconda3/lib/python3.6对于抓取单个用户，asynci
浏览 23提问于2019-02-17得票数 0
我正在使用selenium python，我想知道如何在24小时内有效地抓取超过50,000个数据点。例如，当我在网页'insight.com‘上搜索产品时，抓取器大约需要3.5秒来搜索产品并获取其价格，这意味着对于大量数据，抓取器需要几天时间。从使用线程同时查找多个产品的一部分，我还可以如何加速这个过程？我只有一台笔记本电脑，将不得不同时抓取其他六个类似的网站，因此不想要太多的线程，计算机的运行速度将显着减慢。人们如何实现在如此短的时间内<
浏览 28提问于2020-06-18得票数 2
2回答
Python抓取多个页面
、、、
我正在刮从网站上的所有单词。
from bs4 import BeautifulSoup as bs
# for page in range(1, 75):
req = requests.
浏览 4提问于2020-10-21得票数 1
回答已采纳
我想导出一个具有多个动作的模型到Collada文件中以使用它，collada导出器只导出选定的或活动的动作，经过多次研究我没有找到一个解决方案，但我想知道如何在不同的帧中导出相同动画中的动作，并通过代码将它们分开，所以我添加了自定义属性到对象来定义每个动作的开始和结束帧，但导出器不导出这些属性，我找到了一个补丁来使导出器添加自定义属性，但我不能从源代码中构建，因为我在visual C++和python中没有经验，所以我很欣赏任何解决方案来实现在一个dae文件中导出多个动画。
浏览 5提问于2017-02-22得票数 2
回答已采纳
我正在用Python编写一个web抓取应用程序。我正在抓取的网站有www.someurl.com/getPage?id=x表单的urls，其中x是标识页面的编号。现在，我正在使用urlretrieve下载所有页面for i in range(1,1001):
urlretrieve('http://someurl.com/getPage我可以要求Python打开多个到服务器的连接吗？
浏览 14提问于2015-05-18得票数 1
回答已采纳
3回答
我一直在关注Scrapy，到目前为止，它给我留下了深刻的印象，但我正在寻找最好的方法来做以下事情：
1)我想要抓取多个URL，并为每个要抓取的URL传递相同的变量，例如，假设我想返回来自Bing、Google和Yahoo的关键字"python“的顶部结果。我想要抓取http://www.google.co.uk/q=python、http://www.yahoo.com?q=python和http:/
浏览 8提问于2012-08-28得票数 1
我是Python的新手，我正在尝试从Twitter上抓取tweet。我设法收到了一个用户的推文，但我想知道是否有一种方法可以同时获得多个时间轴？或者我必须一个接一个地抓取用户，然后加入结果？
浏览 16提问于2021-04-07得票数 0
回答已采纳
3回答
BeautifulSoup(page.content, 'lxml') print(paragraph.text)
我想从中抓取排名、审查和审查日期，但是，我不知道如何从多个页面中抓取，并为抓取结果制作一个熊猫DataFrame。
浏览 1提问于2019-01-13得票数 3
回答已采纳
我使用了从他们的wiki安装nutch的示例。我能够轻松地抓取从dmoz中拉出的多个页面。但是，有没有配置可以抓取它在页面上找到的外部链接，或者将这些外部链接写入下一步要抓取的文件？如果我通过python执行bin/nutch，我能找回它找到的所有外部链接，并创建一个新的爬网列表来再次运行吗？你怎么做？
浏览 1提问于2010-10-26得票数 2
回答已采纳
我正在尝试使用BeautifulSoup在Python中抓取许多页面，但没有得到积极的结果。 我尝试使用request.get()和session.get()。我应该抓取的页数是92。dentisti/p-"+str(count)+".html" soup = BeautifulSoup(r.content) 使用
浏览 24提问于2020-02-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
