1回答
我正在尝试从lowes.com抓取产品信息。我的测试是专门针对这个产品的。当我访问未启用JavaScript的页面时(以确保我看不到urllib / requests可能无法识别的内容)，我清楚地知道该项目的价格，但当我尝试使用上面的任一包时，我会丢失网页的几个部分。碰巧的是，这些部分是我需要抓取的部分(具体来说，价格信息，其他所有神奇的信息仍然可用)。为了提高速度，我不喜欢使用selenium。content.txt", "w") as f:
f.write(page) #
浏览 7提问于2017-08-03得票数 0
回答已采纳
3回答
用python刮网站
、、、、
如果有一种方法可以在不使用任何第三方库(如beautifulsoup和scrapy )的情况下抓取一个网站，那么就可以使用beautifulsoup。It can use builtin libraries请推荐我一个博客、文章或教程，这样我就能学到
浏览 1提问于2020-06-09得票数 1
回答已采纳
我正在尝试使用beautifulsoup4从网站中抓取数据，并且只检索html标记之间的信息以放入excel文档，目前我只能从页面中获取整个html数据。import sysimport xlsxwritersoup
浏览 0提问于2018-10-20得票数 0
回答已采纳
我想刮一个通过<select>标记改变其内容的网页。当我选择不同的选项时，页面的内容会动态变化。我想知道是否有一种方法可以从python脚本中更改选项，以便从<select>标记中的所有不同选项的所有不同页面获取内容。
浏览 6提问于2012-09-10得票数 4
1回答
我需要在Python中做一些三步web抓取。我最初有几个基本页面，我需要从这些页面中选择几个链接，并检索它们所指向的页面，然后再重复一次。诀窍是，我希望所有这些操作都是异步的，这样每个请求都会尽快被触发，并且整个应用程序不会在单个请求上被阻塞。我该怎么做呢？body = eventlet.green.urllib2.urlopen(url).read() return data
pool但是，如果我扩展这种技术并包含一个
浏览 2提问于2012-07-16得票数 0
回答已采纳
4回答
>>> import urllib2... 'ce2-003048343a40","name":"
浏览 1提问于2009-12-01得票数 12
回答已采纳
1回答
因此，我试图读取一个HTML文件的内容，从一个特定的网站上抓取一些元数据。然而，我遇到的问题是，使用cocoa调用执行objective中的HTTP请求将给我一个不同的HTML文件，而当我通过web浏览器或实现的python调用执行调用时。这很烦人的原因是，我正在抓取在每个请求中生成的密钥。当我通过可可而不是从python库或浏览器执行请求时，这个站点似乎知道了。request = urll
浏览 2提问于2011-03-20得票数 1
2回答
我注意到如果我请求一个url我得到了这样的东西：<head><body>
<有没有方法可以不使用webdriver来检索整个HTML文档？
浏览 1提问于2017-12-06得票数 1
回答已采纳
我需要从一个python3程序中抓取一个网站(比如"www.example.com")，这个程序有一个包含以下两个元素的表单：2: Dropdownmethod: 'POST', Logi
浏览 1提问于2016-10-28得票数 0
有没有一种简单的方法来抓取谷歌，并为给定的搜索写出前N个(比如说1000个) .html (或其他任何)文档的文本(只是文本)？举个例子，想象一下搜索短语“大灰狼”，只下载前1000个点击量中的文本--也就是说，实际上是从这1000个网页中下载文本(但只下载那些页面，而不是整个网站)。
我假设这将使用urllib2库？
浏览 2提问于2011-03-16得票数 10
回答已采纳
我使用请求来抓取网页上的一些内容。当我使用requests.get('example.org')import urllib.request我试过使用urllib，但它真的很慢。
浏览 0提问于2017-04-09得票数 3
到目前为止，我的代码如下：sock = urllib.urlopen("http://ipchicken.com")
htmlSource =
浏览 0提问于2011-05-03得票数 1
回答已采纳
1回答
我有基本的代码(表单)：response = urllib2.urlopen(req)我想知道整个请求的大小和整个响应的大小，有没有办法？(还没有看到用于urllib2或请求的)
“完整”-意味着包括报
浏览 1提问于2015-02-26得票数 0
我得到了这段代码，它可以帮助通过网址获取任何网页的代码：url = "http://www.google.com/"if result.status_code == 200:我不明白这里的一件事(事实上，在许多事情中)为什么在这段代码中建议从google.appengine.api导入urlfecth？Python没有自己的命令吗？
浏览 1提问于2009-12-12得票数 8
回答已采纳
我们需要每5分钟轮询一次网页，而网页正在变得相当大。web页面是一个目录列表，我们需要最后一行(以获取文件名)。获得这最后一行的最好方法是什么？
浏览 0提问于2009-01-06得票数 8
回答已采纳
Anaconda通道中不存在urllib和urllib2，据我所读，请求包已使urllib和urllib2过时。对于web抓取，我仍然是Python编程方面的新手，并且还没有完全理解这4个包的所有概念和内部微妙之处。我找不到关于如何将urllib或urllib2代码移植到Beautiful 4请求的解释。有人能提供一个关于如何移植urllib / urllib2应用程序以
浏览 0提问于2018-09-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
