1回答
‘我想为需要登录的网站执行网络抓取。我尝试了两种不同的编码方法。我仍然无法执行登录。soup.find('div', id='branding') main() 使用这些方法后，我们只能获取登录页面的数据我假设我们不能登录，因为我想在登录后访问页面的数据。 这将是非常有帮助的
浏览 8提问于2019-05-14得票数 0
1回答
我正在尝试制作一个应用程序，从每个社交媒体上抓取“为你”的页面，然后将其放在一个地方。问题是，不知何故，我需要验证用户的帐户，询问一个人的密码可以工作，但不是一个真正的解决方案，有人知道如何做到这一点吗？我在想也许是某种OAuth，它可以给我一些临时的帐户密码，然后我就可以抓取了。
浏览 16提问于2020-12-30得票数 0
1回答
我目前正在制作一个处理程序，其中的一部分将从网站访问一些信息。该网站将是一个HTML文件，其中存储了一些信息，我需要访问和解析。我知道如何打开html文件，但我的问题是，它应该访问一个列表，这是在登录网站后生成的。我该怎么做？登录后，网站将开始每隔两秒输出一次数据。我想要访问有序列表中的数据，并且我想在我的处理程序中每隔两
浏览 1提问于2015-04-23得票数 1
我正在构建一个产品比较网页/应用程序到我的网站。按规格、价格等对产品进行比较。不让用户登录使用它有什么危险吗？
浏览 0提问于2015-11-30得票数 1
你好，程序员朋友们，1)登录LOGIN_URL = [NSURL URLWithString:@"https://
浏览 1提问于2012-02-09得票数 0
回答已采纳
我认为这将是有趣和有趣的分享。我遇到了一个我从来没有遇到过的奇怪的情况。
谁能告诉我这是否是亚马逊的开发者故意的？或者这是其他的东西？
import lxmlimport urllib.request as re
# ****
浏览 15提问于2018-09-06得票数 0
1回答
我想抓取一个网站，这是必要的访问，以查看网页。我可以爬客网页，但如何抓取登录保护网页？如果有人共享一些步骤来配置或跳过身份验证机制来使用storm爬虫爬行页面，那将是非常棒的。
先谢谢你。
浏览 5提问于2021-04-12得票数 0
回答已采纳
我想建立一个网络应用程序，以帮助其他学生在我的大学制定他们的时间表。要做到这一点，我需要爬行主日程(一个巨大的html页面)，以及链接到每个课程的详细描述到一个数据库，最好是在python中。另外，我需要登录来访问数据。
我如何最好地处理二进制数据(例如，漂亮pdf)？已经有很好的解决办法了吗？
浏览 5提问于2011-12-01得票数 12
回答已采纳
所以我使用BeautifulSoup和请求从https网站获取数据类似于：中的解决方案这里有什么我需要考虑的吗？
浏览 0提问于2018-07-10得票数 0
回答已采纳
我正在尝试模拟学校门户登录页面上的按钮点击。然而，当我查看代码时，我只看到名称和ID，然后是一个“事件”按钮。"event“按钮显示到jquery文件的重定向，该文件将用户重定向到特定的链接。我附上了代码的一些部分。 如何在代码中启动事件以模拟按钮单击并自动重定向。 附言:我会经常检查回复，所以如果没有足够的信息，请告诉我，这样我就可以创建一个更好的问题。[这是登录按钮代码的图片： <input id
浏览 16提问于2019-01-10得票数 3
回答已采纳
我有一个问题，我不知道如何从新闻网页上获取新的新闻文章。我用python写了一个抓取器脚本，当我运行它时，它从源(今天发布的运行时间)获取所有新闻，并将它们保存到一个CSV文件中(我保存: URL，标题，日期，时间，图像URL，类别，内容)。最后，我想将这些结果写入我的数据库。但是使用这个脚本，我必须周期性地运行它(假设每10分钟运行一次)来检查是否有新发布的内容。这是实现这一点的编写方式吗？当新内容发布时，有没有更好的方法来收听新闻
浏览 0提问于2019-12-09得票数 0
6回答
爬行和网络抓取有区别吗？
如果有不同之处，为了收集一些网络数据来提供一个数据库，以便在定制的搜索引擎中使用，最好的方法是什么？
浏览 2提问于2010-12-02得票数 96
回答已采纳
1回答
我正在写一个网页抓取程序，以便从网站上获得我的成绩。我使用Mechanize登录页面并导航到我要抓取的区域。不幸的是，页面使用Javascript对页面进行加密(可能是为了阻止我抓取)。它起作用了，我用它从页面中提取加密的字符串，当我转换它时，它变成了HTML中的一个表。那么，为了达到我的观点，有没有什么方法可以把HTML重新注入到页面中，并使用
浏览 3提问于2013-01-14得票数 1
回答已采纳
我想从windows phone应用程序向外部网页进行身份验证。然后我想在网站上做进一步的页面抓取，但需要通过身份验证问题。外部网站上的页面有一个函数调用validateLogin，它接受登录名和密码。
我想从我的Windows Phone代码中调用此函数，并传入所需的参数。这将有助于登录到该网站，希望我可以继续刮页面。
浏览 2提问于2011-02-03得票数 0
2回答
我想从网站上获取数据。我想要易趣上不同商品的价格。我想把这些产品和它们的价格放在我的数据库里。纳奇在这里会有帮助吗？如果不是的话，我更喜欢哪种刮刀/爬行？
浏览 5提问于2014-06-17得票数 0
回答已采纳
1回答
Python从搜索结果中抓取链接
、、、、
我正在尝试使用Python从新闻网站的关键字搜索中生成/检索新闻链接列表。对于谷歌搜索，我知道有些使用，但谷歌搜索页面有自己的链接地址(即)，有些网站不通过网站地址传递关键字。首先--例如，在中，不管用户键入哪个关键字(是另一个例子)，用户都会被引导到具有链接列表的搜索结果页面。这样，是否仍然可以使用Python库来提取这些链接？
浏览 2提问于2015-10-28得票数 1
我试过使用Scrapy从Pinterest这样的网站上抓取数据，这些网站不需要登录会话进行数据抓取，但如何使用Scrapy抓取和爬行Twitter，因为要访问Twitter追随者和其他数据，我们需要首先登录
浏览 0提问于2014-12-18得票数 2
Network.Browser文档指出，该模块支持以下内容：然而，该模块附带的示例代码、指令或教程为零。我想不出怎么用它。有人能给出一个例子，说明如何使用它来访问一个网站，2)
浏览 2提问于2010-09-14得票数 5
1回答
从网络抓取开始
、、
首先，我想让您知道，我对html和css非常陌生，目前我还不知道如何使用Java脚本。我在看关于如何制作网络刮刀的视频，我有一些问题：
我看到了很多教程在python中进行web抓取，因为我非常了解python，所以我问自己，什么更适合web抓取？我需要使用网站抓取一个网站，我正在尝试做一些事情，从其他网站获取特定的数据，然后显示在我的网站上，这
浏览 1提问于2019-12-31得票数 0
回答已采纳
2回答
我更改我的页面标题和元数据集，并将可索引状态更改为索引。我应该等到谷歌再次爬行或者自己改变吗？或者我可以通知谷歌，我改变了什么，并请再次爬行更快？
浏览 0提问于2019-02-12得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
