1回答
用硒刮掉生菜直到流的尽头
、、、
我在试着刮掉youtube上的直播。我需要保存所有旧的和传入的消息。为此，我使用css选择器和无限循环来完成此操作，但是这会导致重复的条目和先前的消息被省略。这样做的正确方法是什么？
浏览 4提问于2020-08-22得票数 0
1回答
我正在尝试抓取web动态页面，但使用scrapy时，我不能检索所有信息，因为我想要的信息是动态的。 我试着使用Selenium，但与Scrapy不同的是，你不能指定头部，网站阻止了我。(我不能说出这个网站的名字，因为抓取是非法的，但它是一个著名的旅游元搜索引擎...)。我有一个带有验证码解算器的页面(用脚本很难解决重新验证码)，因为网站会检测到我是机器人。我想拥有所有的动态信息，并有权访问网站，但不可能与selenium和scrapy没有给我所有我想要
浏览 23提问于2019-06-13得票数 0
1回答
如何滚动元素直到某个单词出现？
、、、、
我正在抓取谷歌地图，我需要知道如何滚动查询列，直到单词出现我用硒刮。我目前使用的代码： barraRolagem = wait.until(EC.presence_of_element_located((By.XPATHdriver.execute_script("arguments[0].scroll(0, arguments[0].scrollHeight);", barraRolag
浏览 2提问于2022-11-23得票数 1
回答已采纳
1回答
用硒刮掉完整的帖子
、、、、
代码运行正常，但它崩溃并将单个作业导出到我的csv，我认为这是随机的，没有给任何error.Please，一个有更多经验的人可以提前帮助我一些tips.Thanks。
浏览 20提问于2021-05-22得票数 0
回答已采纳
1回答
我想问一下，在您看来，是否有可能用beautifulsoup4刮掉genius.com的评论。我问这个问题是因为当我用bs4抓取页面时，我找不到注释的部分，因为它们在一个可扩展的容器后面。如果我从浏览器中查看页面的html，即使我没有点击“展开”按钮，也可以看到注释，但是当我用bs4抓取时，我在html源代码中找不到它们。
我怎样才能解决这个问题？有一种方法可以用bs4刮掉评论吗？还是我应该用硒？(我想避免使用selenium，因为我
浏览 2提问于2021-12-15得票数 -1
1回答
从电子邮件下载PHP
、、、
我们目前有一个PHP脚本，可以访问我们的电子邮件，并为语音邮件的目的提取要访问的.wav文件。但是新的语音邮件系统发送的.wav是这样的：01359272577 03-14-16 20h14.wav，旧的系统就是这样做的：msg100.wav。编辑的见下面没有SQL的新脚本。它所做
浏览 3提问于2016-03-15得票数 3
3回答
直到现在我还没有什么复杂的问题。使用Requests和lxml，我能够在被IP禁止之前刮掉大约100到150页。有时我甚至被禁止第一次请求(新的IP，以前没有使用，不同的C块)。我尝试过欺骗头，在请求之间随机化时间，仍然一样。
我试过硒，结果好多了。使用Selenium，我能够在被禁止之前刮掉大约600-650页。在这里，我还尝试将请求随机化(在3-
浏览 6提问于2016-02-01得票数 19
1回答
我编写了一个简单的Echo Server和Echo客户端，但问题是，在服务器的循环中，我从缓冲的Reader读取，程序卡住了，它不会写。e.printStackTrace(); } // end of main我的问题是为什么它会被困在循环中
浏览 2提问于2016-10-12得票数 1
回答已采纳
当我在浏览器中打开网站target.url时，我想自动获取一些信息，一个简短的加载屏幕显示，然后显示信息。所以当我用write_to_disk(resp.text)
我只获得加载屏幕动画，因为它的第一个响应到这个网站的http请求。是否有一种“跳过”此响应或建立连接并通过此连接发送多个请求的方法？我试过几件事，但没有一件对我有用:)
浏览 0提问于2021-09-28得票数 0
回答已采纳
1回答
我有一个 util = require('util'), ReadableStream.call(this, { objectMode: true });
ArticleReader.prototype._r
浏览 4提问于2014-11-05得票数 1
回答已采纳
2回答
但是当我从Google的检查工具中复制XPath，并在我的Google中使用它时，我会得到一个“导入内容是空的”N/A错误。
有什么帮助吗？
浏览 3提问于2020-03-26得票数 1
回答已采纳
此方法将被阻塞，直到某些输入可用，发生I/O错误，或到达流的末尾。返回:读取的字符数，或者-1 (如果是，流的末尾已经到达)。抛出: IOException -如果发生I/O错误
当读取完文件中的数据时，是否到达流的结束？那么，为什么read返回读取的字符数，而不是-1？下面的代码没有检查和
浏览 6提问于2017-11-22得票数 0
3回答
在Django中测试工作流
、、、、
我真的很喜欢测试和构建单元测试，但我发现必须为网站的工作流程构建测试是很烦人的。(例如)或即使在使用Selenium之类的应用程序时，也要遍历每次迭代，然后检查电子邮件等是否有更有效地执行一系列测试的方法？
，你们是怎么做到的？:)
浏览 10提问于2010-09-07得票数 6
我试图执行一些非常基本的网络操作，但我遇到了一些麻烦。最初，我试图使用NetworkStream.Length创建一个新的byte[]，但是很明显，这是不可能的，因为NetworkStream不支持寻求操作。然后，我找到了一些示例，展示了如何将NetworkStream复制到允许查找操作的MemoryStream中。到现在为止还好。
还是真的是这样？一旦using语句的作用域被击中，应用程序实际上就停止了。它还在跑，还在做些什么，但我真的说不出是什么。我需要将我的NetworkStrea
浏览 3提问于2013-10-11得票数 1
回答已采纳
1回答
我正努力保护一架ip摄像头的安全。凸轮流(h264 mp4 avc -表示vlc)并支持rtsp和onvif。所以我可以在vlc中看到流。
你还有其他建议吗？
浏览 0提问于2015-04-05得票数 1
回答已采纳
1回答
我试着用JS刮谷歌奖学金网站。表底部有一个"Load more“按钮。有关参考，请参见以下页面：
显然，我在"Load more“按钮上使用了btn.click()，直到按钮被”禁用“为止。有人能告诉我一种更好的方法来刮掉整个表数据吗？
浏览 3提问于2020-06-10得票数 0
1回答
我正在创建一个简单的网络客户端。它读取一个文本文件并将每一行放到网络中。在远端，有一个服务器读取传入行并使用CSV文本行进行响应。我用于测试的传出文件很简单：6216448319，理查德·尼克松，注销
响应应该是“登录”。然后是“注销”。第一行处理得很完美，但是虽然第二行似乎是写到套接字上的，但是服务器从未看到传入的消息。我已经尽了最大的努力在网上遵循文档和各种教程，但我所看到的似乎都没有表现出相同的行为。我遗漏了什么？如果
浏览 2提问于2017-10-02得票数 0
回答已采纳
我正在编写一个简单的Java服务器，它接受多个客户端套接字连接。我使用一个单独的线程来处理每个客户机/套接字。考虑到我已经为这个客户机/套接字建立了包括BufferedReader、InputStreamReader和FileWriter等在内的网络。我的代码是：public void run(){
String message还是套接字在完成从<em
浏览 0提问于2018-09-04得票数 1
2回答
我们的.net核心web应用程序目前接受websocket连接，并将某些事件(编辑、删除、创建某些实体)的数据推送给客户端。基本上，如果我正确理解的话，只有处理特定事件的节点才会将数据推送给它的客户端，而连接到其他节点的客户端都不会得到更新。
什么是普遍接受的处理这个问题的方法？我能想到的最好的方法是也将相同的事件发送到集群中的所有节点，以便它们也可以更新它们的客户端。这个是可能<
浏览 14提问于2017-10-24得票数 1
回答已采纳
1回答
页面需要2次加载才能完成
、、、
这就是为什么数据不被刮掉的原因。我的守则：from bs4 import BeautifulSoupsold = soup.find_all("span", class_='ng-binding')我也尝试
浏览 6提问于2022-09-15得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
