腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何在
多线程
时分别
抓取
项目?
、
我对
多线程
是个新手(就像我今天晚上开始学习的那样),而且我刚刚写了一个我自己制作的
多线程
的刮板。但它只在两个线程上
抓取
相同的数据两次,而不是单独
抓取
,这就是我将其设为
多线程
的原因(为了提高时间效率1 3 5 7 我将程序设置为使用2个线程,输出类似于:2 2 3 5 4 7 8 8 基本上,与
多线程
抓
浏览 1
提问于2014-04-26
得票数 0
4
回答
抓取
网站最好的方法或工具是什么?
在我开始编写自己的网站之前,我需要
抓取
(经过批准的)网站。什么是
抓取
网站的最好工具/方法,它既快速(
多线程
)又易于学习?
浏览 1
提问于2010-03-09
得票数 5
回答已采纳
1
回答
如何在laravel中使用
多线程
?
我正在使用goutte
抓取
一个网站来获取一些数据量。但这让网站变得很慢。所以我想使用
多线程
,如何在laravel框架中进行
多线程
?
浏览 0
提问于2016-06-23
得票数 0
1
回答
如何动态创建具有多个对应类的
多线程
,以解决许多sudoku难题
、
、
我的任务是编写一个
多线程
程序,通过动态确定可以在机器上运行的最大线程数来解决一组sudoku难题,然后分配那么
多线程
从文件中
抓取
单个谜题和所有sudoku谜题。然后,这8个线程轮流从堆中
抓取
单个sudoku难题,并将它们写到一个新的文件中,并给出解决方案。 到目前为止,我所拥有的是一个完全工作的代码,用于
抓取
第一个谜题,解决问题,并将其写入解决方案文件。但我需要使它
多线程
,并让它为所有其他的谜题也这样做。我有一个类,它保存sudoku的拼图数据,名为SudokuGrid,它有9x9数组。
浏览 1
提问于2020-10-16
得票数 1
回答已采纳
1
回答
多线程
: URL
抓取
、
、
我尝试多处理URL获取过程,因为否则它将花费大量的时间来处理我想要处理的30万个URL。不知何故,我的代码在一段随机的时间后停止工作,我不知道为什么。你能帮帮我吗?我已经对此做了一些研究,但找不到任何对我有很大帮助的东西。正常情况下,我可以处理大约20k个链接,但随后它冻结,没有错误,没有进一步的链接处理,程序仍在运行。也许所有的进程都被坏链接阻塞了?有什么办法解决这个问题吗?#datafull['SOURCEURL'].apply(html_reader) with futures.Th
浏览 2
提问于2018-03-05
得票数 0
1
回答
多线程
web
抓取
、
、
我考虑过
多线程
,但我很难深入理解它,也无法将它应用到以下代码中 manufacturers = requests.get("https://www.gsmarena.com
浏览 6
提问于2019-07-30
得票数 0
1
回答
Python
抓取
多线程
、
、
我正在尝试从Weather地下
抓取
天气数据,并使用multiprocessing.dummy库通过不同的线程运行我的请求。
浏览 0
提问于2015-06-30
得票数 0
回答已采纳
4
回答
递归函数MultiThreading,一次执行一个任务
、
、
、
我正在写一个程序来
抓取
网站。
抓取
功能是一个递归的功能,可能会消耗更多的时间来完成,所以我使用
多线程
来执行多个网站的
抓取
。
浏览 0
提问于2010-06-14
得票数 1
回答已采纳
5
回答
Python中的
多线程
爬虫真的可以提高速度吗?
、
、
我开始研究将其编写为
多线程
脚本,一个线程下载池和一个池处理结果。由于有了GIL,它真的可以同时下载吗?GIL对网络爬虫有什么影响?基本上我想问的是,用python做一个
多线程
爬虫真的比单线程能给我带来更多的性能吗? 谢谢!
浏览 4
提问于2010-05-14
得票数 10
回答已采纳
1
回答
如何减少使用HTMLagilitypack加载超文本标记语言页面的时间?
、
实际上,我是在这样的项目中,我需要从谷歌搜索结果显示的所有网站的联系页面链接。我设法通过使用Load方法( HTMLweb )单独加载所有url来实现这一点。但是,一个接一个地加载所有的url,然后获取联系人页面地址,需要花费大量的时间。private string GetContactPageFromURL(Uri url) //HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument();
浏览 0
提问于2015-05-07
得票数 0
1
回答
带参数的循环中的Python线程模块?
、
、
我试图创建一个爬虫,
抓取
网站上的前100页:def extractproducts(pagenumber): extractproducts(pagenumber) 在这种情况下,我该如何使用线程模块,这样urllib才能使用
多线程
一次
抓取
浏览 0
提问于2012-06-15
得票数 2
回答已采纳
2
回答
利用
多线程
/多处理加快
抓取
速度
、
、
、
、
我不知道如何在python中使用
多线程
/
多线程
来加快这个
抓取
过程,从instagram上的主题标签‘cat’获取所有用户名。 我的目标是使这个过程尽可能快,因为目前这个过程有点慢。
浏览 1
提问于2020-02-09
得票数 1
回答已采纳
2
回答
Python处理
多线程
的最佳方法是什么
、
我有一个
抓取
(网站)函数,它接受一个要
抓取
的网站,所以我可以很容易地创建每个线程并在每个线程上调用start()。 现在,我想实现一个num_threads变量,它是我希望同时运行的线程数。处理这些
多线程
的最佳方式是什么?例如:假设num_threads =5,我的目标是启动5个线程,然后
抓取
列表中的前5个网站并
抓取
它们,然后如果线程#3完成,它将立即
抓取
列表中的第6个网站
抓取
,而不是等到其他线程结束。
浏览 1
提问于2015-02-04
得票数 0
4
回答
Sql Server 2005连接限制
、
我们有很
多线程
在
抓取
连接,我知道ADO.NET做了连接池,但是我得到了OutOfMemory异常。我们去掉了db连接,它工作得很好。
浏览 13
提问于2008-10-02
得票数 1
回答已采纳
1
回答
如何更快地解析来自GRequest的响应?
、
、
、
、
我想网络
抓取
多个URL并尽可能快地解析,但是for循环对我来说不是太快,有什么方法可以通过异步、
多线程
或
多线程
来实现呢?
浏览 21
提问于2021-09-11
得票数 1
回答已采纳
4
回答
构建web爬虫
、
、
由于某种原因,我不喜欢
多线程
,因此到目前为止,我的索引器是以单线程的方式编写的。现在,我在构建爬虫时遇到了一个小难题。有人能建议一下,先
抓取
1个页面再索引,还是先
抓取
1000+页面和缓存,然后再索引,哪个更好?
浏览 2
提问于2009-05-14
得票数 1
1
回答
多线程
抓取
雅虎财经
、
、
无论如何,我发现
多线程
是一种潜在的解决方案。我也读到过使用
多线程
方法来
抓取
网站是不好的/可能会让你被屏蔽。雅虎会不会!如果我一次从几千个报价器中提取数据,你不会介意吧?当我按顺序执行这些操作时,什么也没有发生。
浏览 5
提问于2016-09-07
得票数 0
回答已采纳
4
回答
更快地
抓取
页面[PHP]
、
我有一个关于在PHP中
抓取
网页的小问题。我不得不在一个大的eshop上
抓取
大约90000个产品。我在PHP中尝试过,但一个产品需要2-3秒,这很糟糕。有什么建议吗,怎么做得更快?也许是C++
多线程
版本?但是HTTP请求的时间呢?我的意思是,它到底有没有PHP的限制?谢谢你的建议。
浏览 0
提问于2012-07-08
得票数 2
2
回答
在Windows Server2008平台上远程调试C++,缺少VS2010;MSVCP100D.dll
、
、
、
我已经用VS2010写了一个快速的C++控制台应用。我想通过Windows Server2008平台上的远程调试器运行它,以便确定为什么我不能在该操作系统上枚举CLSID_AudioInputDeviceCategory。当我第一次尝试运行控制台应用程序时,远程调试器显示以下错误:我确实尝
浏览 0
提问于2011-02-16
得票数 0
回答已采纳
1
回答
如何调试mac下的死锁?
、
、
、
我正在开发一个指向Mac环境的音频播放器端口。它在窗户下工作得很好,但对Mac却不行。当我和播放器一起播放音乐时,我遇到了一个无法预测的死锁,唯一能得到的信息就是转储挂起进程的线程堆栈。下面是我得到的调用堆栈:Sampling completed, processing symbols...Call graph
浏览 2
提问于2010-07-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python之多线程爬虫抓取网页图片
C+11多线程编程(一)——初始多线程
多线程爬虫
Python多线程使用技巧(同步+异步+强制结束多线程)
Python数据抓取(3)—抓取标题、时间及链接
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券