腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
在循环中迭代时,在循环中
访问
MySQL的效率是高还是低?
、
、
、
我正在编写一个
PHP
脚本来从web上
抓取
数据。最终,我想要把所有
抓取
的数据很好地塞进mysql数据库中并进行格式化。但是,由于
PHP
脚本中有多个循环和数组需要迭代,我的直觉是,为了
速度
和效率,最好不要保持对mysql数据库的循环
访问
(在每次循环时插入数据),而是将数据存储在
PHP
中的临时数组中,然后仅在脚本结束时将数组一次性转储到
浏览 2
提问于2012-05-12
得票数 1
回答已采纳
1
回答
为什么我的python进程会在几次迭代后停止?
、
我不知道为什么下面的代码在几次迭代后就停止工作了。python进程将继续在终端上运行,但不会下载或检查任何文件。#Manga downloaderimport requestsimport bs4import urllib.requestfrom pathlib import Path name=input("Enter comic name:") chaptersta
浏览 22
提问于2017-07-03
得票数 1
1
回答
HTML Agility Pack for .net线程对于跨并行线程使用单个HtmlDocument实例的只读
访问
安全吗?
、
、
、
HTML Agility Pack for .net线程对于跨并行线程使用单个HtmlDocument实例的只读
访问
安全吗?我正在
抓取
单个页面,但
抓取
页面的某些部分以获取所需数据的
速度
可能会很慢,因此我希望使用并行c#库一次
抓取
页面的多个部分。
浏览 2
提问于2012-07-14
得票数 0
1
回答
是否有一种方法可以让视图筛选值由
PHP
来确定?
、
我需要搜索与
访问
者cookie值相等的字段。如何在视图筛选器中将$_COOKIE小菜鸟作为标准值?(我知道我可以使用views_
php
抓取
所有的记录,然后过滤掉,但这是很多记录,而且
速度
太慢了。)
浏览 0
提问于2013-09-13
得票数 1
回答已采纳
1
回答
PHP
cURL vs Python Scrapy?
、
、
我已经开始使用Python Scrapy
抓取
网站数据,尽管我在
PHP
cURL方面有丰富的经验。我不知道哪个更适合
抓取
数据和操作返回值,以及
速度
和内存使用情况。
浏览 0
提问于2013-05-21
得票数 0
3
回答
抓取
网站的请求/第二标准是什么?
这是与我的问题最接近的问题,但它并没有得到很好的回答: 你每秒应该做多少个请求来
抓取
?对此有什么标准吗?当然,所有的大型搜索引擎在这方面都有一些他们所遵循的准则。
浏览 0
提问于2010-05-30
得票数 10
1
回答
有没有任何快速的方法来刮一个有无限滚动的网站?
、
我正在尝试使用python来
抓取
一个用无限滚动实现的网站。实际上,网络就是pinterest。我知道如何使用selenium来
抓取
具有无限滚动的web。但是,WebDriver基本上模仿了
访问
web的过程,而且
速度
慢得多,比使用BeautifulSoup和urllib进行
抓取
要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗?谢谢。
浏览 0
提问于2014-12-29
得票数 0
回答已采纳
2
回答
curl_exec最大执行时间-是什么导致的?
、
、
我得到了可怕的信息:3-有没有比使用curl更好/更快/更稳定的方法来降低提要? 感谢大家的帮助!
浏览 1
提问于2011-12-04
得票数 9
2
回答
简单的网络爬虫
速度
问题
、
我用
PHP
创建了一个非常简单的网络爬虫,用来
抓取
一些足球网站的比赛结果。$doc = new DOMDocument(); $doc->loadHTMLFile("http://resultater.dai-sport.dk/tms/Turneringer-og-resultater或者也许我对<em
浏览 2
提问于2015-04-20
得票数 3
4
回答
加载xml会降低我的网站的
速度
、
有没有可能加载xml会减慢我的站点
速度
?我已经用
php
编写了这个小函数来迭代一个字符串数组来计算我的关注者总数 foreach ($array as $value) {>feed->entry['circulation']; return $circulation;这个数组大约有10个项目,自从我开始使用它以来,它真的减慢了我的网站的
速度
浏览 0
提问于2010-05-21
得票数 1
回答已采纳
1
回答
我的错误导致SE上的坏链接,如何解决它?
、
、
/maghalat.
php
?id=$1注意:我已经将我的.htaccess更改为: RewriteRule ^articles/isfahan_articles([0-9]+).html$ maghalat.
php
浏览 1
提问于2011-08-22
得票数 0
2
回答
抓取
并发或分布式爬网
、
、
我想用scrapy
抓取
相当大的网站。在某些情况下,我已经有了
抓取
的链接,而在其他情况下,我需要提取(
抓取
)它们。我还需要在运行时
访问
数据库两次。一次是为了确定是否需要
抓取
url (蜘蛛中间件),一次是为了存储所提取的信息(项目流水线)。理想情况下,我可以运行并发或分布式爬行,以加快
速度
。使用scrapy运行并发或分布式爬网的推荐方式是什么?
浏览 5
提问于2015-05-28
得票数 4
1
回答
在远程服务器上
抓取
tweet的
速度
取决于什么?
、
、
、
我的网络应用程序是使用 Python包来
抓取
推文。
访问
该网站的用户输入一些关键字并点击“擦除”按钮。Python后端
抓取
包含关键字的tweet,经过一些自然语言处理分析,并在图表中可视化结果。这个API包允许你使用Beautiful Soup
抓取
tweet,因此你不需要创建twitterscraper凭证。
抓取
速度
取决于您正在使用的互联网带宽。所以问题是,当我把这些文件放到托管服务器上并发布when应用程序后,当用户点击“
抓取
”按钮时,
抓取
速度
浏览 70
提问于2020-05-18
得票数 0
回答已采纳
4
回答
如何使用jQuery从其他网站
抓取
内容?
、
、
、
我正在用
PHP
做一个新闻网站项目,对于这个项目,我想使用jQuery/JavaScript从其他新闻网站获取内容。jQuery有没有从其他域名
抓取
内容的功能?在Stack Overflow中,我读到了jQuery.get()函数,是否可以使用此函数从其他站点
抓取
内容?
浏览 3
提问于2012-02-22
得票数 2
回答已采纳
2
回答
如何在24小时内从动态加载的网页中
抓取
超过5万个数据点?
、
、
我正在使用selenium python,我想知道如何在24小时内有效地
抓取
超过50,000个数据点。例如,当我在网页'insight.com‘上搜索产品时,
抓取
器大约需要3.5秒来搜索产品并获取其价格,这意味着对于大量数据,
抓取
器需要几天时间。我只有一台笔记本电脑,将不得不同时
抓取
其他六个类似的网站,因此不想要太多的线程,计算机的运行
速度
将显着减慢。人们如何实现在如此短的时间内
抓取
大量数据?
浏览 28
提问于2020-06-18
得票数 2
2
回答
如何提高file_get_contents()的
速度
?或任何其他方式
、
、
、
我有一个网站
抓取
项目。看看这段代码:include('db.
php
');$rows= mysql_num_rows($r);如何提高file_get_contents()的
速度
?或者如何使用线程化或配置
php
.ini文件或任何其他
浏览 2
提问于2013-07-13
得票数 1
1
回答
我可以使用XML-RPC将Python
抓取
的文章发布到我的wordpress站点上吗?
、
、
、
我是编程新手,在前两周学习了一点Python,并编写了一个自动化脚本,从网站上
抓取
每个类别中的类别和文章。
浏览 0
提问于2020-05-17
得票数 0
3
回答
当URL具有产品id而不是真值时,
抓取
网站中的信息
、
、
我猜是它的
php
,但是最好的方法是做一个循环,从一个使用id的网页中
抓取
cURL信息,比如(?ProductId=103)大约有1200个页面。我需要找到每页上第9个跨度的innerHTML。此信息将只存储在一个mySQL表(id->值)中,以备将来对此站点进行
抓取
。
浏览 2
提问于2011-01-28
得票数 1
回答已采纳
2
回答
简化代码以加快
php
抓取
器
速度
、
、
php
$pagenumber = 1001; 获取内容回显行<td><a href='http://www.exampl
浏览 0
提问于2011-10-10
得票数 0
回答已采纳
1
回答
如何诊断慢速
php
镜像代理?
、
、
然而,它是长期缓慢的,我不知道为什么,它
访问
的页面是: $args = $_GET['q'];它所做的一切就是
抓取
图像并重新提供服务。 有没有办法在整个堆栈的哪个阶段(从web服务器到
php
脚本)调试导致
速度
如此缓慢?
浏览 2
提问于2013-03-07
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PHP模拟浏览器访问,抓取非本地文件的几种方法爬虫
ZoomEyeAPI批量抓取与Redis未授权访问
速度再提升!PHP 7.3比PHP 7.0快22%
PHP访问修饰符的使用
go php c的速度比较
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券