要抓取的网站具有不同的类名
抓取网站具有不同的类名是指在网页的HTML代码中，不同的元素可能会被赋予不同的类名属性。类名是一种用于标识和分类元素的属性，通过类名可以方便地对网页中的元素进行选择和操作。
在前端开发中，类名常常用于为元素添加样式，通过CSS选择器可以选择具有特定类名的元素，并对其应用相应的样式。在后端开发中，类名可以用于标识不同的业务逻辑或功能模块，方便代码的组织和管理。
抓取具有不同类名的网站可以通过爬虫技术实现。爬虫是一种自动化程序，可以模拟人类浏览网页的行为，从网页中提取所需的信息。通过分析网页的HTML结构，可以定位到具有不同类名的元素，并提取出相应的数据。
以下是抓取网站具有不同类名的一般步骤：
- 发起HTTP请求：使用编程语言中的HTTP库，如Python的requests库，向目标网站发送HTTP请求，获取网页的HTML代码。
- 解析HTML代码：使用HTML解析库，如Python的BeautifulSoup库，解析获取到的HTML代码，将其转化为可操作的数据结构，如DOM树。
- 定位目标元素：通过分析网页的HTML结构，使用CSS选择器或XPath等方式定位到具有不同类名的目标元素。
- 提取数据：根据需求，从目标元素中提取所需的数据，如文本、链接、图片等。
- 数据处理和存储：对提取到的数据进行处理和清洗，如去除空白字符、格式化数据等。可以将数据存储到数据库中，或者导出为其他格式的文件，如CSV、JSON等。
抓取网站具有不同类名的应用场景非常广泛，例如：
- 数据采集和分析：通过抓取具有不同类名的网站，可以获取大量的数据，用于市场调研、舆情分析、竞品分析等。
- 网络爬虫：抓取具有不同类名的网站是构建网络爬虫的基础，可以用于搜索引擎的索引、数据挖掘、信息监测等。
- 网页内容提取：通过抓取具有不同类名的网站，可以提取网页中的特定内容，如新闻标题、商品信息、论坛帖子等。
- 自动化测试：抓取具有不同类名的网站可以用于自动化测试，验证网站的功能和性能。
对于抓取具有不同类名的网站，腾讯云提供了一系列相关产品和服务，如：
- 腾讯云服务器（https://cloud.tencent.com/product/cvm）：提供弹性计算能力，用于部署和运行爬虫程序。
- 腾讯云数据库（https://cloud.tencent.com/product/cdb）：提供高可用、可扩展的数据库服务，用于存储和管理抓取到的数据。
- 腾讯云内容分发网络（https://cloud.tencent.com/product/cdn）：加速网站的内容分发，提高抓取效率和用户体验。
- 腾讯云人工智能（https://cloud.tencent.com/product/ai）：提供丰富的人工智能服务，如自然语言处理、图像识别等，可以应用于网页内容的分析和处理。
请注意，以上仅为示例，具体的产品选择和使用需根据实际需求进行评估和决策。
相关·内容
3回答
我想从网站上抓取数据。我使用下面的代码
import scrapy
class KamusSetSpider(scrapy.Spider):
name = "kamusset_spider"
start_urls = ['http://kbbi.web.id/abadi']
def parse(self, response):
SET_SELECTOR = '.tur highlight'
for brickset in response.css(SET_SELECTOR):
浏览 7提问于2017-07-06得票数 3
我是网络刮取技术的新手。在阅读了各种Web教程(如和 )之后，我尝试实现web抓取。这些文章是关于亚马逊网络抓取和Netflix网络抓取。还有很多关于Imdb，Rotten番茄和其他的教程。这些教程给我概述了哪些属性需要像class attributes, div tags等。不同的网站有不同的方法来获取这些标签。然而，这些标记是web抓取的基本元素。当我遵循这些教程时，我可以实现这些代码，但是当我试图解析一个不同于上述网站的网站时，我失败了。最近，我在priceline上尝试了代码块。但我只是搞砸了这么多的html代码。
我的价格代码
headers = {"User-Agent&#
浏览 5提问于2021-02-22得票数 1
我有一个网站，我想在那里获得元素的帖子标题。
我尝试过选择器，但只返回: selenium.common.exceptions.NoSuchElementException:消息:没有这样的元素:无法找到元素：{“driver.find_element_by_class_name("sc-1di2uql-1 vYcWR")”：“css selector"，"selector":".sc-1di2uql-1 vYcWR"}
我见过类似的帖子，问题是搜索的元素在iframe中，但我在这里看不到任何类似的东西。然后，我在大约一周前开始
浏览 10提问于2020-08-02得票数 2
回答已采纳
我有一段代码，我用它来抓取各种网站上的数据。
Connection conn = Jsoup.connect(url);
try {
doc = conn.get();
Element element = doc.getElementById(elementId);
System.out.println(element.html());
} catch (IOException e) {
e.printStackTrace();
}
该代码对大多数网站都很好，但是我注意到，对于我正在从其中一个网站抓取的网站来说，这段代码不起作用，因为HTML元素的id随着页面的
浏览 5提问于2015-12-03得票数 1
回答已采纳
为什么Scrapy只爬行start_urls，然后停止？有没有办法让Scrapy抓取网站目录树中的所有页面，比如？或者，有没有办法让Scrapy更深入地抓取start_urls页面上的所有链接？
class DmozSpider(CrawlSpider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/La
浏览 1提问于2014-11-25得票数 0
2回答
我有一个由Rails创建的站点。几个月前，我用谷歌网站管理员工具成功地验证了这个网站。然而，最近的网站管理员工具一直要求我验证我的网站。我再次尝试使用Meta标记和HTML文件来验证我的站点，但是现在我无法成功地验证它。我得到的错误消息是：
“验证失败。到服务器的连接超时。”
从那时起，谷歌就一直没有抓取我网站的内容--尽管谷歌仍然在我的网站上抓取我的PDF内容。
浏览 0提问于2011-03-07得票数 2
我在一个网站上工作，它解析优惠券网站，并列出这些优惠券。有一些网站将它们的列表以XML文件的形式提供--这没有问题。但是也有一些站点不提供XML。我正在考虑解析他们的网站，从网站内容中获取优惠券信息--用PHP从HTML中抓取数据。例如，您可以看到以下站点：
我正在使用PHP。所以，我的问题是-有没有一种相对简单的方法来解析HTML并获得该站点上列出的每个优惠券的数据，就像我在解析XML时得到的那样？
谢谢你的帮助。
浏览 1提问于2011-12-18得票数 1
回答已采纳
我想从亚马逊S3抓取一个文件。可能有多个文件以相同的文件名保存，例如：
file1.pdf
file-1.pdf
我想获取文件，它是修改或添加的，最近根据文件名。
我们是否可以使用查询或任何其他方式来完成这一任务？
我正在使用VB.net。
浏览 5提问于2017-10-25得票数 0
1回答
我需要网络抓取一个特定的网站，但它不允许网络抓取(403错误)。我正在考虑复制我需要的网站的html数据，并将其放入txt文档中，这样我就可以把它当做一个网页来抓取。这是可能的吗，还是有更好的方法来做这件事？
浏览 40提问于2018-07-19得票数 -3
回答已采纳
我试图使用Python来抓取一个网站，通过使用嵌入的javascript文件将数据呈现为HTML的响应来动态加载它的HTML。因此，如果仅使用BeautifulSoup，我将无法检索所需的数据，因为我的程序将在Javascript加载数据之前对其进行抓取。因此，我正在将selenium库集成到我的代码中，让我的程序等待某个元素被找到，然后它才会抓取网站。
我最初是这样做的：
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.ID, "tabla_evolucion")))
但
浏览 2提问于2019-07-29得票数 18
回答已采纳
1回答
基于类名的Web抓取
、、、
我正在做谷歌地图网站上的网络抓取，以获得两点之间的距离。抓取是基于className (因为属性没有Id)，所以如下所示：
document.getElementsByClassName("UgZKXd clearfix yYG3jf selected").item("")
这样做对吗？className会加班加点吗？如果是这样的话，有什么建议我应该如何实施呢？我不是一个前端开发人员，所以我找不到答案，谢谢！
浏览 3提问于2022-06-28得票数 -2
回答已采纳
我已经成功地让xhr在一个包含普通文本文档的网站上工作(我可以用从文档中抓取的文本来更新div的innerHtml )，我正在努力的是对页面的某些部分做同样的事情-用外部html文件中的新div替换某些div。外部文件只包含要替换的div： <img class="logos svg animate-me" src="img/mga_light.svg"/>
<p class="animate-me"> 120 <br> Bonus</p>
<a class="
浏览 21提问于2020-11-22得票数 0
回答已采纳
1回答
当我点击顶部导航子菜单的产品页面网站已经重定向新的弹出式空白窗口，安装后的“任务-产品问题”扩展到我的网站。。
我发现了这个问题，这个问题来自js文件夹，js文件夹是js文件。
这是密码；
document.observe("dom:loaded", function() {
function popupWindow(url) {
window.open(url, 'popupWindow', 'toolbar=no,location=no,directories=no,status=no,menubar=no,scrollbars=no,resiz
浏览 0提问于2015-02-27得票数 2
回答已采纳
我试图从网站上提取数据，如下所示： https://apps.ecology.wa.gov/tcpwebreporting/reports/ust?CityZip=Seattle&County=King&StoredSubstance=Unleaded%20Gasoline 我单击>按钮以获取每个加油站的更多详细信息。我试图抓取数据，但我找不到一种使用我的代码点击>按钮的方法。 我能够提取每一行的元素。我接下来该怎么办？ driver = webdriver.Chrome(executable_path=r'C:\Users\Owner\Desktop\C
浏览 23提问于2020-03-19得票数 0
我正在编写一个图像爬虫，它可以从网页中抓取图像。这是通过在网页上查找img标记来完成的。但最近我注意到，一些img标记中没有alt属性。有什么方法可以找到该特定图像的关键字吗？
是否有任何预防措施来抓取这些网站的图像？
浏览 2提问于2015-08-29得票数 0
回答已采纳
我每天都在用scrapy抓取一个新闻网站。如何限制scrapy抓取已抓取的URL。此外，在SgmlLinkExtractor上是否有明确的文档或示例。
浏览 1提问于2010-10-06得票数 15
这是我想要抓取的网站的一部分。
这是我的python selenium代码：
className = "_29hl"
try:
search = WebDriverWait(driver, 10).until(
EC.presence_of_all_elements_located((By.CLASS_NAME, className,))
)
print( search )
print( search[0] )
# the two print statement above print two
浏览 9提问于2020-12-07得票数 0
1回答
我在SO上看了所有类似的问题，但无法解决我的问题。Selenium似乎没有找到我试图点击的按钮，以便在抓取之前加载更多页面。
在下面的图片中是我试图在做一些抓取之前点击加载更多的的按钮(按钮的类名: btn btn-default)
我所做的:我使用了Selenium的webdriver。我尝试使用睡眠等待页面加载至少5秒。最后使用click()函数。我从这篇 (部分:使用Selenium)中得到了启发
urlpage = '‘
我的代码如下：
driver = webdriver.Firefox()
driver.get(urlpage)
driver.execute_scr
浏览 10提问于2020-06-07得票数 0
回答已采纳
我做了一个抓取网络爬虫，可以刮亚马逊。它可以通过使用关键字列表搜索项目，并从结果页面中刮取数据。
然而，我想从Amazon那里获得大部分的产品数据。我没有用于查询项的首选关键字列表。相反，我想要平均刮网站和收集X个项目，这是代表所有产品在亚马逊上。
有谁知道如何以这种方式刮一个网站吗？谢谢。
浏览 4提问于2020-12-14得票数 0
回答已采纳
3回答
不久前，我们写了一个内部网站，提供所有注册到我们网站的用户的持续更新。该网站提供了最近5分钟内注册的用户的信息，这些用户需要恒定的SQL (select * from users...)抓取来获取所有用户的where (Current time - Registered time) <= 300 seconds。随着时间的推移，持续的SQL查询已经成为一个瓶颈(并不是我们不知道这不会发生，而是我们当时需要内部网站，因为目标受众非常少，这是一个快速的解决方案)。
有没有人能给我一些建议，告诉我如何使用其他解决方案来消除周期性的SQL抓取，从而提高网站的性能？
浏览 3提问于2011-08-10得票数 1
回答已采纳
我正试着从Indeed.com上找个职位。
这是我的代码：
import scrapy
class JobsNySpider(scrapy.Spider):
name = 'jobs_ny'
allowed_domains = ['www.indeed.com']
start_urls = ['https://www.indeed.com/jobs?q=analyst&l=New%20York,%20NY&vjk=b588911bd50d7ab1']
def parse(self, respon
浏览 1提问于2022-02-10得票数 0
回答已采纳
我正在尝试为我的项目建立一个网站，但我在通过Selenium从这个中删除图像名称时遇到了问题
使用以下代码，我可以使用selenium从网站返回text数据
results = driver.find_elements_by_css_selector("li.result_content")
for result in results:
company_name = result.find_element_by_tag_name("h3").get_attribute("innerText")
product_name
浏览 12提问于2016-09-14得票数 1
回答已采纳
1回答
我正在从IMDB网站上抓取电影。在抓取的同时，我能够抓取电影的证书，即它是被禁止的，还是PG-13，或者是R，但似乎对于一些电影，证书不存在，所以我如何为那些电影放"-“，我尝试使用if-else循环，如下面的代码中所见，但它似乎不起作用。附上代码和截图以供参考。我正在使用BeautifulSoup库进行抓取。有没有办法把"-“或"NA”放在不存在的地方？
if data.find_all("span",{"class":"certificate"}):
certificate=[c.get_text() for
浏览 1提问于2020-09-17得票数 0
这个周末我在练习写刮板脚本。我的方法是修改我以前使用过的刮刀，从抓取股票“价格”到抓取一个属性:网站中使用的颜色。我研究了一些库和工具，比如lxml和漂亮的汤，并尝试了一些调试，但我不能完全理解。
目标:返回网站上使用的所有颜色的列表
这是我写的：
import urllib
import re
url="https://cloud.google.com/edu"
htmlfile = urllib.urlopen(url)
htmlsource = htmlfile.read()
regex = '<color:#aaa>'
pattern =
浏览 2提问于2017-06-19得票数 1
我需要从Excel中给出的域列表中抓取数据；问题是我需要从原始网站(让我们举个例子：)和从similartech ()抓取数据。
我希望它们同时被抓取，这样我就可以接收它们，并在最后格式化它们一次，之后我将直接转到下一个域。
理论上，我应该在scrapy中以异步方式使用2个爬行器？
浏览 2提问于2020-02-10得票数 1
1回答
从“查看更多”选项卡下隐藏了大量文本的网站中抓取数据。
通过selenium，单击所有这样的按钮，然后使用beautifulsoup进行刮擦。但是，一些按钮的HTML标记中有额外的空格。将它们复制并粘贴到browser.find_element_by_class_name('')总是会产生错误。
class="pv-profile-section__see-more-inline pv-profile-section__text-truncate-toggle
artdeco-button artdeco-button--tertiary artdec
浏览 7提问于2021-12-14得票数 0
回答已采纳
6回答
我正在尝试提取URL末尾的字符串。示例：
C:\this\that\ExtractThisString.exe
^^^^^^^^^^^^^^^^^^^^^
我试图从这个字符串中获取ExtractThisString.exe，但是它有未知数量的\，我想让它基本上抓取URL并列出它末尾的任何内容。
浏览 4提问于2012-03-23得票数 3
回答已采纳
您好，感谢您的帮助， 我一直使用Python和Newspaper3k来抓取网站，但我注意到有些函数是...well的……不起作用。特别是，我只能抓取大约1/10甚至更少的站点的HTML这篇文章。下面是我的代码： from newspaper import Article
url = pageurl.com
article = Article(url, keep_article_html = True, language ='en')
article.download()
article.parse()
print(article.title + "\n" +
浏览 61提问于2020-07-17得票数 1
回答已采纳
我需要从谷歌搜索引擎信息栏中抓取文本数据。如果有人使用关键字“西门子”在谷歌搜索引擎上搜索。一个小的信息栏出现在谷歌搜索结果的右侧。我想为那个信息栏收集一些文本信息。我如何使用requests和Beautifulsoup来做到这一点呢？下面是我写的一些代码。
from bs4 import BeautifulSoup as BS
import requests
from googlesearch import search
from googleapiclient.discovery import build
url = 'https://www.google.com/search?
浏览 75提问于2019-03-15得票数 1
回答已采纳
4回答
我想开始学习java中的图形用户界面。但是，当我试图将一个简单的JFrame代码从一个教程网站复制到Textpad并试图编译它时，出现了一个错误：
"C:\Programming\Java\Practice GUI\GUIPractice.java:7:错误:无效的方法声明；返回类型必需的公共MyFrame() {^1错误“
当我也从其他网站复制简单的GUI代码时，也会发生这种情况，这似乎是什么问题？我知道方法必须是void或返回类型，但为什么该方法不指定是否为void或如果为返回类型，则为数据类型？这似乎是其他站点的GUI代码的语法。
代码如下：
// file: EmptyFram
浏览 21提问于2017-02-21得票数 1
我对Scrapy非常陌生。我设法创建了一个Scrapy项目，运行它来抓取网站，并将废弃的信息保存在csv文件中。然而，每次我运行它，似乎被抓取的网页的数量和顺序都不同。我很确定这个网站在这段时间内是静态的。一般来说，这是正常的吗？
浏览 0提问于2014-03-08得票数 0
1回答
我想从包含以下HTML的网站中抓取一个页面：
<div class="section">
<div ng-bind="1" class="item even">First item</div>
<div ng-bind="2" class="item odd">Second item</div>
<div ng-bind="3" class="item-alt even">Third item</div&g
浏览 0提问于2022-09-22得票数 0
回答已采纳
我正在使用Scrapy来抓取一个网站。我想要抓取的项目页面类似于：。其中x是从1到100的任意数字。因此，我有一个SgmlLinkExractor规则，并为类似的页面指定了一个回调函数。
该网站没有与所有项目的列表页面，所以我想以某种方式很好地抓取这些网址(从1到100)。这个叫的家伙似乎也有同样的问题，但是他想不出来。
有谁有解决方案吗？
浏览 0提问于2011-05-17得票数 0
2回答
我想要创建一个PowerShell脚本从一个网站获得信息。我正在试图找到第一次出现以下HTML标签的网站：
<div class="dDoNo gsrt"><span data-dobid="hdw">Text I want to find</span></div>
我正在使用以下PowerShell代码，但没有成功，没有输出：
$WebResponse = Invoke-WebRequest "https://www.google.co.in/search?hl=en&q=define+Text&
浏览 0提问于2018-11-09得票数 0
回答已采纳
1回答
我对网络抓取有问题。我想做的是：
我有一个网站：
正如你在页面按钮"Rezervisi“上看到的，当我点击它时，我想要抓取下一个数据：
第一个下拉菜单当站点打开新窗口时，其"Volkswagen！1.0“在下拉列表中我要抓取所有汽车，然后在这个名为"Mesto preuzimanja vozila”下拉菜单中我要抓取所有项目，而在名为"Mesto vracanja vozila“的下拉菜单中我要抓取所有项目。
这是我尝试在第一个下拉菜单中输入汽车名称的方法：
Document doc
= Jsoup.connect("https:
浏览 0提问于2019-08-07得票数 0
2回答
我正在尝试从数千个相同的Excel 2007/2010文件中剥离数据。我更喜欢使用抓取技术来做这件事。据我所知，Excel文件基本上是某种XML格式，所以可以抓取该文件吗？
那么，是否可以将Excel文件转换为XML或其他标记格式呢？
浏览 3提问于2010-10-16得票数 1
回答已采纳
我正在努力刮product_links的目标网站。程序应该在浏览器中打开所需的URL，并使用特定的类名刮取所有链接。但出于某种原因，我得到了这段代码的NoSuchElementException
links = driver.find_elements_by_class_name("styles__StyledTitleLink-mkgs8k-5")
for link in links:
self.driver.implicitly_wait(15)
product_links.append(link.find_element_by_css_selector(
浏览 6提问于2020-06-21得票数 1
我正在为大学做一个涉及网络抓取的项目。我试图在这个网站()中获得球员档案的所有链接。我尝试用以下代码获取链接：
library(XML)
doc_parsed<-htmlTreeParse("ranking.html",useInternal =T)
root<-xmlRoot(doc_parsed)
hrefs1 = xpathSApply(root,fun=xmlGetAttr,"href",path='//a')
"ranking.html“是保存的链接。当我运行代码时，它给了我一个6887的列表，而不是玩家profil
浏览 0提问于2015-11-03得票数 1
回答已采纳
我使用PHP和简单的尝试从一个网站抓取歌词。歌词与班级的“歌词”一起举行。下面是我用来尝试抓取div并显示它的代码。目前，它只返回“数组”到我的网页。当我对数组进行jsonify时，我可以看到数组是空的。
<?php
include('simple_html_dom.php');
$data = file_get_contents("https://example.com/songlyrics");
$html = str_get_html($data);
$lyr = $html->find('div.lyrics');
echo
浏览 2提问于2017-04-17得票数 1
回答已采纳
1回答
我想抓取雅虎，并获得前10名的结果匹配关键字。
我使用链接来抓取结果
我所使用的代码是：
public static void main(String args[]) throws IOException
{
try
{
Document doc = Jsoup.connect("https://in.search.yahoo.com/search;_ylt=AibrWnqoneznrEAiS9bG0aOuitIF?p=solar+systems&toggle=1&cop=mss&ei=UTF-8&fr=yfp-t-405
浏览 0提问于2014-04-27得票数 1
回答已采纳
嗨，我要在一个项目上工作，在这个项目中，我想查询一些网站，并从他们获取类似的数据，并将其呈现给用户。例如:如果一个用户有一个查询的名称-“锐步鞋”的大小为"9.0“的范围"$30到$75”，我的应用程序应该景观这些查询的几个网站(我将提供)，并从them.Without获取相关数据保存在数据库中的数据，我需要格式化和提取给用户。我是新来的，所以需要关于选择哪个框架或工具或任何重要的东西，我应该知道关于网络抓取的指针。我确实研究了一些工具和框架，但不确定哪一个能够处理特定于查询的web抓取。
浏览 0提问于2012-10-07得票数 1
回答已采纳
2回答
我正在编写一些Python代码来抓取网站，最终我将得到越来越多的自定义抓取器，每个大约50行长，从特定的网站中提取特定的信息。
我的程序的第一次迭代是一个巨大的文件，它以网站为参数，如果它识别该网站并为其提供自定义代码，则抓取该网站(使用一个巨大的case语句来检查它是否识别该网站)。
显然，这不是一个很好的设计，所以我想要做的是将自定义抓取函数放入它们自己的文件/类中，并有一个小脚本，我可以用它来按名称调用它们。例如：
scrape.py --site google
我想要一个类似如下的文件结构：
scrape.py
sites/
google.py
yahoo.py
浏览 0提问于2010-11-22得票数 3
回答已采纳
2回答
我目前正在开发我在react中的第一个网站。在我的main.module.css中 * {
padding: 0;
margin: 0;
box-sizing: border-box;
} 只是典型的css样式重置。但React返回错误： Syntax error: Selector "*" is not pure (pure selectors must contain at least one local class or id) 你对此有什么解决方案吗？我想保持这个样式重置，而不是将这三行添加到我拥有的每个元素中。
浏览 62提问于2020-12-14得票数 2
1回答
我正在尝试获得一些关于网络抓取这个网站的观点。基本上，我要做的是使用标题键作为从网站抓取数据的一种方式，并创建一个元组列表，我将把它转换为一个数据帧。 问题是导航以显示不同的结果，并使用for循环来执行此操作(例如，从前50个结果导航到下一个50个结果。 我需要访问哪些属性、类等才能从一个选项卡迭代到另一个选项卡，直到达到最大行数？ https://www6.sos.state.oh.us/ords/f?p=119:REGRESET:0
浏览 19提问于2019-09-04得票数 0
1回答
这个问题在某种程度上是我之前提出的问题的后续问题。
我试图刮一个网站，其中包含一些链接在第一页。类似于的东西。
现在，由于我想要抓取页面上显示的项目的详细信息，我已经提取了它们各自的URL。
我已经将这些URLS保存在一个列表中。
如何启动爬行器来逐个抓取页面？
为了更好地理解：
[urlA, urlB, urlC, urlD...]
这是我抓取的URL列表。现在我想启动一个爬虫来逐个抓取链接。
我该怎么做呢？
浏览 0提问于2015-01-16得票数 2
1回答
我正在尝试抓取的网站：https://apps.nl.tele2.nl/zakelijk/postcodecheck/business-extern 这是一个抓取邮政编码+可用性的工具 Sub Pulldatafromweb()
Dim IE As Object
Dim doc As HTMLDocument
Dim ieobj As InternetExplorer
Dim htmlEle As IHTMLElement
Dim i As Integer
i = 1
Set IE = CreateObject(
浏览 25提问于2021-03-17得票数 0
2回答
OI希望从第三方网站检索和抓取大量有关用户的数据。一旦该用户登录，我就会从第三方网站获取他们的数据，并将其抓取。如何才能最有效地防止服务器上的大量负载，并确保页面加载不会太慢？我正在考虑建立一个后台进程来检索数据，并将该进程设置为低优先级。你们有没有其他的建议给我？
我使用的是PHP和Mysql。
浏览 0提问于2011-08-21得票数 0
1回答
我正在尝试抓取一个网站。我能够从那个网站上抓取数据。我无法将抓取的数据保存到我包含的yaml文件中
我的代码：
require 'rubygems'
require 'open-uri'
require 'hpricot'
article = []
doc = open("http://www.cmegroup.com/trading/interest-rates/cleared-otc/irs.html"{|f| Hpricot(f) }
(doc/"/html/body/div/div/div
浏览 10提问于2011-07-20得票数 0
回答已采纳
1回答
使用PHP DomXPath来抓取一些网站。
当前使用此遍历XPaths。
我目前正在抓取这个，获取字符名和蒸汽ID (下面的XPath是得到一个蒸汽ID的东西)。
我的问题是-有多个蒸汽is和字符名称。我精心创建的XPath只得到一个。
我应该如何刮除所有的蒸汽I而不是其中的一个？
$xpath = new DomXPath($this->ourTeamHTML);
/* Set HTTP response header to plain text for debugging output */
header("Content-type: text/plain");
浏览 5提问于2015-06-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
