1回答
我正在学习python，我正在尝试建立一个小型的web抓取项目。我面临的问题是，无论何时我得到的价格都与产品不同。我得到了标题，URL在正确的顺序，但价格似乎是随机的顺序。
浏览 7提问于2020-11-27得票数 0
我在ASP.net和C#建设一个网站，其组件之一涉及登录到一个网站，用户有一个帐户(例如移动电话公司)代表用户，从这个网站的信息，并将其存储在我们的数据库中。我不需要一个软件来做这件事，我需要一个可以与我的C#代码集成的软件开发工具包。科比
浏览 0提问于2011-10-12得票数 0
回答已采纳
我正在使用抓取一些购物网站。我有一个很大的问题，这使得这个脚本和任何其他对我来说都没有价值。我们计划抓取一个叫digikala (www.digikala.com)的购物网站的页面.问题是主产品网格从AJAX调用加载其数据。那么我该如何抓取这个产品页面呢？
在获取页面之前添加一些等待(例如10秒)来解决这个问题？
浏览 2提问于2015-09-06得票数 1
1回答
我刚接触servlet，并试图找到一种从url获取值的方法，例如/api/v1/http://localhost:8080/getInfo/product/1/order/22，这样我就知道如何在web.xml中映射url getInfo。所有我正在寻找一种方法，从网址获得产品价值和订单价值。我们如何在servlet中做到这一点？任何方
浏览 2提问于2016-01-20得票数 0
2回答
我使用Python语言和BeautifulSoup来抓取存储。我想问的是，如果我需要清理一些其他的eCommerce商店(比如亚马逊、Flipkart)，我是否需要定制我的代码，因为它们具有不同的HTML ( 和 名字是不同的，另外还有其他东西)。我想知道比价网站是如何从所有在线商店中抓取数据的？他们对不同的在线商店有不同的代码，还是有通用的代码？他们会研究每个在线商店的HTML模式吗？
浏览 40提问于2014-12-28得票数 7
回答已采纳
我正在使用selenium python，我想知道如何在24小时内有效地抓取超过50,000个数据点。例如，当我在网页'insight.com‘上搜索产品时，抓取器大约需要3.5秒来搜索产品并获取其价格，这意味着对于大量数据，抓取器需要几天时间。从使用线程同时查找多个产品的一部分，我还可以如何加速这个过程？我只有一台笔记本电脑，将不得不同时抓取其他六个类似的网站，因此不想要太多的线程，计算机的运行速度将显着
浏览 28提问于2020-06-18得票数 2
1回答
我正在尝试抓取亚马逊的网站上的产品，在实现了一个正常的抓取过程后，我试图给程序增加一些“复杂性”。
我的想法是，从.txt接收特定的关键字。有了这些关键字，我使用搜索栏来获取匹配它们的产品，并抓取数据。它工作得很好。问题是，根据关键字，例如，笔记本电脑和鞋子，解析器需要不同的工作方式，因为鞋子有不同的尺寸，颜色等，所以我需要从“鞋子”产品中抓取的数据与从“笔记本电
浏览 0提问于2018-12-27得票数 0
1回答
日志显示(在我看来)相当随机的查询时间：
从数据库中抓取200个产品花了00:01:06.8207146秒。从数据库中抓取200个产品花了: 00:00:58.5194938秒。
从数据库中抓取200个产品花了: 00:00:03.544
浏览 2提问于2014-06-06得票数 1
1回答
我跟在YT上的一些视频一起学习一些关于网络抓取的知识。我唯一找不到的就是在使用soup_findAll(#,{#,:#})时，当所有的I都不同时，我将如何提取条目？
浏览 0提问于2020-03-25得票数 0
回答已采纳
你好，我想抓取多个电子商务网站，并获得所有可用的产品被抓取和显示在我的网站。我已经使用Java开发了爬虫，但在这方面，我们必须通过提供URL和HTML标记来手动抓取网站，并通过连接URL和解析URL来抓取站点，并在相应的HTML标记中获取产品。在这个例子中，我使用JSoup (“doc.getElementsByTagName”)；在名为“爬行”的标签中获取产品
但我想让爬行完全自
浏览 1提问于2014-01-20得票数 1
我正在构建一个项目，它要求我获取amazon产品的图片、价格和URL。每个用户都有自己的产品，其他用户可以看到其他用户的产品，而且我把所有的东西都保存在数据库中，所以我想要抓取数据，但是服务器上的内容太多了，无法在每个请求上进行抓取。因此，我试图找到一个API，可以从产品的关键字中获取产品URL、ProductImage和Product 。
会很乐意帮忙的。
浏览 3提问于2020-12-28得票数 0
2回答
1)当从hibernate获取实体时，我总是在抓取之后关闭会话，而且通常需要在不同的时间(不同的会话)获取相同的实体。然后，我需要对获取的实体执行一些操作，在更新时会遇到一些问题，因为我对不同的实体执行不同的操作(在数据库中这些操作完全相同)。
有什么好办法来避免这样的问题吗？2)-当从在网络中工作的软件中更新实体时，通常两台不同的计算机在相同的
浏览 0提问于2019-01-02得票数 0
回答已采纳
我所能做的就是从web上获取文本并在Excel中写入，我正在尝试使用Web抓取，但只有一个产品会显示在我的excel表格中，有人知道怎么做吗?或者有什么例子吗？请协助。谢谢。
浏览 19提问于2020-09-01得票数 0
1回答
我有一个报告，它应该显示转换前后产品的库存价值。
在此图像中，我在详细信息部分中将SCID boc命名为sSCID，以尝试将其与表<
浏览 3提问于2012-10-29得票数 0
回答已采纳
我正在从一个运动卡验证站点(例如，psaard.com/cert/25819397/)中抓取表格数据，该站点将每张卡片封装在丙烯酸中，并具有一个带有web源表导入的唯一条形码。现在列出卡片非常耗时，因为它们有许多重要的属性都必须输入，所以从抓取的过程中，我将返回的字段映射到我的产品csv ，然后将它们添加在一起，因此我必须输入尽可能少的数据。我将返回的品牌、年份和播放器作为产品的导入标题“播放器+年份+品
浏览 0提问于2016-10-13得票数 0
我正在尝试从google快速答案框中获取web抓取答案，但我想要的元素没有给出任何值。但它根据元素来源显示价值。
浏览 3提问于2017-03-15得票数 1
更具体地说，我试图从我事先不知道的页面中解析产品信息，包括名称、价格和描述。你知道这样的图书馆吗？有没有其他方法可以尝试解决这个问题？
浏览 2提问于2012-06-10得票数 1
回答已采纳
我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
我需要帮助完成以下工作：
在我的web应用程序中，用户应该能够提交产品，包括来自某个产品站点的产品图像。他们首先输入一个产品url，用于exc。Www.amazon.com/product1 1..。那么，我想要做的是给用户一个简单的方法来选择产品图像，方法是从产品url中显示一些可能是正确的产品映像的图像。到目前为止，我设法从产品url (使用webc
浏览 4提问于2010-11-22得票数 0
如果我有一个已经从我的API中获取的产品数组，现在我想要获取一个产品。我是应该过滤抓取的数据，还是应该根据产品Id重新发起API请求？
浏览 12提问于2021-01-19得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
