1回答
值的Web抓取器重复
、、、、
网络摩天大楼的目标是收集产品信息，大小，in等。我已经把一切都做对了，除了size和psizeID只是第一个产品data.Can的重复，有人能给我指出正确的方向吗？我是不是错过了史密斯。
浏览 12提问于2021-06-24得票数 0
3回答
Web抓取脚本返回重复的值
、、、、
我的网页抓取脚本由于某种原因返回重复的结果，我尝试了这么多替代方案，但就是不能让它工作。有谁能帮帮忙吗？no-name')
csv_writer.writerow([business, names])
csv_file.close() 它当前在all上返回重复的值它需要做的是为每个url调用返回一个'business‘和一个'names’值。如果没有
浏览 26提问于2019-05-15得票数 1
回答已采纳
2回答
我正在尝试从一个网站上抓取信息：。所有数据似乎都是在重复卡片中生成的，但我在查看页面源代码时找不到这些信息。我尝试过使用像Selenium这样的web驱动程序，但是仍然不能看到我想要抓取的内容。我希望能够提取每个条目的所有重复数据。install(), options=chrome_options)
dr
浏览 1提问于2020-08-04得票数 0
我正在尝试创建一个for循环，一旦它到达抓取的页面中的最后一个search_result属性，它将重复该循环，但会使用新抓取的网页的数据。在for循环到达最后一个属性后，它将在网页上查找链接，并对新抓取的网页重复该循环。
我已经写了下面的代码，但循环不会重复从原始网页的链接中获得新的抓取页面。search-result-index":T
浏览 7提问于2019-08-16得票数 1
回答已采纳
是否有web抓取工具或库可以自动检测重复的HTML块并抓取块中的文本内容，从而消除了人工输入规则- CSS选择器或xpath来查找内容的需要？这是基于这样的假设:现代内容网站是由PHP或Python等服务器端语言动态生成的。内容几乎总是由模板中的for循环呈现，因此总是可以找到重复的HTML块。</p>
<&#
浏览 3提问于2012-07-25得票数 0
1回答
重复数组数据Web抓取
、、、
我似乎无法从我的网络搜索结果中获得文章的副本，这是我的代码： }) res.json(err);});
现在，我正在将每篇文章的五个副本发送给用户我已经尝试过db.Article.
浏览 2提问于2018-04-03得票数 0
1回答
我正在一个中等大小的网站上做一个非常缓慢的爬行，以尊重他们对网络抓取的指导。这种情况意味着我需要停下来恢复我的蜘蛛。我测试了我的蜘蛛，发现当我干净地关闭它时，我可以再次启动它，爬行就会恢复到我停止的地方。今天，蜘蛛从一开始就开始了。我已经检查了我的pass1目录的内容，而且我的requests.seen文件也有一些内容，尽管对于我昨晚爬过的3000页来说，1600行看起来有点亮。在任何情况下，当我试
浏览 2提问于2016-05-11得票数 0
1回答
Web抓取缺失值
、、、、
我有一个简单的代码。
我这里有张照片。带下划线的位置是我要刮的位置，另一个是html代码。现在请注意，这个抓取过程与在图像中看到的相同HTML代码在相同的内容上工作，但是！在某些页面中，它是不工作的！当我试图打印出html代码块时，我想出了这个跨度应该属于的块，但是当我在崇高中使用find特性时，我没有找到它。因此，这意味着
浏览 4提问于2020-07-12得票数 2
回答已采纳
1回答
Web抓取更新值
、、
我是python的新手，我正在尝试获取一个不断更新的值。当您第一次进入站点时，该值显示为"laddar temperatur (加载温度)“，然后显示一段时间后的实际温度。当我运行我的脚本时，我得到的唯一的东西是“加载温度”值。我猜这与脚本每次运行时都会重新加载站点有关。我如何让它“停留”在网站上，并在“加载温度”之后收集信息？
浏览 16提问于2019-02-21得票数 1
3回答
动态值web抓取
、、
你好，伙计们，我一直在尝试在网页上刮一些包含不断变化的值的页面，但是到目前为止，我还无法得到价格。有人能帮我吗，这就是我现在到达的地方！
浏览 1提问于2018-12-11得票数 0
回答已采纳
5回答
如何从其他网站获取数据？
、、、
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？
浏览 1提问于2013-06-14得票数 4
1回答
从this website，我希望能够设置参数("Escolha o montante“和"Escolha o prazo")，并获得计算出的信息，如"Mensalidade"，”Taeg.“，...response_unibanco = requests.get(url_unibanco, headers=headers_unibanco).json()
Escol
浏览 15提问于2019-05-24得票数 1
回答已采纳
1回答
我正在尝试从一个使用pc部件的网站获取数据，我有一个在该页面上有超过3500个部件的链接，问题是如果我使用干净的链接：现在它获得了超过1000个产品的所有信息，但我不能重复这一点，因为脚本就是不想工作，我没有得到错误或其他任何东西。顺便说一句，我只得到打折的东西，所以它没有那么多的数据。
我想要一种方法，通过孔页面，而不必写的限制，我想要通过的产品数量。
浏览 9提问于2017-12-21得票数 0
回答已采纳
1回答
我已经创建了一个网页抓取器，在页面加载后，我试图获取在div中加载的动态数据。这是我的代码和源网站url // jQuery is handy for finding DOM elements我尝试了这个链接中的所有方法，但都不起作用。
请帮助和快速帮助将非常感谢。
浏览 14提问于2020-05-20得票数 0
我从列表(我的df转换为包含重复单词的列表的列)中抓取一个网页元素，并将结果返回到df中。我需要在抓取时找到排除重复的方法(以减少时间)，但同时在重复的情况下，我需要为所有重复的单词填充导出值。string3 Yesstring1 Yes
string4
浏览 15提问于2021-01-13得票数 2
回答已采纳
2回答
可能重复：
我只想做一些任务，比如表单输入和web抓取，但是在需要javascript支持的站点上。我还需要在同一个会话中输入表单、刮擦等等。理想情况下，我想要从命令行控制web浏览器的方法。我找到了用于Python的very浏览器库，但是它的功能看起来非常有限。如果这能与机械和BeautifulSoup接口，那就太棒了。有什么建议吗？谢谢!
浏览 1提问于2009-08-11得票数 0
回答已采纳
我试图从tradingview网站抓取内容。特别是在描述中给出的某一特定代码的行业。我有从浏览器的元素检查器复制的xpath。但它似乎不起作用，我得到的输出是"#N/A“。我所用的公式是
=IMPORTXML("https://www.tradingview.com/symbols/NSE-FINPIPE/", "/
浏览 0提问于2018-04-13得票数 0
1回答
抓取时有没有使用哪些标签的逻辑？现在，我只是在对不同的标签变体进行“反复试验”，看看哪种标签是有效的。这需要很多时间，而且真的很令人沮丧。我不能理解为什么有些标签能工作，有些不能。test2 = soup.find_all('div', attrs={'id':'YDC-Lead-Stack-Composite'})为什么第一个例子(test1)返回值，第二个例子(test2)没有返回值，有什么合理<
浏览 0提问于2020-05-25得票数 0
我想给scrapy一组网址，已抓取，当它是开始。如何向爬虫添加规则，让爬虫知道哪些urls被访问过？tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)
只需使用parse告诉爬虫抓取哪个
浏览 0提问于2012-11-28得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
