我在尝试抓取网站上的链接。当我点击链接时,它可以是一个汽车广告,也可以是一个普通的广告。对于这两种类型的广告,我需要抓取的键是相同的: 对于汽车广告- data =dict_keys‘’header‘,'description','currency','price','wanted','id','photos','section','age','spotlight','year','state','friend
我试图通过网络抓取一个有地方广告的页面。为了获取这些位置的地址,我需要单击每个位置,只需抓取地址部分,然后返回,对下一个位置执行此操作。这个过程需要几页。 我正在使用beautiful soup进行抓取,使用selenium进行浏览器访问。 import urllib2
import csv
from bs4 import BeautifulSoup
import pandas as pd
import selenium
from selenium import webdriver
import time
from time import sleep
erasmusu_base =
我正在使用jSoup爬行一个网站,以便从它显示的广告中获取信息。大多数广告包含共同的元素,但对一些人来说,它们是缺失的。我试图抓取所有的广告,虽然包括那些不共享共同元素的广告,但我正在努力。以下是我所掌握的基础知识:
Elements gene = doc.select("div.item");
for (Element c : gene) {
Elements monk1 = c.select("li.cool");
Elements monk2 = c.get