问BeautifulSoup返回空值
EN

Stack Overflow用户

提问于 2022-01-24 03:24:37

回答 1查看 226关注 0票数 -1

谁来帮帮我..。我不知道它为什么会返回空值。以下是我的代码：

titles = []
links = []
page = 1

while (page <= 106):
    
    url = requests.get(f"https://covid19.go.id/p/hoax-buster?page={page}&search=")
    soup = BeautifulSoup(url.text, 'lxml')
    articles = soup.find_all('a', class_='text-color-dark')
    
    for article in articles:
        title = article.text.strip()
        titles.append(title)
        link = article['href']
        links.append(link)
        
    page += 1

len(links)
0

python

web-scraping

beautifulsoup

腾讯云BI 新春特惠

首年仅需9.9元，续费同价

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-01-24 07:19:14

为了获得可靠的结果，看起来您需要提供一个合适的搜索字符串。没有它，结果几乎是随机的，而且大多是空的。您可以简单地搜索一个空格(所有文章都包含其中)。

例如：

import requests
from bs4 import BeautifulSoup

data = []

for page in range(1, 4):   # 107 for all pages
    url = f"https://covid19.go.id/p/hoax-buster?page={page}&search=%20"
    r = requests.get(url)
    soup = BeautifulSoup(r.content, 'lxml')
    articles = soup.find_all('a', class_='text-color-dark')
    print(f"{len(articles):3}  {url}")
    
    for article in articles:
        title = article.text.strip()
        link = article['href']
        data.append((title, link))

for title, link in data:
    print(f"{title:70}   {link}")

因此，对于前3页，您可以看到每页有多少篇文章，后面是所有收集到的标题和链接：

 12  https://covid19.go.id/p/hoax-buster?page=1&search=%20
 12  https://covid19.go.id/p/hoax-buster?page=2&search=%20
 12  https://covid19.go.id/p/hoax-buster?page=3&search=%20
Awas Hoaks: Benda Logam Menempel pada Lengan setelah Divaksi...          https://covid19.go.id/artikel/2022/01/24/awas-hoaks-benda-logam-menempel-pada-lengan-setelah-divaksin
Awas Hoaks: WHO Mengatakan Vaksinasi di Seluruh Dunia Harus ...          https://covid19.go.id/artikel/2022/01/23/awas-hoaks-who-mengatakan-vaksinasi-di-seluruh-dunia-harus-dihentikan
[SALAH] Kipas Angin Listrik yang Diletakkan di Dahi Dapat Me...          https://covid19.go.id/artikel/2022/01/22/salah-kipas-angin-listrik-yang-diletakkan-di-dahi-dapat-menghilangkan-virus
[SALAH] Video Protes Melawan Tirani Covid-19 di Belanda                  https://covid19.go.id/artikel/2022/01/22/salah-video-protes-melawan-tirani-covid-19-di-belanda
[SALAH] Viagra Dapat Menyembuhkan Covid-19                               https://covid19.go.id/artikel/2022/01/22/salah-viagra-dapat-menyembuhkan-covid-19
[SALAH] Pasien Covid-19 Tanpa Gejala Berarti Sehat dan Menda...          https://covid19.go.id/artikel/2022/01/22/salah-pasien-covid-19-tanpa-gejala-berarti-sehat-dan-mendapatkan-hasil-test-positif-palsu
Awas Hoaks Penyebaran Varian Omicron Lebih Cepat dari Jadwal...          https://covid19.go.id/artikel/2022/01/21/awas-hoaks-penyebaran-varian-omicron-lebih-cepat-dari-jadwal-mei-2022
[SALAH] Telah Muncul Varian Baru Corona Bernama “Florona”                https://covid19.go.id/artikel/2022/01/19/salah-telah-muncul-varian-baru-corona-bernama-florona
[SALAH] Atlet Tenis Dalila Jakupovic Mengalami Kesulitan Ber...          https://covid19.go.id/artikel/2022/01/19/salah-atlet-tenis-dalila-jakupovic-mengalami-kesulitan-bernapas-saat-babak-kualifikasi-australia-open-karena-vaksin-covid-19
[SALAH] Login ke Facebook Wajib Gunakan Sertifikat Vaksin                https://covid19.go.id/artikel/2022/01/18/salah-login-ke-facebook-wajib-gunakan-sertifikat-vaksin
Awas Hoaks Booster Vaksin Covid-19 Diberikan Setiap 6 Bulan ...          https://covid19.go.id/artikel/2022/01/18/awas-hoaks-booster-vaksin-covid-19-diberikan-setiap-6-bulan-sekali
[SALAH] Omicron dalam Bahasa Yunani Artinya “AKHIR ZAMAN”                https://covid19.go.id/artikel/2022/01/17/salah-omicron-dalam-bahasa-yunani-artinya-akhir-zaman
[SALAH] Daftar Kandungan Bahan Kimia Berbahaya dalam Vaksin ...          https://covid19.go.id/artikel/2022/01/16/salah-daftar-kandungan-bahan-kimia-berbahaya-dalam-vaksin-covid-19
Awas Hoaks Vaksin mRNA Sebabkan Kematian Pada Lansia                     https://covid19.go.id/artikel/2022/01/16/awas-hoaks-vaksin-mrna-sebabkan-kematian-pada-lansia
[SALAH] Lowongan Kerja Vaksinator di Puskesmas Kota Batu                 https://covid19.go.id/artikel/2022/01/14/salah-lowongan-kerja-vaksinator-di-puskesmas-kota-batu
[SALAH] Vaksin mRNA Sebabkan Kematian Pada Lansia                        https://covid19.go.id/artikel/2022/01/13/salah-vaksin-mrna-sebabkan-kematian-pada-lansia
[SALAH] Benda Logam Menempel pada Lengan setelah divaksin                https://covid19.go.id/artikel/2022/01/12/salah-benda-logam-menempel-pada-lengan-setelah-divaksin
[SALAH] Pemerintah New Zealand Mengizinkan Euthanasia Secara...          https://covid19.go.id/artikel/2022/01/12/salah-pemerintah-new-zealand-mengizinkan-euthanasia-secara-spesifik-bagi-pasien-covid-19
[SALAH] WHO Mengatakan Vaksinasi di Seluruh Dunia Harus Dihe...          https://covid19.go.id/artikel/2022/01/11/salah-who-mengatakan-vaksinasi-di-seluruh-dunia-harus-dihentikan
[SALAH] CDC Mengumumkan Tes PCR Tidak Mampu Membedakan Virus...          https://covid19.go.id/artikel/2022/01/10/salah-cdc-mengumumkan-tes-pcr-tidak-mampu-membedakan-virus-sars-cov-2-dan-influenza
[SALAH] Video Penduduk Aborigin di Australia Menyambut Pemer...          https://covid19.go.id/artikel/2022/01/07/salah-video-penduduk-aborigin-di-australia-menyambut-pemerintah-dengan-busur-dan-panah-sebagai-bentuk-penolakan-vaksin-covid-19
[SALAH] Warga Korea Selatan yang Belum Vaksin Dilarang Mengi...          https://covid19.go.id/artikel/2022/01/07/salah-warga-korea-selatan-yang-belum-vaksin-dilarang-mengikuti-pemilihan-presiden
Awas Hoaks Vaksin mRNA pada Pfizer dan Moderna Berbahaya Bag...          https://covid19.go.id/artikel/2022/01/06/awas-hoaks-vaksin-mrna-pada-pfizer-dan-moderna-berbahaya-bagi-anak-anak
[SALAH] Tautan Penerima BLT UMKM Bulan Januari 2022 Sebesar ...          https://covid19.go.id/artikel/2022/01/06/salah-tautan-penerima-blt-umkm-bulan-januari-2022-sebesar-rp12-juta
Awas Hoaks Gagal Jantung hingga Strok adalah Gejala Omicron              https://covid19.go.id/artikel/2022/01/01/awas-hoaks-gagal-jantung-hingga-strok-adalah-gejala-omicron
[SALAH] Poster Acara Perayaan Tahun Baru 2022 Rembang Expo               https://covid19.go.id/artikel/2021/12/31/salah-poster-acara-perayaan-tahun-baru-2022-rembang-expo
[SALAH] Pemesanan Online Vaksin Covid-19 Sinopharm Melalui E...          https://covid19.go.id/artikel/2021/12/31/salah-pemesanan-online-vaksin-covid-19-sinopharm-melalui-e-commerce
[SALAH] Link Mengecek Bantuan Rp500.000 bagi yang Mempunyai ...          https://covid19.go.id/artikel/2021/12/31/salah-link-mengecek-bantuan-rp500000-bagi-yang-mempunyai-e-ktp
[SALAH] Vaksin mRNA pada Pfizer dan Moderna Berbahaya Bagi A...          https://covid19.go.id/artikel/2021/12/31/salah-vaksin-mrna-pada-pfizer-dan-moderna-berbahaya-bagi-anak-anak
[SALAH] Victor Lindelof Gagal Jantung setelah Vaksinasi Covi...          https://covid19.go.id/artikel/2021/12/31/salah-victor-lindelof-gagal-jantung-setelah-vaksinasi-covid-19-kemudian-jantungnya-dipasangi-chip
[SALAH] Buku Berjudul “Understanding Omicron Variant” oleh D...          https://covid19.go.id/artikel/2021/12/31/salah-buku-berjudul-understanding-omicron-variant-oleh-dr-theresa-bishop-terbit-tahun-2020-sebelum-varian-omicron-ditemukan-di-dunia
Awas Hoaks: Delmicron Varian Baru Corona Gabungan Delta-Omic...          https://covid19.go.id/artikel/2021/12/31/awas-hoaks-delmicron-varian-baru-corona-gabungan-delta-omicron
Awas Hoaks: Ratusan WNI Tertahan di Bus Karena Wisma Atlet L...          https://covid19.go.id/artikel/2021/12/26/awas-hoaks-ratusan-wni-tertahan-di-bus-karena-wisma-atlet-lockdown-setelah-ditemukan-varian-omicron
[SALAH] Jadwal Kemunculan Varian Omicron                                 https://covid19.go.id/artikel/2021/12/25/salah-jadwal-kemunculan-varian-omicron
[SALAH] Link Mendaftarkan Bantuan Covid-19 Bagi yang Mempuny...          https://covid19.go.id/artikel/2021/12/24/salah-link-mendaftarkan-bantuan-covid-19-bagi-yang-mempunyai-e-ktp
Awas Hoaks Vaksin Sinovac Belum Dilakukan Uji Coba untuk Ana...          https://covid19.go.id/artikel/2021/12/23/awas-hoaks-vaksin-sinovac-belum-dilakukan-uji-coba-untuk-anak-anak-indonesia