抓取数据时的循环
抓取数据时的循环
提问于 2019-03-02 09:17:57
我正在尝试使用循环来清除数据，这是代码
import requests
import json
import pandas as pd
parameters = ['a:1','a:2','a:3','a:4','a:3','a:4','a:5','a:6','a:7','a:8','a:9','a:10']
results = pd.DataFrame()
for item in parameters:
key, value = item.split(':')
url = "https://xxxx.000webhostapp.com/getNamesEnc02Motasel2.php?keyword=%s&type=2&limit=%s" %(key, value)
r = requests.get(url)
cont = json.loads(r.content)
temp_df = pd.DataFrame(cont)
results = results.append(temp_df)
results.to_csv('ScrapeData.csv', index=False)这个方法工作得很好，但问题是我需要参数=直到'a:1000‘，我认为有一个更好的解决方案是从'a:1’循环到'a:1000‘，而不是像我的代码中那样重复参数。
我真的需要你的帮助
回答 2
Stack Overflow用户
回答已采纳
发布于 2019-03-02 09:26:59
Use可以使用for i in range(start, end)循环。像这样
results = pd.DataFrame()
key = 'a'
# Goes from 1 to 1000 (including both)
for value in range(1, 1001):
url = f'https://xxxx.000webhostapp.com/getNamesEnc02Motasel2.php?keyword={key}&type=2&limit={value}'
r = requests.get(url)
cont = json.loads(r.content)
temp_df = pd.DataFrame(cont)
results = results.append(temp_df)
results.to_csv('ScrapeData.csv', index=False)Stack Overflow用户
发布于 2019-03-02 09:23:21
value = 1
key = 'a'
while value <= 1000:
url = .....%(key, str(value))
....
....
value += 1
......使用计数器
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54954357
复制相关文章
相似问题
腾讯云开发者
