首页
学习
活动
专区
圈层
工具
发布

如何在python中从多次重定向的url中获取目标url?

在Python中,可以使用requests库来获取目标URL。以下是一个示例代码,用于从多次重定向的URL中获取目标URL:

代码语言:txt
复制
import requests

def get_final_url(url):
    response = requests.get(url, allow_redirects=False)
    if response.status_code == 302:
        redirect_url = response.headers['Location']
        return get_final_url(redirect_url)
    else:
        return url

target_url = get_final_url('https://example.com/redirect')
print(target_url)

上述代码中,get_final_url函数接收一个URL作为参数,并发送一个不允许重定向的GET请求。如果返回的状态码是302,表示发生了重定向,我们可以从响应头中获取重定向的URL,并递归调用get_final_url函数来获取最终的目标URL。如果返回的状态码不是302,则表示已经到达了目标URL,直接返回即可。

请注意,上述代码中使用了requests库来发送HTTP请求。如果你的环境中没有安装该库,可以使用以下命令进行安装:

代码语言:txt
复制
pip install requests

对于以上问题,腾讯云没有特定的产品或服务与之相关。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • Django获取URL中的数据

    Django获取URL中的数据 URL中的参数一般有两种形式。...q=Django&t=blog&u=zy010101 我们将第一种形式称为“URL路径参数”;第二种形式称为“URL关键字形式”。下面讲述如何在Django中获取这两种形式的数据。...在此之前,需要说明的是,在URL中携带数据的方式一般是前端发起的GET请求,至于为什么GET请求不在请求体中携带参数,可以参考这篇文章:关于在GET请求中使用body URL路径参数 使用path函数...需要注意在Django中,使用正则表达式来获取分组中的值的语法是(?Ppattern),其中 name 是组名,pattern 是要匹配的模式。...HttpRequest对象的属性GET、POST都是QueryDict类型的对象 Django获取URL关键字参数可以通过HttpRequest.GET属性来获取。

    6.9K30

    如何从 100 亿 URL 中找出相同的 URL?

    对于这种类型的题目,一般采用分治策略 ,即:把一个文件中的 URL 按照某个特征划分为多个小文件,使得每个小文件大小不超过 4G,这样就可以把这个小文件读到内存中进行处理了。...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    4.2K30

    面试:如何从 100 亿 URL 中找出相同的 URL?

    对于这种类型的题目,一般采用分治策略 ,即:把一个文件中的 URL 按照某个特征划分为多个小文件,使得每个小文件大小不超过 4G,这样就可以把这个小文件读到内存中进行处理了。...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    5.8K10

    面试:如何从 100 亿 URL 中找出相同的 URL?

    对于这种类型的题目,一般采用分治策略 ,即:把一个文件中的 URL 按照某个特征划分为多个小文件,使得每个小文件大小不超过 4G,这样就可以把这个小文件读到内存中进行处理了。...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    3.3K20

    java 获取url返回结果中的Cookie

    欢迎关注微信公众号:数据科学与艺术 作者WX:superhe199 获取URL返回结果中的Cookie是一个常见的需求,可以通过Java中的URLConnection类来实现。...下面是一个示例代码,可以将URL返回结果中的Cookie写入到一个文件中。...("GET"); // 获取返回的Cookie String cookie = conn.getHeaderField("Set-Cookie");...通过设置请求方法为GET,可以发送GET请求到指定的URL。使用getHeaderField方法可以获取返回结果中的Cookie。最后,通过FileWriter将Cookie写入到文件中。...在运行代码之前,需要确保可以访问到指定的URL,并且返回结果中包含Cookie。运行代码后,会在当前目录下生成一个名为cookie.txt的文件,其中包含了返回结果中的Cookie。 希望对你有帮助!

    8210

    面试经历:如何从 100 亿 URL 中找出相同的 URL?

    对于这种类型的题目,一般采用分治策略 ,即:把一个文件中的 URL 按照某个特征划分为多个小文件,使得每个小文件大小不超过 4G,这样就可以把这个小文件读到内存中进行处理了。...使用同样的方法遍历文件 b,把文件 b 中的 URL 分别存储到文件 b0, b1, b2, ..., b999 中。...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...那么接下来,我们只需要求出这 1000 对小文件中相同的 URL 就好了。 接着遍历 ai( i∈[0,999] ),把 URL 存储到一个 HashSet 集合中。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    2.8K00
    领券