首页
学习
活动
专区
圈层
工具
发布

如何从 100 亿 URL 中找出相同的 URL?

来源 | https://doocs.github.io/advanced-java/ 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。...请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

4.2K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    面试:如何从 100 亿 URL 中找出相同的 URL?

    ---- 来源:8rr.co/FR7V 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    5.9K10

    ASP.NET Core MVC 概述

    控制器从模型创建并填充 ViewModel 实例。 备注 可通过多种方法在使用 MVC 体系结构模式的应用中组织模型。 详细了解某些不同种类的模型类型。...Core MVC 建立在 ASP.NET Core 的路由之上,是一个功能强大的 URL 映射组件,可用于生成具有易于理解和可搜索 URL 的应用程序。...它可让你定义适用于搜索引擎优化 (SEO) 和链接生成的应用程序 URL 命名模式,而不考虑如何组织 Web 服务器上的文件。可以使用支持路由值约束、默认值和可选值的方便路由模板语法来定义路由。...接收传入请求时,路由引擎分析 URL 并将其匹配到定义的 URL 格式之一,然后调用关联的控制器操作方法。...详细了解如何测试控制器逻辑。 Razor 视图引擎 ASP.NET Core MVC 视图使用 Razor 视图引擎呈现视图。

    8K20

    面试:如何从 100 亿 URL 中找出相同的 URL?

    来源:8rr.co/FR7V 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    3.3K20

    面试经历:如何从 100 亿 URL 中找出相同的 URL?

    题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    2.8K00

    如何在 C# 平台调用云开发?

    SDK 是目前使用率最高的微信 C#/.NET SDK,包括了微信公众号、小程序、开放平台、微信支付、企业微信、微信硬件平台等几乎全套接口。...以下以使用 .NET Core 开发的小程序为例,开发一个可以调用腾讯云的云函数接口的项目。...除了使用以下手动配置的方式,也可以参考现成的 Demo 直接复制对应代码:https://url.cn/5vUHVMF。...4.调用小程序云开发的云函数 高级接口可以在任意地方出发,这里为了方便演示,我们将其放置在首页中。...如果有兴趣,可以发送您的开源项目、希望和云开发的合作方式等信息到 cloudbase@tencent.com 云开发目前已有两个不同语言的社区 SDK:Golang 和 C#, 除了这两门语言,你还期待什么语言

    2K74

    【C#学习笔记01】从程序框架到函数调用

    \n");​​:调用​​printf​​函数,在控制台输出一行文字。 ​​return 0;​​:表示程序正常结束,返回值0通常表示成功。...即便将main函数定义置于文件末尾,程序仍会从main函数开始执行,这种设计确保了程序入口的确定性和一致性。 5. 程序结束 程序的结束通常通过​​return​​语句实现。...与​​return​​语句不同,​​exit()​​可以在程序的任何地方调用,而不仅限于​​main()​​函数。 6....函数调用 在C语言程序架构中,函数作为基本组成单元,其体系由主函数(main function)和若干子函数(sub-functions)构成。...注意:头文件不是必须包含,只有调用了函数库中的函数接口,才需要包含头文件!

    37910

    dedecms文章页调用地址(当前文章URL)如何操作?

    我们在建站时经常会在文末加一个本文地址,那么dedecms文章页如何调用当前文章URL呢?...这样做的好处是增加文章的唯一标识,更进一步的做法是在head中加个cannacial标签,告诉搜索引擎url的唯一性,避免重复页面被收录。   ...2.网友还有说到另外两种方法,一个是调用sql,这种方法还没测试过,涉及到数据库的比较不喜欢用 {dede:field.id runphp='yes'} $id=@me; @me=''; $url=GetOneArchive...($id); @me=$url['arcurl']; {/dede:field.id}    3.另外一种方法是DedeCMS自带的一个全局函数以标签的形式调用出来,但ytkah没有测试成功,感兴趣的小伙伴可以试一下...{dede:geturl runphp='yes'} @me = GetCurUrl(); {/dede:geturl}    相关文章:帝国cms文章页调用当前文章URL如何操作?

    6.1K110

    从MVC到DDD,该如何下手重构?

    MVC讲解了,DDD讲解了。接下来这个章节,我们讲讲从MVC到DDD的重构!...在本文中会介绍 DDD 架构下的分层结构、调用全景图以及非常重要的 MVC 到 DDD 应该如何映射和编码。所以如下这一系列内容都是你能获得的知识;DDD 领域驱动设计,对应的分层结构讲解。...那么鉴于如此清晰工程结构,该如何将旧存工程,MVC 转向 DDD 呢?接下来就重点介绍下。...因为原本在 service 层的话,domain 层是调用不到的这些基础服务的,而且也不符合服务功能边界的划分。综上,就是从 MVC 到 DDD 重构架构的拆解实现方案。...从 MVC 调整结构到 DDD 后,工程模型中的调用链路关系是什么样呢?接下来我们在展开架构,看细节关系。

    3.9K13210

    如何从从官网下载各个版本的jquery「建议收藏」

    许多前端的小伙伴们可能跟我一样有选择强迫症,对于一些工具、软件等都偏爱从官网下载,尽管许多非官方网站上已经有现成的,但还是从心理上感觉官网的更正规。如今的jquery版本已经是相当多了。...在jquery官网的首页上只提供了为数不多的较为流行的版本供我们下载。但是出于各种情况的考虑,我们想要自己需要的某一版本该如何从官网获取呢?...http://code.jquery.com/jquery-1.8.3.js (未压缩版) 或者http://code.jquery.com/jquery-1.8.3.min.js (压缩版) 如果我们要下载...1.12.4版本的jquery,访问的地址是http://code.jquery.com/jquery-1.12.4.js (未压缩版) 或者http://code.jquery.com/jquery...从网上的资料看1.7.1和1.4.2是两个绝对经典的版本,我个人认为这些都过于陈旧了,也只是昔日辉煌,不推荐使用。

    2.1K30

    C# .NET面试系列六:ASP.NET MVC

    3、更灵活的路由系统ASP.NET MVC 使用灵活的路由系统,可以自定义 URL 的映射关系。这使得对于不同的请求能够调用不同的控制器和动作,提高了应用程序的灵活性。...它们在C#中的主要区别在于它们的签名(参数和返回值)。Action:1)Action 是一个委托类型,用于表示不带返回值的方法。2)它可以包含从零到十个输入参数,但不返回值。...MVC 的路由选择是什么?MVC的路由选择是指在ASP.NET MVC中确定如何匹配传入的URL请求并将其路由到相应的控制器和动作方法的过程。...参数的值是从 UR L中相应的部分提取得到的。4、控制器和动作方法调用根据解析得到的控制器名和动作方法名,MVC 框架确定要调用的控制器和动作方法。控制器的实例被创建,并调用相应的动作方法。...的结构,以及如何将URL映射到控制器和动作方法。

    7010
    领券