首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    如何从 100 亿 URL 中找出相同的 URL?

    来源 | https://doocs.github.io/advanced-java/ 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。...请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    2.9K30

    面试:如何从 100 亿 URL 中找出相同的 URL?

    ---- 来源:8rr.co/FR7V 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    4.6K10

    面试:如何从 100 亿 URL 中找出相同的 URL?

    来源:8rr.co/FR7V 题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    2.3K20

    面试经历:如何从 100 亿 URL 中找出相同的 URL?

    题目描述 给定 a、b 两个文件,各存放 50 亿个 URL,每个 URL 各占 64B,内存限制是 4G。请找出 a、b 两个文件共同的 URL。...解答思路 每个 URL 占 64B,那么 50 亿个 URL占用的空间大小约为 320GB。...思路如下 : 首先遍历文件 a,对遍历到的 URL 求 hash(URL) % 1000 ,根据计算结果把遍历到的 URL 存储到 a0, a1, a2, ..., a999,这样每个大小约为 300MB...这样处理过后,所有可能相同的 URL 都在对应的小文件中,即 a0 对应 b0, ..., a999 对应 b999,不对应的小文件不可能有相同的 URL。...然后遍历 bi 中每个 URL,看在 HashSet 集合中是否存在,若存在,说明这就是共同的 URL,可以把这个 URL 保存到一个单独的文件中。

    1.9K00

    如何从JavaScript跨越到TypeScript

    从入门到放弃的java 初中时自学过JAVA,学了大概一个多月吧, 学了一个多月,看视频这些,后面放弃了编程。 依稀记得,那段日子极度苦逼,我想如果当时是学javaScript就好了。...Node.js之快速搭建微信公众号服务器 Node.js之快速搭建服务器+前后端数据库session交互 ES6教程全篇 前端中大厂面试必问 原生javaScript操作 ---- 想学习typeScript...,我觉得你首先要对原生javaScript非常熟练,最基础的知识最重要,然后要掌握ES5+ES6+ES7(7以后的最好知道一些),新技术掌握了,以后就不会那么累。...typeScript =type+ javaScript ,在ES5/6/7+javaScript基础上加了一个type!...= fuck; } return exp; }()); var app = new exp('hello', 18, [1, 2, 3], [2, 3, 4]); typeScript可能最难的就是如何理解优雅的面向对象编程

    1.3K20

    如何用JavaScript自动设置下拉菜单的选项?

    今天我们来聊一聊前端开发中的一个小技巧:如何用JavaScript自动设置下拉菜单的选项。你是不是也遇到过这样的需求?比如一个注册表单,根据用户选择的国家自动填充城市列表。那么,如何实现呢?...我们可以通过JavaScript来实现这一动态效果。下面我们具体讲解两种实现方式。 方法一:设置value属性 这种方法简单粗暴,直接上代码!...我们用querySelector找到select元素,然后设置它们的value属性为我们想要的选项值。页面一加载,“China”和“Shanghai”就被选中了。...方法二:设置selected属性 另一种方法是设置具体选项的selected属性。这种方法同样很直接,适合初学者理解。...value="shanghai">Shanghai Guangzhou 我们通过以下JavaScript

    19710

    Airbnb 是如何从 JavaScript 迁移到 TypeScript 的?

    迁移策略 大规模迁移是一项复杂的任务,我们探讨了从 JavaScript 迁移到 TypeScript 的几种策略: 1) 混合迁移策略。...使用 codemods,我们能够在一天内将包含 50,000 行代码和 1,000+ 文件的项目从 JavaScript 转换为 TypeScript!...迁移过程的步骤 让我们了解一下将项目从 JavaScript 迁移到 TypeScript 所需的主要步骤,以及这些步骤是如何实现的: 1) 每个 TypeScript 项目的第一步是创建一个 tsconfig.json...虽然 migration 配置的目标是从 JavaScript 迁移到 TypeScript,reignore 的目标是通过忽略所有的错误来使得项目可以编译。...我们的前端代码库依赖一个 prettier-eslint 设置——Prettier 用来自动格式化代码,ESLint 确保代码遵循最佳实践。

    1.6K20

    如何从失焦的图像中恢复景深并将图像变清晰?

    是的,我们今天就来看看另外一种图像模糊——即失焦导致的图像模糊——应该怎么样处理。 我今天将要介绍的技术,不仅能够从单张图像中同时获取到全焦图像(全焦图像的定义请参考33....此时,聪明的你一定想到如何获取全焦图像了,我猜你是这样想的: 先提前标定好各个失焦距离的PSF 对输入的模糊图像每一个点,用这些不同的PSF分别做去卷积操作,根据输出的图像的清晰程度,判断哪个是这个点对应的正确尺寸的...那么,如何解决上面这两个问题呢?我们现在才进入今天文章的核心?...2.3 完整的过程 有了前面所讲的两点作为基础,作者就进一步解释了如何来获取全焦图像。 提前标定好不同尺度的编码光圈卷积核 ? 对每个像素i,选择一个局部窗口 ? ,对应的图像为 ?...因此,不管是从肉眼上观察,还是通过振铃效应导致的过大的卷积误差,我们都很容易判断哪个是正确尺度的卷积核。

    3.5K30

    从原理上搞懂如何设置线程池参数大小?

    我们在使用线程池的时候,会有两个疑问点: 线程池的线程数量设置过多会导致线程竞争激烈 如果线程数量设置过少的话,还会导致系统无法充分利用计算机资源 那么如何设置才不会影响系统性能呢?...鉴于这两个线程池的核心原理是一样的,下面我们就重点看看 ThreadPoolExecutor 类是如何实现线程池的。...不过我不太推荐使用它们,因为选择使用 Executors 提供的工厂类,将会忽略很多线程池的参数设置,工厂类一旦选择设置默认参数,就很容易导致无法调优参数设置,从而产生性能问题或者资源浪费。...看完以上两种情况下的线程计算方法,你可能还想说,在平常的应用场景中,我们常常遇不到这两种极端情况,那么碰上一些常规的业务操作,比如,通过一个线程池实现向用户定时推送消息的业务,我们又该如何设置线程池的数量呢...综合来看,我们可以根据自己的业务场景,从“N+1”和“2N”两个公式中选出一个适合的,计算出一个大概的线程数量,之后通过实际压测,逐渐往“增大线程数量”和“减小线程数量”这两个方向调整,然后观察整体的处理时间变化

    94540
    领券