git 地址 在线地址 这是笔者第三次重构博客，虽然博客应用是最简单的应用，但学习新技术何不从重构博客开始？...服务器是阿里云 ESC 最低配 优点： 感觉没什么优点； 缺点： 浏览器渲染，搜索引擎无法收录 ESO 优化难，Antd 组件使用方便，但前台页面定制需要覆盖样式； 第三版：NextJS + TailwindCSS...4、之前写了《使用 CSS variables 和 Tailwind css 实现主题换肤》也运用到了我的博客中。...，一篇文章可以有多个分类，一个分类下可以有多篇文章， categories 可以选择已经存在的分类，也可以是新加的分类,通过name唯一熟悉来判断是否要新增还是级联。...当然内容是最重要的，希望以后每周或者每两周能够有一篇文章，记录和总结知识。
git地址 在线地址 这是笔者第三次重构博客，虽然博客应用是最简单的应用，但学习新技术何不从重构博客开始？...+ Mysql 服务器是阿里云 ESC 最低配 优点： 感觉没什么优点； 缺点： 浏览器渲染，搜索引擎无法收录 ESO 优化难，Antd 组件使用方便，但前台页面定制需要覆盖样式；...{js,ts,jsx,tsx}']打包时只会提取使用到的样式，让应用css最小化。 4、之前写了《使用 CSS variables 和Tailwind css实现主题换肤》也运用到了我的博客中。...，一篇文章可以有多个分类，一个分类下可以有多篇文章， categories 可以选择已经存在的分类，也可以是新加的分类,通过name唯一熟悉来判断是否要新增还是级联。...当然内容是最重要的，希望以后每周或者每两周能够有一篇文章，记录和总结知识。
经过组件化思维的层层分析，我们将antd pro官方demo的分析页伪代码重构至如下： export function Analysis() { const [dashboardAnalysis,...首先，我们思考一下，这样一个页面首次加载需要请求数据的公共逻辑片段，需要维护什么状态？...* @param {defaultData} 页面初始化时接口数据的默认值 * @param {params} 接口所需要的参数 注意，这里请传入接口需要的完整的参数 * @param {delay...使用时，只需要一句代码，我们就能够获取到我们想要的数据，状态，对应的操作方法等。...仅仅只使用最简单的hooks的方式来维护数据就足够了。
前言 最近有朋友问我这么一个面试题目： 现在有一个非常庞大的数据，假设全是 int 类型。现在我给你一个数，你需要告诉我它是否存在其中(尽量高效)。...我想大多数想到的都是用 HashMap 来存放数据，因为它的写入查询的效率都比较高。 写入和判断元素是否存在都有对应的 API，所以实现起来也比较简单。...可见在内存有限的情况下我们不能使用这种方式。 实际情况也是如此；既然要判断一个数据是否存在于集合中，考虑的算法的效率以及准确性肯定是要把数据全部 load 到内存中的。...而我们是否可以换种思路，因为只是需要判断数据是否存在，也不是需要把数据查询出来，所以完全没有必要将真正的数据存放进去。 伟大的科学家们已经帮我们想到了这样的需求。...Guava 会通过你预计的数量以及误报率帮你计算出你应当会使用的数组大小 numBits 以及需要计算几次 Hash 函数 numHashFunctions 。 这个算法计算规则可以参考维基百科。
那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？ 带着这些问题，我开始了研究如何获取这些数据。...现代的软件设计都讲究前后端分离，而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...我观察到即便在APP中，单车返回的数据也有跳动。有某一天凌晨到第二天早上，我隔段时间刷新一下我家附近的车，看看是否真的如此。 图片我找不到了，但是观察后得出的结论是，APP中返回的位置确实有问题。...我并不是直接随机选择代理，而是将代理按照得分高低进行排序。每一次成功的请求将加分，而出错的请求将减分。 这样一会儿就能选出速度、质量最佳的代理。如果有需要还可以存下来下次继续用。...proxyProvider.pick()选择代理，然后使用。
我在2016年的时候，写过一篇文章，介绍@property装饰器。4年过去了，本来以为这个装饰器使用起来应该是很自然的事情，但还是有同学不知道在什么场景下可以使用它。...所以，ProxyProvider这个类，不需要每次获取 IP 的时候都读取数据库，每小时读取一次就可以了。...不过在调用的时候，前者是调用一个方法，后者是读取一个属性。 同理，如果要修改数据，不使用@property的时候，需要实现一个set_xxx方法。...但是使用了@property装饰一个方法，也可以在设置数据的时候实现一些内部逻辑，例如： import time import random class ProxyProvider: def...但是对于习惯 Python 的人来说，我觉得使用@property会让代码的可读性更好。
使用多个 Provider 在复杂的 Flutter 应用程序中，您可能需要管理多个不同类型的数据模型，并在整个应用程序中共享它们。...Provider 允许您轻松地使用多个 Provider 来管理多个数据模型，并在需要时访问和更新它们。...这样，我们就可以在整个应用程序中访问这两个数据模型。 ProxyProvider 有时，一个数据模型的创建可能依赖于另一个数据模型。...在这种情况下，您可以使用 ProxyProvider 来动态地提供一个数据模型，该数据模型的创建依赖于另一个数据模型。...通过使用嵌套 Provider 和 ProxyProvider，您可以更好地管理和共享多个数据模型，并在整个应用程序中传递数据，使得状态管理更加灵活和强大。
本文内容 1、分析一下爬虫存在的问题及解决方案 2、webmagic中代理的使用 3、目前市面上一些比较好用的代理服务器 存在的问题 我们在使用爬虫过程中，大多都会遇到这样的问题：突然某一天爬虫爬不到内容了...，目标网站直接返回404或者其他错误信息，这说明我们的爬虫被目标网站给屏蔽了。...webmagic中使用代理 从0.7.1版本开始，WebMagic开始使用了新的代理API ProxyProvider。...它是一个基于简单Round-Robin的、没有失败检查的ProxyProvider。可以配置任意个候选代理，每次会按顺序挑选一个代理使用。它适合用在自己搭建的比较稳定的代理的场景。...我之前做过一个爬取财经数据的程序，对代理要求比较高，使用的是他们的收费版的，用下来还可以的。如果你们有发现更好的，可以留言，分享分享，谢谢 ?
最近学习数学，想用Hexo记录笔记整理公式，参考文章： 我的Hexo环境 首先，看看我的Hexo环境： hexo --version 显示如下： hexo: 3.4.3 hexo-cli:...文章中需要打开公式 这个我本地环境的公式没有生效，文章的Front-matter里打开mathjax开关后成功激活： --- title: Hexo中使用MathJax公式 date: 2017-12-..._ 是表示斜体，MathJax中 _ 是表示下标，存在冲突，需要在公式的_前加转义字符，否则显示不正常： 代码： $F_a = F_b + F_c + F_{\mu}$ 显示： $F_a = F_b...+ F_c + F_u$ 代码： $F\_a = F\_b + F\_c + F\_{\mu}$ 显示： $F_a = F_b + F_c + F_{\mu}$ 或者是使用 {% raw %...，这正是我们需要的！！
那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？ 带着这些问题，我开始了研究如何获取这些数据。...我观察到即便在APP中，单车返回的数据也有跳动。有某一天凌晨到第二天早上，我隔段时间刷新一下我家附近的车，看看是否真的如此。 图片我找不到了，但是观察后得出的结论是，APP中返回的位置确实有问题。...在ProxyProvider中直接获取到这个代理池然后提供一个pick函数用于随机选取得分前50的代理。...我并不是直接随机选择代理，而是将代理按照得分高低进行排序。每一次成功的请求将加分，而出错的请求将减分。这样一会儿就能选出速度、质量最佳的代理。如果有需要还可以存下来下次继续用。 ?...在实际使用中，通过proxyProvider.pick()选择代理，然后使用。如果代理出现任何问题，则直接用proxy.fatal_error()降低评分，这样后续就不会选择到这个代理了。 ?
那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？ 带着这些问题，我开始了研究如何获取这些数据。...最直接的来源是摩拜单车的APP。现代的软件设计都讲究前后端分离，而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...我观察到即便在APP中，单车返回的数据也有跳动。有某一天凌晨到第二天早上，我隔段时间刷新一下我家附近的车，看看是否真的如此。 图片我找不到了，但是观察后得出的结论是，APP中返回的位置确实有问题。...我并不是直接随机选择代理，而是将代理按照得分高低进行排序。每一次成功的请求将加分，而出错的请求将减分。这样一会儿就能选出速度、质量最佳的代理。如果有需要还可以存下来下次继续用。...proxyProvider.pick()选择代理，然后使用。
那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？ 带着这些问题，我开始了研究如何获取这些数据。...我观察到即便在 APP 中，单车返回的数据也有跳动。有某一天凌晨到第二天早上，我隔段时间刷新一下我家附近的车，看看是否真的如此。...由于抓取后需要对数据进行去重，以便消除小正方形区域之间重复的部分，最后的 group_data 正是做这个事情。...我并不是直接随机选择代理，而是将代理按照得分高低进行排序。每一次成功的请求将加分，而出错的请求将减分。这样一会儿就能选出速度、质量最佳的代理。如果有需要还可以存下来下次继续用。...proxyProvider.pick()选择代理，然后使用。
那么有没有一个办法通过获得这些单车的数据，来分析这些车是否变成了僵尸车？是否有人故意放到小区里面让人无法获取呢？带着这些问题，笔者开始了研究如何获取这些数据。...现代的软件设计都讲究前后端分离，而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...我观察到即便在APP中，单车返回的数据也有跳动。有某一天凌晨到第二天早上，我隔段时间刷新一下我家附近的车，看看是否真的如此。 图片我找不到了，但是观察后得出的结论是，APP中返回的位置确实有问题。...我并不是直接随机选择代理，而是将代理按照得分高低进行排序。每一次成功的请求将加分，而出错的请求将减分。 这样一会儿就能选出速度、质量最佳的代理。如果有需要还可以存下来下次继续用。...proxyProvider.pick()选择代理，然后使用。
关于Consumer后面将消费者在提及，我们这里只需要知道有两个消费者，第一个用于展示模型的数据，第二个用于改变模型的数据。...当我们有多个模型的时候，会有模型依赖另一个模型的情况，在这种情况下，我们可以使用ProxyProvider从另一个提供者获取值，然后将其注入到另一个提供者中。...方法时会改变UserModel5里面的name，当然我们在实际开发的过程中并不是这么简单，这里只是演示模型依赖时如果使用ProxyProvider import 'package:flutter/material.dart...下面我们给出一个例子： 获取书籍列表 获取收藏书籍列表 点击书籍可加入或者取消收藏 通过代理实时重构UI 第一步：创建两个模型 1、BookModel BookModel用户存储模型数据，将书籍转换成模型...，但是在使用上和ChangeNotifierProvider效果惊人的一致，如果大家对ListenableProxyProvider有更深的理解，请联系我补充。
摩拜单车的API返回的是一个正方形区域中的单车，我只要按照一块一块的区域移动就能抓取到整个大区域的数据。...由于抓取后需要对数据进行去重，以便消除小正方形区域之间重复的部分，最后的group_data正是做这个事情。...在ProxyProvider中直接获取到这个代理池然后提供一个pick函数用于随机选取得分前50的代理。...我并不是直接随机选择代理，而是将代理按照得分高低进行排序。每一次成功的请求将加分，而出错的请求将减分。这样一会儿就能选出速度、质量最佳的代理。如果有需要还可以存下来下次继续用。...proxyProvider.pick()选择代理，然后使用。
其实不光url需要去重，我们对下载的内容也需要去重。 在网上我们可以找到许多内容相似的文章。...SimHash 流程介绍 simhash是由 Charikar 在2002年提出来的，为了便于理解尽量不使用数学公式，分为这几步： 1、分词，把需要判断文本分词形成这个文章的特征单词。...一个完整的代理请求过程为：客户端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的指定资源 我们就需要知道代理服务器在哪里（ip和端口号）...它是一个基于简单Round-Robin的、没有失败检查的ProxyProvider。可以配置任意个候选代理，每次会按顺序挑选一个代理使用。它适合用在自己搭建的比较稳定的代理的场景。...如果需要根据实际使用情况对代理服务器进行管理（例如校验是否可用，定期清理、添加代理服务器等），只需要自己实现APIProxyProvider即可。
而单元测试的易维护性低，则导致了代码很难被重构，从而单元测试不仅没有为重构提供信心，反而变成重构的桎梏。...你是否在你的项目中见过这样的单元测试？ 这是一段典型的使用JUnit测试框架的单元测试代码。在这段单元测试代码中，被测对象是 leaveCalculator 组件的 annualLeave 方法。...当然在实践中，经常使用的策略是将大量无关的属性设置成 null 或者空集合，但是这有时候会在被测组件对数据类有效性检查中被拦截。...目前我只维护了一份项目 Readme 文件，作为简要的使用文档，导致一些略高级的使用方法和一些从新版本开始支持的功能并没有体现在文档中。 第二，没有维护文档注释。...未来，由于我自己在项目上会持续使用 EasyModeling 来构建测试数据，所以我基本可以保证持续维护这个工具。在近期，我将聚焦在完善使用文档，以及修复从用户反馈的一些缺陷。
Step3:示例简介 本示例将讲解 Provider 基础组件的使用，包括但不限于 ChangeNotifier, NotifierProvider, Consumer, Selector, ProxyProvider...需要注意的是，不要把所有状态的作用域都放在 MaterialApp，根据实际业务需求严格控制作用域范围，全局状态多了会严重影响应用的性能。...可以看出，相对于 Consumer，Selector 缩小了数据监听的范围，并且可以根据自身的业务逻辑自定义是否刷新页面，从而避免了很多不必要的页面刷新，从而提高了性能。...，该模式需要对响应式编程（比如 RxDart，RxJava）有一定的理解。...总结 本篇文章主要介绍了官方推荐使用的 Provider 组件，结合源码和平时业务开发过程中遇到的问题，介绍了几种常用的使用方式，希望大家能熟练使用，在业务场景中能灵活运用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
