话题爬虫 WeiboTopicScrapy.py 开源以来,收到最多的反馈就是:为什么我爬了那么久,我的 topic 文件总是没有 csv 文件生成?...其实程序一运行起来,没有在控制台打印出每一页微博的具体信息,就可以断定你的操作方式出了问题,不必等上十几二十分钟。 我总结了话题爬虫所有可能的错误及解决办法,在此统一说明。...cookie 过期了 这个错误最明显的特征就是,我明明以前成功运行过的,今天运行却出现了下面这样的问题: ? 此时只需要重新去 weibo.cn 复制 cookie 就行。...cookie 没有过期还是出现了和 cookie 过期一样的空白 这个错误和 cookie 过期的差异在于,通常是在页码很大,比如 100 以上的情况,这个时候,有两个原因: 本次话题搜索的结果全部下载下来了...点击阅读原文直达最新的 WeiboTopicScrapy 的 Github 地址。
“为什么加班的总是你?”其中一个原因就是原始表格不规范。 不规范表格的典型特点 这个原始表格可能是你自己做出来的,可能是别人给你的,也可能是从软件里面导出来的。...如果是不规范的表格,而你需要做出相应的数据统计或者数据计算,那你肯定是要加班的,花费的时间也会比你平常的工作量要多。 下图是一张hope 公司销售的明细账。...但是,假如财务经理跟会计说,请把2018 年第一个季度的订单做出以下数据分析:订单金额排列前三名的构成比例、最畅销的前三个商品的种类以及构成、畅销的商品中最畅销的种类是哪个接口的,并且要求会计一个小时以内提交结果...为什么会崩溃? 因为这是一张不规范的原始表格! 仔细观察一下,首先日期就不规范,既有日期格式也有文本格式的日期。...此时会计是觉得这个领导是故意刁难人还是默默的加班? 因此不规范的原始表格就是“为什么加班的总是你?”的一个原因,不规范的表格给你的工作效率造成了很大的阻碍,那毫无疑问加班的肯定总是你。
如果把做一款产品比做盖房子,那么业务流程图好比图纸,图纸如果出了问题在后面施工的过程中将面临的问题就是拆了建建了拆(交互原型图),每个产品都是由许多功能组成的,功能是把众多的需求以产品的形式呈现的用户面前...那么有小伙伴会问为什么一定要做业务流程图,而不能直接用原型图呢?...简单点说业务流程图是以产品的视角来看产品,而交互原型是以用户的视角来看产品,或许你还是不懂我在讲的是什么鬼,那么就举个例子来进一步说明一下。 ?...业务流程图怎么做 从上面的几点中我们知道了,为什么我们的交互原型图为什么总是改改改,总的来说还是我们底层逻辑东西没有搭建好。那么业务流程图应该怎么做呢?...拿上面的注册业务流程图举例: 要完成的事项:注册 哪些人会参与:注册用户、系统 数据是怎么流转的:主要是“黑盒子”部分 异常:业务流程图中已经标注 二、制作流程图的软件 我习惯用Axure做,
下面整理出一些常用的性能优化要点,同时再罗列一下雅虎军规、2-5-8原则、3秒钟首屏指标这三个常用规则的要点。...「首屏加载」:首屏快速显示可大大提升用户对页面速度的感知,应尽量针对首屏的快速显示做优化 「按需加载」:将不影响首屏的资源和当前屏幕不用的资源放到用户需要时才加载,可大大提升显示速度和降低总体流量(「...,可能会占到总耗时的`80%时间(**优化重点**) ❝「执行优化」 ❞ 「CSS写在头部,JS写在尾部并异步」 「避免img、iframe等的src为空」:空src会重新加载当前页面,影响速度和效率...空规则」:CSS空规则增加了css文件的大小,影响CSS树的执行 「正确使用display」:display会影响页面的渲染 display:inline后不应该再使用float、margin、padding...Flush The Buffer Early」:尽早输出缓冲 「Use Get For AJAX Requests」:AJAX请求时使用get 「Avoid Empty Image Src」:避免图片空链接
/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --time ,但是我在测试的时候,发现有的时间戳会获取不到offset,是空...根据上面图片,举几个例子: 当 time 为 2020-09-16 11:59:20 时,获取的 offset 值为空。...所以这个命令 --time 只能匹配个大概的 offset 而已,无法精确。如果精确,可以调用 java api 来封装成接口或工具使用。...三、调用 kafka java api 获取时间戳对应的 offset,并封装成工具脚本 很纳闷,为什么官方不提供获取时间戳对应的精准的 offset 呢?...JCommander 是一个用于解析命令行参数的 Java 框架,利用 @Parameter 来接收命令参数。 ?
如果你看了我前面的文章,懂得了流程管理:实施ERP一定要懂流程管理,那么,这篇文章会让你清晰的了解一下实施调研的过程,为什么要做实施调研,以及实施调研做好了会带来哪些好处。...image.png 为什么要做实施调研 一个ERP项目,不论是客户还是ERP供应商,特别是客户,一般会经历ERP供应商的售前调研、实施调研两大调研过程。...没有做或没有做好实施调研,对顾问最直接的影响是:没有深刻的行业实施经验及客户调研资料,培训将是念PPT或大而空、泛而全的ERP功能演示,没有轻重;流程讨论将是争论会、并议而难决;上线没有目标、项目前后变形甚至失败...流程讨论时,可以将各部门绘制的流程、调研了解的流程、ERP规划建设的流程进行对比分析,指出利弊,可以很快确认ERP中的管理流程。...先期调研,客户方最多了解的还是对ERP基础知识、电脑基础水平的差距,制定改进计划,如搭建扩充局域网、增加电脑布点、对不会电脑操作的ERP员工进行培训等。
不过近几年,我经常在知乎上看到很多人在说为什么敏捷总是不成功,敏捷很难,敏捷不好,甚至敏捷不适合我,与我无关。这些问题看似简单,实则是一些常见的误区。1、敏捷与我无关敏捷与我无关。...几次的演练就是让你总结出不好的地方,下一次可以改进。这不就是工作中敏捷的例子吗?生活中的敏捷,举个我儿子的例子:孩子在商场看到了一个恐龙玩具,他很想要,可是我拒绝他了。...4、对敏捷有误解这么多年了,我还是可以在网上看到一些评论,比如:我们跑敏捷为什么要写文档?敏捷有那么多会议干嘛,不浪费时间吗?这些都是对敏捷的误解。首先,敏捷也会有文档的,不是说敏捷了就不写文档。...团队中的良好沟通也会让大家更有默契,更容易互相补位,有利于T型人才(一专多能)的发展,从而提升效率。总结当我们在面对一些新观点出现的时候,我们总是会有畏惧的心理,这还是源于我们的意识。...所以,千万不要习惯性拒绝新事物,要切实的去了解一下新事物,仔细思考其本质,千万不要自欺欺人,妄下结论。所以,现在想想,你的敏捷为什么这么难?
事务的起源 对于大部分程序员来说,他们的任务就是把现实世界的业务场景映射到数据库世界。...,狗哥猫爷这些家伙在银行所拥有的资产是一个特定的值,这些特定的值也可以被描述为账户在这个特定的时刻现实世界的一个状态。...但是在现实世界中的一个不可分割的操作却可能对应着数据库世界若干条不同的操作,数据库中的一条操作也可能被分解成若干个步骤(比如先修改缓存页,之后再刷新到磁盘等),最要命的是在任何一个可能的时间都可能发生意想不到的错误...这时设计数据库的大叔们就需要采取一些措施来让访问相同数据(上例中的A账户和B账户)的不同状态转换(上例中的T1和T2)对应的数据库操作的执行顺序有一定规律,这也是我们后边章节要仔细唠叨的内容。...中止的(aborted) 如果事务执行了半截而变为失败的状态,比如我们前边唠叨的狗哥向猫爷转账的事务,当狗哥账户的钱被扣除,但是猫爷账户的钱没有增加时遇到了错误,从而当前事务处在了失败的状态,那么就需要把已经修改的狗哥账户余额调整为未转账之前的金额
小树最近在开发公司 App 的一个新的功能,需要在用户上线的时候,给关注了她的用户发送一条推送消息。小树很快就完成了开发, 但测试人员却反馈说无法正常接收到推送。...这可让小树着急死了,但小树调用的是原来的推送接口,对推送的相关业务并不熟悉。于是小树准备寻求资深工程师小黑的帮助。...不同设备的同一应用,它们的 DeviceToken 是不同的。同一设备的不同应用,它们的 DeviceToken 也是不同的。...---- 你所看到是推送系列文章中的一篇,更多关于推送的文章: 《测试妹子的呐喊:为什么总是收不到推送?》 《开发小哥的困惑:为何要用第三方推送?》...《官方老爹之痛:为什么苹果能收到推送,而安卓不行?》
为什么要保证 capacity 是2的次幂呢? 1)在get方法实现中,实际上是匹配链表中的 Node[] tab 中的数据。...- 1) & hash,当n为2次幂时,会满足一个公式:(n - 1) & hash = hash % n 2.为什么要通过 (n - 1) & hash 决定桶的索引呢?...1)key具体应该在哪个桶中,肯定要和key挂钩的,HashMap顾名思义就是通过hash算法高效的把存储的数据查询出来,所以HashMap的所有get 和 set 的操作都和hash相关。...2)既然是通过hash的方式,那么不可避免的会出现hash冲突的场景。hash冲突就是指 2个key 通过hash算法得出的哈希值是相等的。...尽量避免 bug 手法2、HashMap 为什么线程不安全?3、3种骚操作,教你查看 Java 字节码! 4、疯了!同事又问我为什么不能用 isXXX5、不能用 + 拼接字符串?这次我要吊打面试官!
开篇是一个页面流程图的基本做法事例,我们通过这张图可以一目了然的看清楚用户是如何用我们的产品的,而我们的交互原型图大家都知道更多的细节用axure或sketch做的一个模块一个模块,你很难以用户的视角看清楚一个产品或功能的全貌...也许有小伙伴还是没太看懂页面流程图是啥,那么我画也个微信的页面流程图吧(只画一部分了,而且是简单的画了下,下面会举详细的例子) ?...微信页面流程 从这个图是否能清晰的看到整个产品的全貌,看产品的每个流程是怎么走的,交互原型图是做不到这点的,而且这里可以快速体验检测哪里有问题,发现问题做调整比在交互原型里去调整方便的很多,这就是页面流程图...注册业务流程图png 聪明的你应该发现了,页面流程图就是业务流程图中四方形的部分以及菱形的异常,不过在页面流程图中给用户看的异常和给后台看的异常是不同的,给用户看的异常就是弹窗。...关于工具和团队协作 我个人习惯用axure,当然sketch和其它的软件都木有问题了,怎么方便怎么做,有利于团队沟通快速推进项目,管他黑猫白猫能抓到耗子就是好猫。
为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?相信看完这篇文章,每个人都能找到一个属于自己的答案。...02 明确数据分析目标 在数据分析前期,要做到充分沟通、理解业务规则、关注业务痛点、了解用户需求、换位思考,明确为什么要做数据分析,要达到一个什么目标。...R 是开源免费的,具有良好的扩展性和丰富的资源,涵盖了多种行业中数据分析的几乎所有方法,分析数据更灵活。Python,有各种各样功能强大的库,做数据处理很方便。...数据源选择不合理,不仅影响结论的可靠性,而且有返工的风险。 3)沟通不充分 无论是分析人员内部的沟通还是与外部相关人员的沟通,都是至关重要的。...对于数据分析师,分析经验的积累与专业知识的提升同样重要,因为有些问题不是只用专业知识就能解决的,所以在平时的工作中要有意识的去学习业务知识、掌握先进的分析工具,做一个有心人! 来源:MeritData
有网友在腾讯举报中心公众号留言——“我在微信群里玩抢红包游戏,莫名其妙被举报为赌博,究竟是为啥?” 小助手:Excuse me ?这位网友,你确定你真的只是单纯的抢红包而不是参与红包赌博?...按照《刑法》规定,以营利为目的的聚众赌博或以赌博为业开设赌场的,都将构成犯罪。其群主的行为就等同于开赌场,属于犯罪行为,群成员“抢红包”也是涉赌的违法行为,要受到治安处罚。...那么问题来了,为什么输的总是你? 小助手拿出压箱底的活儿告诉你—— 不是你手气不好,而是你输给了这群以红包赌博为职业的幕后黑手! ?...新人进群,需缴纳几十到几百不等的押金,押金的最终流向,无非是落入了担保人或群主的口袋。 终极boss——群主 群主作为红包赌博游戏的最终赢家, 为了规避打击,往往会建立很多红包群,甚至花钱买群。...Q2、手机上使用外挂,对我个人信息有啥影响? A、外挂软件不仅会对其他用户造成严重骚扰,并存在收集用户隐私信息、盗取用户帐号密码等安全风险。
即使是一些适用于 JavaScript 的插件,也会额外需要无数的文件。有时,这会让人觉得烦杂恼人——但至少是有用的! 3.“有没有这个功能的插件?” 为什么要重新发明轮子?...在 Internet Explorer 中渲染网页的历史充满了艰辛考验,是我们有目共睹或亲身体验过的。 从 5.5 版本升级到 IE9、IE10,总是需要争取到更高级浏览器的支持。...“哦,天哪,我以前为什么不写点注释呢?” 当涉及到比较基础的前端 HTML / CSS / JS 时,我们没有必要写注释。...当我一筹莫展时,我往往会选择从头开始,因为这样才有可能找到完成项目 的正确道路。 ? 为什么程序员发现不了自己的 Bug? ?...作为开发就和我们成人一样看到问题总是以自己的世界观来理解,导致理所当然的就这样就对了,而真正的真相就被隐藏了。 当程序员面对 Bug 的时候,如何机智甩锅?
前言 想必大家编写代码时肯定和我一样,也遇到过汉字乱码的问题。特别是,有时候和上下游对接接口,不能统一编码格式的话,一堆乱码问题,让人头皮发麻。 那么为什么会有这么多的乱码问题? 什么是字符编码?...但是,这是我自己定义的编码规则,我同桌阿霄就不乐意了。他非要认为 ESC 应该定义为 1101 1000,好家伙正好和我定义的二进制数字顺序相反。...那结果肯定不用说了,我把 0001 1011 这串数字给他之后,按照他的编码规则来解,肯定是 &$#!这样的东西。 所以,乱码问题说到底,就是编码和解码的规则对应不上导致的。...不就是个编码问题吗,这种小事犯不着动手,我定义一个统一的规则,大家都按照我的规则来编码和解码不就好了嘛。 于是,ASCII 码出现了,它定义了一个常用字符集,用来表示字符和数字的对应关系,如下表。...细心的同学可能发现了,我上边转换的汉字可以用 char 类型来存储,这是为什么呢? 这是因为,在 Java 中,默认使用的字符集就是 Unicode,可以容纳 100 多万个字符,其中就包括汉字。
安装telnet客户端的方法https://cloud.tencent.com/developer/article/1829868执行control system打开 控制面板\所有控制面板项\系统image.pngimage.png...再额外解释些受用的命令:①打开“用户和组”lusrmgr.msc②打开系统属性页面sysdm.cplimage.png图片.png图片.png能打开系统属性的命令很多C:\Windows\System32...获取日期、时间date回车、time回车⒂打开计算器calc⒃打开画图mspaint⒄查看系统配置启动项msconfig⒅获取系统信息systeminfo > sysinfo.txt⒆光标进入某个目录的路径里去
Manual man 不明白的命令翻手册啊( 翻页按f,上一页按b,也可以用方向键控制进度 后台运行 nohup nohup command &//格式 nohup jupyter notebook...> jupyter.log &//以jupyter notebook命令为例,原本输出到终端的内容被重定向到了jupyter.log日志文件 screen screen -S [name]//新建一个screen...,|是Linux中连接两条命令的运算符 vi/vim 强大的文本编辑器,vim使用方法自行谷歌 文件系统 ls list,列出当前目录文件 -a 显示.开头的隐藏文件 -h 用k、m等单位代替byte...-l 列出文件或文件夹的详细信息(也会显示文件大小,但需要文件夹大小的话可以用du命令) cd change directory,切换当前目录 du disk usage,显示文件夹或目录的大小 mkdir...一个一看就知道干嘛的命令 df 显示挂载的磁盘的使用情况 mv 移动文件或文件夹,也可以重命名文件和文件夹 文件操作 chown 改变文件拥有者 touch touch [file]会使文件的读取时间和修改时间都更新为当前时间
昨天看到一个有意思的问题,为什么在我们遇到的大多数编程语言里面,数组的下标基本都是从0开始? 这是一个简单的问题,很少人会有人去思考为什么,但这里面其实是有一定的数学逻辑在里面。...那么为什么应该从0开始而不是1呢,这在计算机科学里面是一个有趣的概念。...当然,上面是纯粹从编程语言层面讨论的,其实在数学领域,也有比较形象的解释,假设我现在有一个连续的自然数序列,1,2,3...一直到10,现在如果想要表示这段数组,通常有四种表示形式: a. 0<i<11...b. 1<=i<11 c. 0<i<=10 d. 1<=i<=10 正确的标记方法,在自然数的范围内应该包含下面的两种情形: (1)子序列可以包含最小的自然数0 (2)子序列可以是空的 下面我们来看下...首先,对于要求1可以包含最小的自然0,我们会发现a和c的标记法是没法表示0的,除非写成-1 for(i=0;i<N;i++){ sum+= a[i]; } 至此你应该了解为什么数组的下标要从0开始了
当然了,bad case分析这块我也聊了很多,多分析能发现其中的端倪,知道模型需要什么,该怎么处理,我再放一遍在这里,希望能好好阅读。...训练层面的分析 BERT的训练其实挺多讲究的,这里的实验效果要保证对参数的有一定的要求,所以大家要多去观察训练过程暴露的问题,训练过程其实就是要观测loss变化、验证集效果等的问题,放置没学到、学飘了之类的问题...类似的思路其实我在这两篇文章里其实都有谈过: 心法利器[44] | 样本不均衡之我见 所以,很多时候你需要的可能是更多地挖掘数据,从日志,从更多渠道去找,这个可能比增强本身要好。...这里背后的逻辑可以参考我这篇文章: 心法利器[45] | 模型需要的信息提供够了吗 训练问题 针对训练问题,其实也就是一个经验的问题了,多弄其实问题就会小很多,大家可以多去看各个论文使用的超参,一般调的差不多基本都不会有的...而文章本身的输出并非是按照这个思路走,而是从一些大家经常问的点深入来讨论,希望能从我的角度和风格来思考和回答问题。
我们总是计划地很美好,目标定得很具体,但落地执行,却一塌糊涂,最终只能是不了了之,黯然收场。没有执行力,再好的计划也只是纸上谈兵,都是扯淡!...1 执行力差,会失去很多 为什么曾经一起挤地铁,租房子的人,几年之后差距会特别明显?为什么大多数国企干不过私企?为什么很多企业不到五六年就倒闭了?...领导安排一项工作,下面的人总是打折扣的完成,反正都是在这里混日子嘛,多一分钟舒服就是赚的。 ?...在《亮剑》里有这么个细节,李云龙和政委商量挑选会功夫的战士,搞一个特别小队出来。政委说,这主意不错,这事你尽快去办。李云龙桌子一拍,不用尽快,我现在就去办!...4 不知道干好了有什么好处 古代作战时,如果一座城池久攻不下,攻城的将军一般会下一道命令:城破后3天内士兵可以随意烧杀抢掠。结果士气大振,一天城破。
领取专属 10元无门槛券
手把手带您无忧上云