首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Spark 3.0 对 GPU 做了什么支持

    Spark 本身在数据处理流程里占据非常重要的地位,而在人工智能的战场,传统 Spark 能带来什么呢?...在深度学习里,模型训练一般都被 Tensorflow, PyTorch 等深度学习框架占领了,而 Spark 提供的 GraphX 和 MlLib 可以做一些机器学习的东西,但是在深度学习的战场里,明显没有什么优势...那么 Spark 为什么在深度学习靠拢呢,还有他的价值呢?...看一下 Spark 源码到底对 GPU 做了什么样的支持。 Checkout 到最新的 v3.0.0-preview-rc2 的 tag。...因为我只关注 on Kubernetes 的模式下,如何对 GPU 进行支持,所以全局搜索的时候,可以适当把 Yarn 和 Mesos 的部分剔除,因为这里的代码一般是互斥的,也就是 on Kubernetes

    85520

    收购一年,快手对A站做了什么?

    “快手为什么要买A站?” 2018年6月,快手游戏直播团队的产品负责人陈明安和研发团队一起对A站做了摸底,大概了解之后,他脑海里蹦出这样一个疑问。...当时还有用户做了一个网站,整个网站只有一个功能,叫做:A站今天挂了吗,隔几秒检查一次A站是否正常。 但现在这个用户已经关站了,还发帖子说:“应该用不上我了。”...这次更新引起了很多老用户的不满,但等查看数据的时候,产品团队却发现评论发送量有明显提升,为了平衡一部分老用户的心态,他们还特地做了一个切换版本的功能,用户可以自由退回到老版本。 ?...在互联网公司工作的人应该都知道,产品和技术是一对“相爱相杀“的角色。但到了A站,产品和技术因为对A站改造的困难达成了一致,导致双方几乎没有什么冲突。...【深度思考】如何把别人的知识变成自己的知识 年度好文:腾讯工程师的自我修炼 《一起来捉妖》妖灵战斗力的量化浅析 QQ 8.0改版策划故事 当我们谈论智慧零售时,到底在谈什么?

    42930

    【SQL】CLR聚合函数什么鬼

    之前写过一个合并字符串的CLR聚合函数,基本是照抄MS的示例,外加了一些处理,已经投入使用很长时间,没什么问题也就没怎么研究,近日想改造一下,遇到一些问题,遂捣鼓一番,有些心得,记录如下。...一、杂项 CLR聚合函数在SQL中虽然是函数,但在C#中实际上是以一个类或结构的形式存在的(是的,实现聚合函数的实体可以是结构,也可以是类),这点有别于CLR普通函数,后者是类中的一个方法,鉴于此,下文把实现聚合函数的类或结构统称为聚合类...至于为什么,不知道,望高人解答 进入Accumulate方法(这一步不是必然发生的,稍后说明)。...不指定就是0,就是什么数据也保存不了~玩毛。...哎哟不错哦~NONONO,据我调试,w的编码方式是UTF8(不确定跟环境有没有关系,因为w是CLR负责传入的,什么情况下传入什么编码的w,无从考究。

    75720

    TypeScript 针对 JavaScript 做了什么

    JavaScript 是一门非常灵活的编程语言,在了解为什么要有 TypeScript 之前,觉得还是有必要说说这个世界对 JavaScript 的误解。...但是因为一个糟糕的营销策略而被重新命名,该策略企图利用Sun Microsystem 的 Java 语言的流行性,将它的名字从最初的 LiveScript 更改为 JavaScript——尽管两者之间并没有什么共同点...如果要说说 JavaScript 还有什么特性的话就是大致可以考虑下有: 它没有类型约束,一个变量可能初始化时是字符串,过一会儿又被赋值为数字。...针对 Java 程序员来说,最最头疼重要的就是 JavaScript 毫无章法的变量类型,完全不知道自己的变量是什么,和另外一个就是 JavaScript 是一种解释型的脚本语言, 与 Java 等语言先编译后执行不同

    30330

    Flink UDAF 背后做了什么

    [源码解析] Flink UDAF 背后做了什么 0x00 摘要 本文涉及到Flink SQL UDAF,Window 状态管理等部分,希望能起到抛砖引玉的作用,让大家可以借此深入了解这个领域。...看起来应该是Flink在背后做了一些黑魔法,把这两个函数从一个类中拆分了。...关于combineGroup,如果有兴趣,可以看看我之前文章 [源码解析] Flink的groupBy和reduce究竟做了什么 以及 源码解析] GroupReduce,GroupCombine 和...0x03 流处理 流处理则是和批处理完全不同的世界,下面我们看看流处理背后有什么奥秘。...3.3 执行 & 状态管理 可以看到,流处理对UDAF的管理,就完全是进入了Window的地盘,而UDAF历史状态管理其实就是Flink Window状态管理的领域了。

    1.2K20

    搞事 | 这个周末我对落灰的云服务器做了什么?

    个人小站一般不会托管在国内的服务器上(仅仅是我) 所以这台服务器很长时间以来只跑了: 微信公众号的后端项目 上学那会给女票做的小说网站(没有域名直接ip解析过去的 就没备案) 总觉得不能就这样浪费 那么做什么好呢...还能展示出完整的错误栈,帮你快速定位bug 举个例子「URLError」点进去是这样的 通过观察,我们发现是在调用支付宝api的时候发生了网络的错误,我们甚至能在右侧看到有多少用户遇上了这个错,包括: 他们用的系统是什么...浏览器是什么… 清楚了问题发生的原因和过程,我就可以很快的做出解决方案: 请求失败的时候 retry 用定时任务去处理失败的消息 prometheus 接着是prometheus(普罗米修斯),这个名字很酷炫有没有

    1.3K20

    开发和运维对K8S中的应用都做了什么?

    如果应用需要部署到K8S中,开发和运维在其中都做了什么呢?...如果我们应用未定义好相应的健康检测接口,K8S就无法判断应用是否正常可用,整个应用对我们来说就是黑匣子,也就谈不上应用稳定性了。...从上面可知,Pod在停止之前会收到SIG信号,如果应用本身没有处理这些信号的能力,那应用如果知道什么时候该结束呢? 下面简单定义一个处理SIG信号的功能。...原则上,不论是什么类型的日志输出,什么格式的日志内容,都能收集。但是为了方便友好,建议把日志输出到标准输出,这样收集更方便。...对于有状态应用,我其实很少部署到K8S中,大部分还是部署的无状态应用,至于为什么,用多了就晓得了。

    50730
    领券