本文是我在中生代技术群分享的话题《创业一年经历的技术风雨》中的第三部分《研发团队总结的技术实践》。若要阅读第二部分《技术团队的管理》，请移步中生代技术群公众号。 与大多数团队相比，因为我们使用了小众的Scala，可以算得上是“捞偏门”了，所以总结的技术实践未必具有普适性，但对于同为Scala的友朋，或许值得借鉴一二。Scala社区发出的声音还是太小，有点孤独——“鹦其鸣也，求其友声”。 这些实践不是书本上的创作，而是在产品研发中逐渐演化而来，甚至一些实践会非常细节。不过，那个优秀的产品不是靠这些细节堆砌出来
https://www.psvmc.cn/article/2022-04-21-bigdata-spark-idea.html
Apache PredictionIO 是为开发者和工程师设计的开源机器学习服务器，基于 Apache Spark、HBase 和 Spray 构建。
如上图我们可以看到，存入的有数据，但是这些数据不是我们想看的，我们可以根据一下方式进行解决
Akka-http是一项系统集成工具。这主要依赖系统之间的数据交换功能。因为程序内数据表达形式与网上传输的数据格式是不相同的，所以需要对程序高级结构化的数据进行转换（marshalling or
对 request，response 消息体中 JSON 的支持一般就是要做两件事：一是定义 josn 的格式规范，另外就是根据格式规范进行序列化、反序列化。STTP 提供开箱即用的对第三方JOSN库的支持：包括Circe、Json4s、spray-json 等。
摘要：PredictionIO总结了数据收集任务中的一些好的实践，能够降低你在机器学习数据收集时的数据清理工作以及数据浪费。这些经验包括:要收集所有数据，每个事件的时间戳，避免序列化和二进制，查询时间和使用队列服务等。 在新的一年里，很多人都在思考如何利用机器学习（ML）算法来提高产品或服务的质量。 PredictionIO公司与许多公司合作，部署他们的第一个ML系统和大数据基础设施。PredictionIO总结了数据收集任务中的一些好的实践，并愿意与你分享这些经验。 如果你正在考虑采用ML，以正确的格式收
很多的开源应用程序和工具都有很强的替代性。相对于其他昂贵的工具来说，开源工具兼容性比较好，并且他们是免费的。这样开发人员在进行日常的工作时便可以不花钱就可以获得这些必要的工具和程序。这篇文章20款优秀的开源工具分享给 Web 开发者。
在新的一年里，很多人都在思考如何利用机器学习（ML）算法来提高产品或服务的质量。 PredictionIO公司与许多公司合作，部署他们的第一个ML系统和大数据基础设施。PredictionIO总结了数据收集任务中的一些好的实践，并愿意与你分享这些经验。 如果你正在考虑采用ML，以正确的格式收集正确的数据，将会降低你的数据清理工作以及数据浪费。 要收集所有数据 收集所有数据是非常重要的。除非你真正训练一个预测模型，否则你将很难知道哪个属性哪些信息具有预测价值，并提供最好的结果。 如果一条信息没有收集到，我们就
对于程序员而言，Github无疑是一个巨大的宝库，其全球注册用户超过3100万，仓库数量突破一个亿。（2018年年底统计数据）
人工智能是目前最热门的科研领域之一。诸如IBM、谷歌、微软、脸书和亚马逊这类大型公司不仅加大了对旗下发展研究部门的资金投入，同时也开始并购一些在机器学习、神经网络、自然语言与图像处理领域小有所成的初创公司。鉴于目前人工智能研究领域的火爆程度，斯坦福大学的教授们不久前作出了这样一份报告：“人工智能软件的作用越来越强大，而对人类社会、经济有强大影响力的人工智能软件将于2030年前面世”。 国外网站Datamation今日整理了目前热门的15款开源人工智能软件，雷锋网(搜索“雷锋网”公众号关注)对全文进行了编译介
本文是我在中生代技术群分享的话题《创业一年经历的技术风雨》中的第一部分《产品架构与技术选型》的第二部分。我要谈的是我们产品研发过程中的技术选型。 开发语言的选型 我们选择的语言是Scala。选择它的一个主因是因为Spark；另一个原因呢？或许是因为我确实不想再写Java代码了。 其实有时候我觉得语言的选型是没有什么道理的。除了特殊的应用场景，几乎所有的程序设计语言都能满足如今的软件开发需求。所以我悲哀地看到，语言的纷争成了宗教的纷争。 在我们团队，有熟悉Java的、有熟悉JavaScript包括NodeJ
选自Jaxenter 机器之心编译 参与：路雪、刘晓坤 想提高机器学习技能？何不看看 GitHub 上最流行的开源机器学习项目呢？本文介绍了 GitHub 上最流行的 5 个开源机器学习项目。 机器学习是当前最热的技能。今年早些时候，Stack Overflow 发布了一项涉及大量开发者的调查结果，机器学习专家的收入仅次于 DevOps 专家。 机器学习正处于鼎盛时期，但对新手来说，开源通常有点让人疑惑。因此，今天，我们就来了解一下 GitHub 上最顶尖的五个开源项目，看看该领域的发展情况以及你能够帮助
【settings.xml】这里使用的是阿里的镜像位置，默认库位置在【D:\maven\repository】
研究关于restapi的初衷是想搞一套通用的平台数据表维护http工具。前面谈过身份验证和使用权限、文件的上传下载，这次来到具体的数据库表维护。我们在这篇示范里设计一套通用的对平台每一个数据表的标准维护方式。http服务端数据表维护CRUD有几个标准的部分组成：Model,Repository,Route。我们先看看这几个类型的基类：
最近我们在一个项目上使用spray来发布restful service。 spray是个性能很好而且功能非常完整的service框架，包含很多组件，从底层http服务器到高层的rest路由DSL都有。
随着互联网和移动互联网的发展，时下我们正处在一个大数据的时代。在数据金山的诱惑下，各个机构纷纷开始探索从数据中提取洞见并指导实践的可能。而在这个需求的刺激下，在过去数年，大数据开源生态圈得到了长足的发展——在数据的整个生命周期中，从收集到处理，一直到数据可视化和储存，各种开源技术框架林立。 以这些开源技术为基石，业内涌现出一系列令人敬佩的大数据架构实践，而《程序员》电子刊9月B大数据实战与技术专题则摘录了电商、金融、游戏等行业的大数据应用，并覆盖了当下热门的大数据开源技术实践与技术细节，如Hadoop、
现在机器学习逐渐成为行业热门，经过二十几年的发展，机器学习目前也有了十分广泛的应用，如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、DNA序列测序、语音和手写识别、战略游戏和
https://github.com/ageitgey/face_recognition
它是由贾扬清在加州大学伯克利分校的读博时创造的，Caffe 是一个基于表达体系结构和可扩展代码的深度学习框架。使它声名鹊起的是它的速度，这让它受到研究人员和企业用户的欢迎。根据其网站所言，它可以在一天之内只用一个 NVIDIA K40 GPU 处理 6000 万多个图像。它是由伯克利视野和学习中心（BVLC）管理的，并且由 NVIDIA 和亚马逊等公司资助来支持它的发展。
随着互联网和移动互联网的发展，时下我们正处在一个大数据的时代。在数据金山的诱惑下，各个机构纷纷开始探索从数据中提取洞见并指导实践的可能。而在这个需求的刺激下，在过去数年，大数据开源生态圈得到了长足的发展——在数据的整个生命周期中，从收集到处理，一直到数据可视化和储存，各种开源技术框架林立。 以这些开源技术为基石，业内涌现出一系列令人敬佩的大数据架构实践，而《程序员》电子刊9月B大数据实战与技术专题则摘录了电商、金融、游戏等行业的大数据应用，并覆盖了当下热门的大数据开源技术实践与技术细节，如Hadoop、Sp
机器学习领域正在飞速发展。GitHub 是一张举世瞩目的白板，高质量的代码通常被发布在这张充满智慧的无限大白板上。
在2015年3月21日的北京Spark Meetup第六次活动上，一场基于Spark的机器学习专题分享由微软Julien Pierre、新浪网白刚与Intel研究院尹绪森联手打造。 Julien Pi
在2015年3月21日的北京Spark Meetup第六次活动上，一场基于Spark的机器学习专题分享由微软Julien Pierre、新浪网白刚与Intel研究院尹绪森联手打造。
机器学习作为一个领域，正在以极快的速度发展。Github是全世界都在关注的白板。高质量的代码定期发布在无限的智慧板上。
1. Caffe、2. CNTK、3. Deeplearning4、j4. 分布式机器学习工具包、5. H2O、6. Mahout、7. MLlib、8. NuPIC、9. OpenNN、10. OpenCyc、11. Oryx 2、12. PredictionIO、13. SystemM、L14. TensorFlow、15. Torch 全文较长，建议阅读时间7分钟。 往期回顾：【盘点】数据挖掘师，这十大思维原理你具备吗？ 人工智能是技术研究领域最炙手可热的领域之一。IBM、谷歌、微软、Facebo
原创声明，禁止转载 构建微服务并不容易，特别是当微服务变得越来越多时，而且好多微服务可能由不同的团队提供和维护，这些微服务彼此交互并且变化很快。 文档、团队交互和测试是获得成功的三大法宝，但是如果用错误的方式进行，它们会产生更多的复杂性，而不是一种优势。 我们可以使用像Swagger（用于文档），Docker（用于测试环境），Selenium（用于端到端测试）等工具，但是我们最终还是会因为更改API而浪费大量时间，因为他们不是说谁适合来使用它们，或者设置合适的环境来执行集成测试，而是需要生产数据（希望是匿
机器学习目前是 IT 领域最热门的话题之一，这是因为它在看似无限的应用场景中都能发挥自身的作用。从检测欺诈网站到自动驾驶汽车，再到识别你的“金牌会员”身份以进行价格预测等等。 但这个如此有吸引力的领域未来将如何发展？会走向何处？下一个最好的东西又将是什么？未来十年我们将处于什么样的位置？无论下一个巨大的改变是否会给我们所有人带来惊喜，本文将对机器学习将发挥作用的领域和用例做出五个预测。 1. 量子计算(Quantum Computing) 机器学习任务涉及到诸如在高维空间中对大量向量进行处理和分类的问题
K8s 是时下最流行的容器"操作系统"，虽然已经流行了好几年了，不过作为开发人员想要熟练的使用它，除了理解它的各个组件的职责、行为特性之外，还得熟记它的 CLI 命令工具 kubectl。
ThoughtWorks每年都会出品两期技术雷达，这是一份关于技术趋势的报告，由ThoughtWorks 技术战略委员会（TAB）经由多番正式讨论给出，它以独特的雷达形式对各类最新技术的成熟度进行评估并给出建议，为从程序员到CTO的利益相关者提供参考。
哔哩哔哩漫画APP实践Flutter 也有大半年时间了，我针对线上收集到的错误进行分析，挑选出了一些有一般代表性的错误，列在本文，可供实践 Flutter 的初学者们作为一点参考。
【编者按】随着机器学习算法的流行，Amazon、Google,、IBM和Microsoft等公司在机器学习云服务市场接连出手，并提供许多的API来吸引用户。本文中，Janet Wagner，ProgrammableWeb的data journalist、developer和contributor，根据互联网上的活跃度盘点了机器学习API的Top 10，并介绍了它们的功能特色。Janet Wagner同时认为，Project Oxford等少数API虽然没有上榜，但仍值得称道。 如今，机器学习无处不在。它可以
1. ACT-R：ACT-R由卡内基·梅隆大学开发，它既是人类认知理论的名称，又是基于该理论的软件的名称。该软件基于Lisp，提供详细的说明文档。 链接：http://act-r.psy.cmu.edu/software/ 2. Caffe：Caffe最初由加州大学伯克利分校的一名博士生创建，已成为一种大受欢迎的深度学习框架。它赖以成名的方面包括富有表现力的架构、可扩展代码和速度。 链接：http://caffe.berkeleyvision.org/ 3. CaffeOnSpark：该项目最初在雅虎开发
每年天猫双十一购物节，都会有一块巨大的实时作战大屏，展现当前的销售情况。这种炫酷的页面背后，其实有着非常强大的技术支撑，而这种场景其实就是实时报表分析。
机器学习目前是 IT 领域最热门的话题之一，这是因为它在看似无限的应用场景中都能发挥自身的作用。从检测欺诈网站到自动驾驶汽车，再到识别你的“金牌会员”身份以进行价格预测等等。 但这个如此有吸引力的领域未来将如何发展？会走向何处？下一个最好的东西又将是什么？未来十年我们将处于什么样的位置？无论下一个巨大的改变是否会给我们所有人带来惊喜，本文将对机器学习将发挥作用的领域和用例做出五个预测。 1. 量子计算(Quantum Computing) 机器学习任务涉及到诸如在高维空间中对大量向量进行处理和分类的问题。我
机器学习作为一个领域，正以惊人的速度发展。Github是全世界都在关注的白板。高质量的代码被定期张贴在那无限的智慧板上。
Github上的十大机器学习项目涵盖了一系列函数库、框架和教学资源。我们来看看别人使用的工具和学习的资源。 开源软件是数据科学很重要的一部分。 根据最近的KDnuggets数据科学软件投票的结果，73
Drill 是一个用于大数据探索的 Apache 开源 SQL 查询引擎。 Drill 的设计初衷是支持对来自现代大数据应用程序的半结构化和快速发展的数据进行高性能分析，同时仍然提供行业标准查询语言 ANSI SQL 的熟悉度和生态系统。 Drill 提供与现有 Apache Hive 和 Apache HBase 部署的即插即用集成。
2017年企业界在AI技术上的开支将达到125亿美元，比2016年增长逾59.3%。这股强劲的增长势头可能会一直持续到2020年，到时收入有望达到460亿美元。开源软件的发展为AI的崛起发挥了巨大作用，市面上许多顶级的机器学习、深度学习、神经网络及其他AI软件采用开源许可证。本文从中遴选了50个最著名的开源AI项目： 1. ACT-R：ACT-R由卡内基·梅隆大学开发，它既是人类认知理论的名称，又是基于该理论的软件的名称。该软件基于Lisp，提供详细的说明文档。 链接：http://act-r.psy.
对于做工程项目和搞科研的人来说，有现成的模块或工具使用是一件多么美妙的事情啊，无需访问源码或理解内部工作机制的细节即可完成相应的任务。常用的方法是调用一些API，即一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力。本文总结对于机器学习行业者有用的50多个API，主要涉及的领域如下：
机器学习作为一个领域，正以惊人的速度发展。Github 是全世界开发者都在关注的网站，最高质量的代码被定期发布在这里。
"q": "CollectTime:[2014-12-06T00:00:00.000Z TO 2014-12-10T21:31:55.000Z]",
https://www.cnblogs.com/whuanle/p/14679590.html
随着应用功能越来越多，从单体架构发展到现在微服务架构，拆分的模块越来越细粒化，需要定位应用模块之间的问题困难越来越大，需要通过一些第三方工具去帮助我们快速定位和发现应用模块的问题，实现以下功能： 1、监控模块间响应时间展示 2、应用模块间调用链路展示 3、慢响应识别 市面上也有非常多的APM软件提供。主流开源的如SkyWalking、ZipKin、CAT、PinPoint、ElasticAPM。这些都是根开发语言有强绑定关系，并且需要业务加载对应的开发包和引入SDK，对业务具有一定的侵入性。目前还有新兴的解决方案，基于云原生ServiceMesh方式，对应用没有侵入性和开发语言绑定。
本篇基于 2017 年的推荐清单做了一些改进——去除了一些不再进行维护的 API，并且更新了一些新的 API。主要覆盖如下方向：
Apache Drill是一款开源的数据探索工具，一个分布式SQL查询和分析引擎。它包含了很多专有的设计，来进行高性能分析，支持半结构化数据源（JSON、XML和日志等）和基于应用不断创新的数据格式。在此基础上，Drill不仅支持行业标准的 ANSI SQL，做到开箱即用和快速上手，还支持大数据生态的集成，如 Apache Hive 和 Apache Hbase 等存储系统，即插即用的部署方式。
Swarm 是 Docker 公司推出的用来管理 docker 集群的平台，几乎全部用GO语言来完成的开发的，代码开源在https://github.com/docker/swarm， 它是将一群 Docker 宿主机变成一个单一的虚拟主机，Swarm 使用标准的 Docker API 接口作为其前端的访问入口，换言之，各种形式的Docker Client (compose,docker-py等) 均可以直接与 Swarm 通信，甚至 Docker 本身都可以很容易的与 Swarm 集成，这大大方便了用户将原本基于单节点的系统移植到 Swarm 上，同时 Swarm 内置了对 Docker 网络插件的支持，用户也很容易的部署跨主机的容器集群服务。
关于转载授权 大数据文摘作品，欢迎个人转发朋友圈，自媒体、媒体、机构转载务必申请授权，后台留言“机构名称+文章标题+转载”，申请过授权的不必再次申请，只要按约定转载即可，但文末需放置大数据文摘二维码。 选文：孙强 整理翻译：孙强，HeHe， Dr Guo, Mano 原文链接：http://www.kdnuggets.com/2015/12/top-10-machine-learning-github.html/2 摘要：GitHub上排名前10的机器学习项目，包括一些库、框架和教育资源。让我们一起学
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
