爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
一、认识HTTP前需要认识： 1、什么是URL URL全程是Uniform Resource Locator (统一资源路径)。 通过一个URL可以找到互联网唯一的1个资源。 格式：协议：//主机地址/路径 http://www.jianshu.com/writer#/notebooks/1365988/notes
本程序仅供学习研究使用，请勿利用本程序损害任何个人或企业的利益，造成一切影响，开发者将不承担任何责任！
年前准备换工作，总结了一波面试最频繁的面试问题跟大家交流。此文章是关于浏览器的常见问题，大概面试10家遇到6家提问类似问题（主要是大厂和中厂）。（面试的部分内容已经忘了，为了串联成一个完整的故事，增加可读性，20%的内容为虚构），目前入职滴滴出行成都团队。
首先声明本文不是高手教程，最近刚自学了php，总觉得还是需要做点什么来加深掌握度。所以此博文，是一边做一边记录。
当想通过代码知道自己主机地址和主机名，或者查询网络上服务器地址时，我们都可以用InetAddress类。java.net.InetAddress类是用来表示IP地址的高层表示，大多数有关于Java网络相关的类都和它有关系，例如socket,URL等。
近日，腾讯安全威胁情报中心检测到有挖矿、远控黑产团伙利用向日葵远控软件RCE漏洞攻击企业主机和个人电脑，已有部分未修复漏洞的主机、个人电脑受害。攻击者利用漏洞入侵后可直接获得系统控制权，受害主机已被用于门罗币挖矿。
一 故障描述 HAProxy已经搭建完毕，现在需要把以后缀为game.linuxidc.com的域名转发到后端的Nginx虚拟机主机上，所以关键在于怎么使用HAProxy匹配game.linuxidc.com。在HAProxy的配置文件中设置将HTTP请求转发到后端Nginx主机的80端口，通过88端口检测Nginx和PHP-FPM的监控状态。
不能免俗的是下载安装 ARR（Application Request Routing），下载地址为: http://www.iis.net/downloads/microsoft/application-request-routing。
ORM：(在django中，根据代码中的类自动生成数据库的表也叫--code first) ORM：Object Relational Mapping(关系对象映射) 我们写的类表示数据库中的表 我们
前段时间在用Coding.net同步git仓库时，能正常使用非https的ssh协议，但是这两天在自己的Windows机器上push内容时，报如下图中的错误Permission denied (publickey).：
今天开始学习Tomcat的配置文件，自己学习和上网查看整理server.xml 的笔记！
1.Python(2或者3) 2.App爬虫神器mitmproxy 3.按键精灵 4.还有之前的强制抓包工具postern
比如 GET 请求 /students 查询所有学生，/students/1 查询 id 为 1 的学生
原文地址：http://blog.chinaunix.net/uid-28216282-id-3757849.html
开发模式 前后端不分离 后端需要控制数据的展示 前后端耦合比较高 多终端复用性差 任务区分不明显 前后端分离 当前主流 后端只对数据进行处理，只提供数据 前端效率，页面由前端负责 解耦和 前后端同时开
闲着发慌，fofa找了一个weblogic，直接获取administrator权限。
作为一个数据控+一个有追求的技术博主，总是希望自己能知道自己博客历史每日粉丝数量、阅读量、积分、评论……的数据，然而官方博客管理后台给展示的数据太少了，只有每日访问量、评论数、粉丝数、收藏数这几个数据，而且目前最多只能看最近一个月的数据。
Fiddler抓取到的每条http请求（每一条称为一个session），会话列表 主要是Fiddler所抓取到的每一条http请求都会显示到这里。主要包含了请求的ID编号、状态码、协议、主机名、URL、内容类型、body大小、进程信息、自定义备注等信息，如下图所示：
前两天公司晚上9点过，通知第二天要48小时核酸才能进办公楼。看到消息，已经是9点半多了，走到公司附近的核酸点，是10点过。然后发现那个点人好少，走近了才发现核酸点已经下班了，不过医护人员还没走，旁边也围了一些群众，应该是想让医护人员再做几个。
打开天眼查，输入公司名称—>进入公司主页—>找到知识产权部分。即可看到很多知识产权信息，点击详情即可看到发明人姓名
11、主机的配置：是否开启，历史会话审批，实时会话监控，允许使用剪贴板，允许文件传输
Prometheus(由go语言开发)是一套开源的监控&报警&时间序列（按照时间排序）数据库的组合。适合监控docker 容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。它可以监控主机，服务，容器
Elasticsearch 具有一组丰富的易于理解的 REST API，这些 API 均可如下几种方式通过 HTTP 调用进行访问。
一、前言 在互联网时代，业务规模常常出现爆发式的增长。快速的实例交付，数据库优化以及备份管理等任务都对DBA产生了更高的要求，单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备份、元数据、定时脚本和快速实例交付就成了急需解决的的问题。 二、数据库的标准化 在实现MySQL的自动化运维的过程中，最痛苦的无非是目录的不统一，配置文件的混乱以及DB主机的不标准，而这些不标准的环境会让自动化运维的路途荆棘重重。所以首先我们将相应的DB主机以及目录做了标准化，将以前不符合的标准的主机和实例
OpenStack是一个云操作系统，同时又是一个开源的组织，并且还是一个基金会，通过它里面的各种组件可以管理整个数据中心的大型计算，存储和网络资源池。
最近发现一些网站，可以解析各大视频网站的vip。仔细想了想，这也算是爬虫呀，爬的是视频数据。
下面就是他分享的4个tips。由于本文中涉及到的shell脚本过多，你可以去文末地址中查看所有脚本的源代码。
API 是一个系统向外暴露或公开的一套接口，通过这些接口，外部应用程序能够访问该系统
作者：Y-ANG 来源： http://blog.csdn.net/qq_33951180/article/details/70239745 我们先了解一下这个项目最终能达到的一个目标，然后以这个来进
通常在实际项目中，无论操作数据、或是dom，我们需要熟悉一些浏览器的API,或是js原生给我们扩展的API，我们熟悉了这些API,某种意义上来说，一些高效的API和方法常常会解惑你项目中遇到的很多疑难杂症。
-多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台（功能如下）： 1)整合了各个公有云API，自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机，连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
最近，有位来自ETHZ的学生分享了一些Shell小技巧。对程序员来说，这些技巧更重要的是让你的思维从琐碎小事中解脱出来，大大提高了工作效率。
如图：单图上传为灰色，多图上传提示 后端配置项没有正常加载，上传插件不能正常使用！
用 0、1、2、3、4、5 的递增 id 标识每个 url，把映射关系存到数据库里。
RESTful API 是一种面向资源编程，也叫表征状态转移（英文：Representational State Transfer，简称REST）。 认为网络上所有的东西都是资源，对资源的操作无非就是增删改查。
BOM由多个对象组成，其中代表浏览器窗口的Window对象是BOM的顶层对象，其他对象都是该对象的子对象。
在计算机网络中，IP地址和MAC地址是两个最基本的概念。IP地址在互联网中是用于标识主机的逻辑地址，而MAC地址则是用于标识网卡的物理地址。虽然它们都是用于标识一个设备的地址，但是它们的作用和使用场景是不同的。
今天宝叔突然在群里发了个问题; host做如下配置，a.com会指向哪里？或者说ping一下a.com结果会是什么？
https://blog.csdn.net/wangsuyu_1/article/details/51295459
平时我都是做APO的，很少接触Core IO方面的东西，最近由于一个项目的需要，要我配置AD、DNS、MOSS+NLB，SQL Server+Cluster。这可是我的弱项，任务既然来了，还是只有硬着头皮上了。在客户那边配置测试环境之前，我先要在虚拟机中做做实验，看下该怎么配，官方文档倒是写的多简单的，几步就完成的，但是实际配起来可能会遇到各种各样的问题需要去解决。现在我就说说我配置NLB的过程。
作为虾米级站长一枚，实则是不懂代码的菜鸟，由于自己的站点是小水管主机，而且稳定性也难以保障，在很多访客的建议下，也想建立一个内容镜像站点，以实现当主站的主机维护时，能够有一个备用站点让访客访问。
超文本传输协议（HyperText Transfer Protocol），缩写HTTP。通过HTTP或者HTTPS协议请求的资源由统一资源标识符（Uniform Resource Identifiers，URI）来标识。由HTTP客户端发起一个请求，创建一个到服务器指定端口（默认是80端口）的TCP连接。HTTP服务器则在那个端口监听客户端的请求。一旦收到请求，服务器会向客户端返回一个状态，比如"HTTP/1.1 200 OK"，以及返回的内容，如请求的文件、错误消息、或者其他信息。
超文本传输协议（HyperText Transfer Protocol），缩写HTTP。
前段时间，各个网盘纷纷下线，导致目前能用的大网盘，也就几个，还都限速… 然后很早的时候就有人想让我写个 自建私有云盘（网盘）的教程了，我以前用过 owncloud，但是这个玩意，安装后进去一看，一堆报错的，看着就头大，然后网上查了查，也有人安利，最终我选择了 Seafile，我对这类程序也不了解，就先写个Seafile教程好了。 Seafile 简介 Seafile 是一个开源的文件云存储平台，解决文件集中存储、同步、多平台访问的问题，注重安全和性能。 Seafile 通过“资料库”来分类管理文件，每个资料
DNS （Domain Name System， 域名系统 ），万维网上作为域名和IP地址相互映射的一个 分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过域名，最终得到该域名对应的IP地址的过程叫做域名解析（或主机名解析）。
http协议即超文本传输协议，用于从万维网服务器传输超文本到本地浏览器的传送协议。 http是基于TCP/IP通信协议来传递数据的一个属于应用层的面向对象的协议。http协议工作于c/s架构，浏览器作为客户端通过url向http服务端（即web服务器）发送所有请求，web服务器根据受到的请求后，向客户端发送响应。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
