Linux linuxidc 4.4.0-89-generic #112-Ubuntu SMP Mon Jul 31 19:38:41 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
Splash 是一个 JavaScript 渲染服务，是一个带有 HTTP API 的轻量级浏览器，同时它对接了 Python 中的 Twisted 和 QT 库。利用它，我们同样可以实现动态渲染页面的抓取。
使用的是雷神911笔记本，安装了Deepin 20操作系统，安装的整个过程非常的顺利，但是每次开机启动系统都会提示几行ACPI ERROR之类的错误，每次都能看到这几行的白色字错误，有点碍眼，所以要把它处理掉。经过查找，在国外的Linux社区当中找到了答案，以下把解决方法分享下，有同样错误的网友可以照着操作。
重启之后屏幕显示“输入不支持”，这是因为ubuntu对显卡的支持有关，需要手动添加显卡选项:nomodeset，使其支持Nvidia系列显卡
最近终于在我的飞行堡垒上装成功了ubuntu18.04了，哎，不容易哈，大一刚接触linux的时候，我就想给电脑装ubuntu，脱坑windows，但是每次装系统的时候都会卡在ubuntu的logo那里，无奈的一批，谷歌了很多，试了很多方法都失败了。 然后昨天无意中看到一篇关于ubuntu N卡驱动导致ubuntu安装失败的解决方法的文章。
问题描述：Ubuntu使用光盘/USB安装时，出现"install ubuntu/ try ubuntu without installation"选择，但是Enter安装时，显示器显示没有信息，进行休眠
scrapy爬虫与传统爬虫一样，都是通过访问服务器端的网页，获取网页内容，最终都是通过对于网页内容的分析来获取数据，这样的弊端就在于他更适用于静态网页的爬取，而面对js渲染的动态网页就有点力不从心了，因为通过js渲染出来的动态网页的内容与网页文件内容是不一样的。
在日常做爬虫的时候肯定遇到这么一些问题，网页js渲染，接口加密等，以至于无法有效的获取数据，那么此时若想获取数据大致有两种方向，硬刚加密参数或使用渲染工具
title: Facebook 爬虫 tags: [python3, facebook, scrapy, splash, 爬虫] date: 2018-06-02 09:42:06 categories: python keywords: python3, facebook, scrapy, splash, 爬虫 --- 初次接触到scrapy是公司要求编写一个能够解析JavaScript的爬虫爬取链接的时候听过过，当时我当时觉得它并不适合这个项目所以放弃这个方案，时隔一年多公司有了爬取Facebook用户信息的需求，这样才让我正式接触并使用到scrapy
2.—–Boot Options ro root=LABEL=/vga=788 splash=silent
一、Usplash画面（开机/启动画面） 它就相当于Windows的开机/启动画面，因为 ubuntu 使用usplash这个软件作为启动画面，所以我们就叫它为Usplash画面。 修改这个画面是3个中难度最高的，如果使用Splashy的话就要简单多了。默认的启动画面在这里/usr/lib/usplash/usplash-default.so，它是一个编译好的.so文件，所以不能直接修改。制作方法见以下是替换Usplash画面的方法。 1、复制一个制作好的xxx.so文件到你喜欢的目录，例如：/usr/lo
目录 Core Linux折腾（一）[一] Core Linux折腾（一）[二] Core Linux折腾（二） Core Linux折腾（三） Core Linux 操作文档（一） 磁盘分区 fdisk /dev/sda n #新建分区 p #新建主分区 1 #主分区号sda1 以此类推 #回车 #设置分区大小，例如2G 为 +2G(注意大写) 逻辑分区与主分区的分区表只能有4个主分区 因此，我们的最后一个主分区约500M的容量要分配给交换分区 并且把交换分区激活 #接上面的设置分区完毕以
Linux 的 I/O 调度器是一个以块式 I/O 访问存储卷的进程，有时也叫磁盘调度器。Linux I/O 调度器的工作机制是控制块设备的请求队列：确定队列中哪些 I/O 的优先级更高以及何时下发 I/O 到块设备，以此来减少磁盘寻道时间，从而提高系统的吞吐量。
自kali更新到2020版后，默认取消了root用户的登录权限。只能用普通用户登录，这样做的优点在于对于kali的新手，在不懂的部分命令的情况下对系统的损害有所降低，也就说安全性提高了。但是普通用户权限实在太低，习惯了root权限的我们在2020中如何设置登录密码呢？
问自己一个问题『如果遇见现在的自己，你会喜欢吗？』对自己好一点，投资自己，你可以活成你想象中的任何模样。
由于dashboard是在kube-system的namespace中，我们可以使用下面指令查看它服务的地址。
Kali2020似乎不支持root为基本账户，所以root密码原先的toor密码不再可以登录进去，每次只能以普通用户登录，但是个人感觉，普通用户可以有的权限实在是太少了，少到连基本的reboot，shutdown都用不了，个人习惯吧，我还是喜欢用root权限(方法不限于2020版本)
Linux 系统中不同的运行级别（Run Level）代表了系统的不同运行状态，用户模式一共有下列几种：
工作模式 PXE client集成在网卡的启动芯片中 当计算机引导时，从网卡芯片中把PXE client调入内存执行，获取PXE server配置、显示菜单，根据用户选择将远程引导程序下载到本机运行 网络装机服务器 DHCP服务器，分配ip地址、定位引导程序 TFTP服务，提供引导程序下载 HTTP服务 （或FTP/NFS），提供yum安装源 图片1.png 步骤 一. 配置DHCP服务(定位) vim /etc/dhcp/dhcpd.conf [root@svr7 /]# vim /etc/dh
【CentOS环境】 http://centos-packages.com/7m
TFTP：共享pxelinux.0、initrd.img、vmlinux、isolinux.cfg、boot.msg、vesamenu.c32、splash.png文件
GRUB2（GRand Unified Bootloader 2）是现代计算机系统中广泛使用的引导加载器。它继承了GRUB的灵活性和强大功能，为用户提供了一个高度可配置和扩展的平台，用于引导多种操作系统。本文将深入探讨GRUB2的工作原理、配置方法以及常见应用场景，帮助读者更好地理解和使用GRUB2。
刚开始接触ubuntu的时候，装好系统没多久根目录就满了，而且就像是中了蠕虫病毒一样，就算你什么都没干，它也会不断地侵蚀你的硬盘空间，在重装了三次系统后，发现了问题所在。
我的ubuntu是用wubi安装的，今天准备搞android的ndk，所以把开发环境给配置了一下，jdk、android的sdk、ndk，还有eclipse，以及三百多个更新，全部安装好了，然后重新启动。结果发现，进不去鸟！！停在了grub引导符下。
由于我的电脑 装Ubuntu 的时候电脑里只有一个Windows 系统，所以Ubuntu就自动将我Windows的启动项添加进取。
Hyper-V 是一种由 Microsoft 开发的虚拟化技术和虚拟化平台。它是 Windows 操作系统的一部分，并提供了在主机操作系统上运行多个虚拟机的能力。
chrome谷歌浏览器无界面运行，主要运行在Linux系统，windows系统下不支持
Scrapy框架是一款强大而灵活的Python网络爬虫框架，用于快速、高效地爬取和提取网页数据。然而，对于一些使用动态渲染技术的网站，Scrapy在处理JavaScript生成的内容上可能会有些困难。为了应对这种情况，Scrapy提供了Splash渲染服务，可以解决动态网页渲染的问题。本文将介绍Splash渲染的基本原理和使用方法，帮助您充分利用Scrapy框架开发强大的网络爬虫。
经jerboa兄指教，我又读了一下GRUB文档，的确感觉到用md5加密校验GRUB密码比较安全。为了也能让和我一样菜的弟兄，也能知道如何通过md5进行GRUB密码加密，我不得不把这个教程写出来。哈哈，高手就是免读了，此文为菜鸟弟兄所准备。
在上一节我们实现了Scrapy对接Selenium抓取淘宝商品的过程，这是一种抓取JavaScript动态渲染页面的方式。除了Selenium，Splash也可以实现同样的功能。本节我们来了解Scrapy对接Splash来进行页面抓取的方式。 一、准备工作 请确保Splash已经正确安装并正常运行，同时安装好Scrapy-Splash库。 二、新建项目 首先新建一个项目，名为scrapysplashtest，命令如下所示： scrapy startproject scrapysplashtest 新
本文介绍了一种基于Scrapy的爬虫框架，该框架基于Scrapy和Selenium，支持跨浏览器的爬取。包括整体架构、Spider的编写、Item定义、Pipeline的配置和Splash的使用。在爬虫的过程中，通过Splash请求数据，实现异步加载，从而提高爬取效率。
目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得
• 需要哪些服务组件？ –DHCP服务，分配IP地址、定位引导程序 –TFTP服务，提供引导程序下载 –HTTP服务（或FTP/NFS），提供yum安装源
> Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取
观察发现splash依赖环境略微复杂，所以我们可以直接使用splash的docker镜像
做爬虫的小伙伴可能听说过 Splash，它可以提供动态页面渲染服务，如果我们要爬的某些页面是 JavaScript 渲染而成的，此时我们直接用 requests 或 Scrapy 来爬是没法直接爬到的，此时我们可以借助于 Splash 来帮我们把 JavaScript 渲染后的真实页面结果拿下来。
在之前的章节中，爬取的都是静态页面中的信息，随着越来越多的网站开始用JS在客户端浏览器动态渲染网站，导致很多需要的数据并不能在原始的HTML中获取，再加上Scrapy本身并不提供JS渲染解析的功能，那么如何通过Scrapy爬取动态网站的数据呢？这一章节我们将学习这些知识。 通常对这类网站数据的爬取采用如下两种方法： 通过分析网站，找到对应数据的接口，模拟接口去获取需要的数据（一般也推荐这种方式，毕竟这种方式的效率最高），但是很多网站的接口隐藏的很深，或者接口的加密非常复杂，导致无法获取到它们的数据接口，此
1.在选项卡的位置用上下键选择Install ubuntu的选项，先别点，按e进入编辑选项，会看到quiet splash --- 字样的代码，将 --- 去除，输入 nomodeset （内核不加载视频驱动程序）。按F10重新引导。
在前面的博客中，我们已经见识到了Scrapy的强大之处。但是，Scrapy也有其不足之处，即Scrapy没有JS engine, 因此它无法爬取JavaScript生成的动态网页，只能爬取静态网页，而在现代的网络世界中，大部分网页都会采用JavaScript来丰富网页的功能。所以，这无疑Scrapy的遗憾之处。 那么，我们还能愉快地使用Scrapy来爬取动态网页吗？有没有什么补充的办法呢？答案依然是yes!答案就是，使用scrapy-splash模块！ scrapy-splash模块主要使用了Splash. 所谓的Splash, 就是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。Splash的特点如下：
用 Splash 做页面抓取时，如果爬取的量非常大，任务非常多，用一个 Splash 服务来处理的话，未免压力太大了，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个 Splash 服务的压力。
用Splash做页面抓取时，如果爬取的量非常大，任务非常多，用一个Splash服务来处理的话，未免压力太大了，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个Splash服务的压力。 1. 配置Splash服务 要搭建Splash负载均衡，首先要有多个Splash服务。假如这里在4台远程主机的8050端口上都开启了Splash服务，它们的服务地址分别为41.159.27.223:8050、41.159.27.221:8050、41.159
有的页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得
Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。
1.2 组件应用 Kickstart服务端IP：172.24.8.12 DHCP：提供客户端IP，网关，镜像路径等； TFTP：共享pxelinux.0、initrd.img、vmlinux、isolinux.cfg、boot.msg、vesamenu.c32、splash.png文件 NFS：共享ks.cfg、及所有光盘文件
GYP是一种构建自动化工具。node程序中需要调用一些其他语言编写的 工具 甚至是dll，需要先编译一下，否则就会有跨平台的问题，例如在windows上运行的软件copy到mac上就不能用了，但是如果源码支持，编译一下，在mac上还是可以用的。node-gyp在较新的Node版本中都是自带的（平台相关），用来编译原生C++模块。
安装scrapy,安装splash需要安装docker，详细的安装步骤在我的csdn博客
scrapy的日志信息与配置 学习目标： 了解 scrapy的日志信息 掌握 scrapy的常用配置 掌握 scrapy_redis配置 了解scrapy_splash配置 了解scrapy_redi
开发爬虫的时候，因为网页中有数据动态加载（可参考之前文章）的部分，很多数据是后面渲染上的。爬虫程序只能爬取渲染前的数据，所以很多我们在网站上看到的数据，爬虫并不能直接获取。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
