首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用phantomjs采集运用了强制跳转与页面等待等反爬技术的网站

    现在在维护一个反反爬虫技术的项目,有朋友提交了一个采集网站,普通请求和scrapy都无法拿到数据,我来尝试了一波 仓库地址在:https://github.com/KCPClub/Anti-Anti-Spider...******************************* code:javascript system:win  ||  linux auther: luyi mail : **@qq.com github...再使用截图功能加上延时 使用代码二:https://github.com/KCPClub/Anti-Anti-Spider/blob/master/phantomjs/get_page_printscreen...: image.png 原创文章,转载请注明: 转载自URl-team 本文链接地址: 使用phantomjs采集运用了强制跳转与页面等待等反爬技术的网站 Related posts: 基于Tor匿名网络的多...ip爬虫 Scrapy笔记四 自动爬取网页之使用CrawlSpider SCRAPY学习笔记九 增量爬取url 使用 yield 的用法 爬虫破解IP限制–ADSL动态IP服务器–部署小结 Twitter

    1.1K20

    hexo+netlify+git+个人域名搭建博客

    (blog可根据自己情况更改) 3.安装node_moudles cd blog npm install 4.blog目录详解 node_modules: node依赖包 public: 存放生成的页面.../chaoyangya/chaoyangya.github.io.git branch: master 9.第一次提交代码 git init #初始化项目文件夹 git add ....#提交到远程仓库,这个命令中的 -f 是强制推送,因为远程仓库只有初始化的文件,所以强制推送上去就行了,不加-f 会报当前分支没有远程分支,强制推送可以覆盖master,这样就完成了第一次提交的步骤)...10.将hexo内容部署到生产环境 hexo d -g 11.关联Netlify 登录Netlify建议使用github账号登录,会方便很多 12.关联git仓库和分支 登录之后点击醒目的绿色的New...site fomr Git按钮来新建站点并选取刚刚创建的仓库: 13.部署 点击完Deploy site之后,Netlify 会自动构建并发布你的网站内容,最重要的是Netlify支持分支部署和部署预览

    92210

    使用 astro 搭建博客

    1 markdown 分文件夹存放 默认情况下,博客的 markdown 文件是放在 src/content/blog 文件夹下的,但如果文件较多,全部放在一个文件夹比较拥挤,期望放到子文件夹中,但又不希望文章的最终的...URL 中包含这个子文件夹。...因为文件名 01-my-blog.md 前面的数字,只是管理 markdown 文件时用来排序,并不期望其成为 URL 的一部分,所以,这里就会强制自己自定义 slug..../config"; // https://astro.build/configexport default defineConfig({ site: SITE.website, integrations...://blog.jgrass.cc/posts/build-blog-with-astro/ 本作品采用 「署名 4.0 国际」 许可协议进行许可,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接

    8610

    BYR-Navi:一个开源、美观且可以部署在GitHub Pages的网站导航程序

    说明:BYR-Navi是一个开源、轻量使用Fomantic UI Web框架构建的网站导航程序,样式也非常美观,而且支持从N个站点直接搜索,我们既可以部署在自己的服务器上,又可以部署在GitHub Pages...这里除了可以使用命令行启动,也可以直接将生成的_site文件夹丢到网站根目录访问。 如果要修改导航相关页面的信息显示的话,也可以在_site文件夹中修改。...我们先去根目录下使用命令: cd ~ ssh-keygen -t rsa 这里会要你命名密匙名称(这里建议使用默认名称),然后连续按几次Enter,这时候会在/root/.ssh文件夹生成2个ssh密钥...3、推送到Github #进入源码的_site文件夹 cd /root/BYR-Navi/_site #初始化你的github仓库 git init #关联到远程github仓库,后面为仓库SSH地址,...先解析域名的CNAME记录到你的https://你的用户名.github.io域名。如果你想用Https访问,可以使用CloudFlare解析域名,并开启CDN强制Http转Https。

    96800

    BYR-Navi:一个开源、美观且可以部署在GitHub Pages的网站导航程序

    说明:BYR-Navi是一个开源、轻量使用Fomantic UI Web框架构建的网站导航程序,样式也非常美观,而且支持从N个站点直接搜索,我们既可以部署在自己的服务器上,又可以部署在GitHub Pages...这里除了可以使用命令行启动,也可以直接将生成的_site文件夹丢到网站根目录访问。 如果要修改导航相关页面的信息显示的话,也可以在_site文件夹中修改。...我们先去根目录下使用命令: cd ~ ssh-keygen -t rsa 这里会要你命名密匙名称(这里建议使用默认名称),然后连续按几次Enter,这时候会在/root/.ssh文件夹生成2个ssh密钥...3、推送到Github #进入源码的_site文件夹 cd /root/BYR-Navi/_site #初始化你的github仓库 git init #关联到远程github仓库,后面为仓库SSH地址,...先解析域名的CNAME记录到你的https://你的用户名.github.io域名。如果你想用Https访问,可以使用CloudFlare解析域名,并开启CDN强制Http转Https。

    1.9K40

    Git的使用--如何将本地项目上传到Github(三种简单、方便的方法)(二)(详解)

    https://github.com/我们使用git需要先安装git工具,这里给出下载地址,下载后一路(傻瓜式安装)直接安装即可:https://git-for-windows.github.io/2....7.这个步骤以后你的本地项目文件夹下面就会多出个文件夹,该文件夹名即为你github上面的项目名,如图我多出了个Test文件夹,我们把本地项目文件夹下的所有文件(除了新多出的那个文件夹不用),其余都复制到那个新多出的文件夹下...第八步:在Github上创建好Git仓库之后我们就可以和本地仓库进行关联了,根据创建好的Git仓库页面的提示,可以在本地TEST仓库的命令行输入:$ git remote add origin https...这时候你再重新刷新你的Github页面进入刚才新建的那个仓库里面就会发现项目已经成功上传了:? 至此就完成了将本地项目上传到Github的整个过程。...:robbin/robbin_site.git # 添加远程仓库地址164 165 git remote set-url origin git@ github.com:robbin/robbin_site.git

    163.4K4736

    Hexo博客进阶教程(二)| 使用Appveyor备份并持续集成博客

    待优化问题 使用hexo d命令部署Hexo博客时,在Github仓库上传的只是 public 文件夹中生成的页面内容,这样就带来了一些问题: 本地博客文章的md源文件没有备份,哪天硬盘挂了可咋整?...同样可以类比一下,Hexo博客的源文件是.md文件,使用hexo g命令即可生成html页面,这个过程也可以叫做编译构建。 那么,这样的一个云端自动化构建服务,为什么称为持续集成呢?...,即public文件夹; 在云端部署HTML页面 将public文件夹部署到Hexo站点仓库; 3....因为不需要备份所有文件,所以修改.gitignore文件来说明忽略的文件和文件夹,通常需要备份的文件有: source文件夹的所有内容 scaffolds文件夹的所有内容 站点配置文件:_config.yml...使用AppVeyor建立CI 访问AppVeyor登陆页面,使用GitHub账号登陆即可: https://ci.appveyor.com/login ? 然后创建新的项目: ?

    1.1K41

    如何快速给自己构建一个温馨的家——用Jekyll搭建静态博客

    关于jekyll其他一些命令的用法如下: $ jekyll build # => 当前文件夹中的内容将会生成到 ./_site 文件夹中。...$ jekyll build --watch # => 当前文件夹中的内容将会生成到 ./_site 文件夹中, # 查看改变,并且自动再生成。...三.使用Github Pages服务 1.创建我们自己的仓库 以下用usename代替自己的用户名 ? 2.配置我们的仓库 ? 在Settings里面找到Github Pages ?...把整个文件都push到github上去 git add --all #添加到暂存区 git commit -m "提交jekyll默认页面"...这个IP是GitHub Pages 的可用 IP地址。 使用 Kloudsec 的好处 摆脱了证书不可信存在安全风险的不友好提示。 配置方便,一劳永逸。

    1.3K20

    如何快速给自己构建一个温馨的"家"——用Jekyll搭建静态博客

    关于jekyll其他一些命令的用法如下: $ jekyll build # => 当前文件夹中的内容将会生成到 ./_site 文件夹中。...$ jekyll build --watch # => 当前文件夹中的内容将会生成到 ./_site 文件夹中, # 查看改变,并且自动再生成。...三.使用Github Pages服务 1.创建我们自己的仓库 以下用usename代替自己的用户名 2.配置我们的仓库 在Settings里面找到Github Pages 选择Launch automatic...把整个文件都push到github上去 git add --all #添加到暂存区 git commit -m "提交jekyll默认页面"...这个IP是GitHub Pages 的可用 IP地址。 使用 Kloudsec 的好处 摆脱了证书不可信存在安全风险的不友好提示。 配置方便,一劳永逸。

    30310

    Hexo搭建个人博客(三)—— Hexo博客的美化

    首先我们在自己电脑里的博客文件夹内(即username.github.io文件夹内)右键选择Git Bash here,在终端窗口内输入以下代码: $ git clone https://github.com.../iissnan/hexo-theme-next themes/next 稍等片刻,安装完成后你的themes文件夹内就会多出一个next文件夹,请在站点的配置文件中把主题选为next,即theme:...第一个为Hexo博客的站点配置文件位于你的博客文件夹(即username.github.io文件夹)内;第二个位于next文件夹内。...,标签页面,关于页面创建 以标签页面为例: 1.首先运行以下命令: # 标签为"tags",分类为"categories",关于为"about" hexo new page "tags" 在站点/source...参考资料 Hexo中文文档 Next文档 Hexo 3.1.1 静态博客搭建指南推荐 如何使用10个小时搭建出个人域名而又Geek的独立博客?

    3.3K90

    管理Python虚拟环境的脚本

    大纲 init 未安装Python-venv 已安装Python-venv del 未进入虚拟环境 已进入虚拟环境 非强制 强制 enter 未进入虚拟环境 已进入虚拟环境 quit 未进入虚拟环境 已进入虚拟环境...强制覆盖 install 未进入虚拟环境 已进入虚拟环境 uninstall 未进入虚拟环境 已进入虚拟环境 help 代码库 Python提供了很多代码库以方便开发人员使用。...包括安装python-venv,以及创建虚拟环境(放在目录.env文件夹下) del:删除虚拟环境。...如果当前在虚拟环境中,则需要再传递force命令,以退出虚拟环境后再删除虚拟环境(.env文件夹)。 enter:进入虚拟环境。 quit:退出虚拟环境。...environment install: install libraries uninstall : uninstall libraries help: view help 代码库 https://github.com

    23910

    基于Github&Hexo的个人博客搭建过程

    Blog/ 目录下) 用cmd定位到这个文件夹下: 之后,使用以下指令创建本地博客: hexo init 你的用户名.github.io // 建议和创建仓库时使用同一个,我的是Daotin.github.io...themes/next 之后我们就可以在 Daotin.github.io\themes 下看到 next 主题文件夹: 6、使用Next主题 首先,复制一份打开本地博客目录下的 *...首先,要使用” hexo new page “命令生成这两个页面,否则报404。其次,这两个页面是主题自动维护的,只要我们的文章按照规矩来就行了,下面会详细说明。 二....你的博客文件需要存放到 **Daotin.github.io/source/_posts 文件夹**中,在该文件夹下面你可以按照你的博客分类建立一系列的文件夹来管理博客原文件。...,如: 或者使用指令: hexo new "xxx" // xxx 为Markdown文件名,如 xxx.md /source/_posts文件夹内除了xxx.md文件还有一个同名的文件夹

    83830

    在github搭建自己的博客

    # 我好不容易找到的酷炫模板 git clone https://github.com/miccall/hexo-theme-Mic_Theme.git 但这个项目名不太友好,克隆成功后需要把文件夹重命名为模板名...npm install hexo-deployer-git --save 发布 hexo g hexo d 访问自己的github个人页面(如 https://acupt.github.io...先去主题项目的github主页fork一份到自己的github,再clone到本地。 links布局配置可选 此主题的团队页面布局我很喜欢,但我并没有小伙伴想贴上去,那就做成作品展示页面好了。...域名一般在阿里云或者腾讯云就可以买,比较方便,而且因为github服务器在国外,可以直接解析你的域名到github页面,无须备案。...氪金项目:使用自己的服务器 不氪金,你怎么变强? github虽好,速度是硬伤,如果想自己的博客访问速度更快,拥有一台服务器很重要。

    87530

    搭建 Hexo

    国内用户可以使用:淘宝镜像源进行下载,最新版本需要翻到最底下进行下载 安装好后在桌面单击右键,如果右键菜单出现 Git Bash Here 的字眼则代表安装成功 安装 Hexo 新建一个文件夹,在里面右键...时就安装完成了 查看安装的文件夹 发现有这些文件/文件夹: node_modules scaffolds source themes .gitignore _config.yml package.json...source 是用来存放博客资源的,一般都是随手扔文件进去就行 .gitignore 目前用不到(除了使用 GitHub actions 等持续集成部署博客的) _config.yml 用来存放 Hexo...仓库为https://github.com/jerryc127/hexo-theme-butterfly 进入后在 README.md 中有 2 种安装方法 1.使用普通安装方法(git clone)...这边使用 test.slqwq.cn 做示范 image.png 这时候会出现这样的样子 这是在生成证书 证书状态变为正常后推荐打开强制 HTTPS 这些做完后打开_config.yml 找到 deploy

    49930
    领券