一个 Node 相关的项目中,总是少不了跑脚本。跑一个脚本拉取配置、处理一些数据以及定时任务更是家常便饭。
最近在使用Python爬取网页内容时,总是遇到JS临时加载、动态获取网页信息的困难。例如爬取CSDN下载资源评论、搜狐图片中的“原图”等,此时尝试学习Phantomjs和CasperJS来解决这个问题。这第一篇文章当然就是安装过程及入门介绍。
哈喽,各位宝宝最近怎么样?你那里天气好吗?北京太热了,宝宝们要注意防暑哦,但还是要少喝冰豆浆。要好好照顾自己~
在上篇文章中(D3.js 力导向图的显示优化),我们说过 D3.js 在自定义图形上相较于其他开源可视化库的优势,以及如何对文档对象模型(DOM)进行灵活操作。既然 D3.js 辣么灵活,那是不是实现很多我们想做的事情呢?在本文中,我们将借助 D3.js 的灵活性这一优势,去新增一些 D3.js 本身并不支持但我们想要的一些常见的功能。
人固有一死,一个 Node 进程亦是如此,总有万般不愿也无法避免。从本篇文章我们看看一个进程灭亡时如何从容离去。
PhantomJS是一个命令行工具。确保您熟悉命令提示符或PowerShell(在Windows上)或终端(在macOS和Linux上)的使用。 这个指令假设PhantomJS已经安装并放置在路径的某个地方(例如,Windows用户请参阅本教程)。
通过npm run 可以运行 package.json 中脚本,Npm 命令不能提供立即运行多个脚本的方式,同时运行需要打开多个终端窗口
所以说,脚本就是给计算机照着做的。这是我们对「脚本」的一个感性认识。接下来我们写一个脚本。
node.js中,各种模块有一种标准的写法: this._process.exec(command, options, function (err, stdout, stderr) { callback(err, stdout, stderr); }) 这里说的标准,是指回调函数,一般有err作为第一个参数,然后是具体的数据。 写服务器程序的时候,或多或少会用到child_process这个模块,而这个模块的用法正如上边代码所示。 例如调用一个shell命令删除文件,
最近在开发一个 JSSDK 的时候有一个需求:为了检测当前环境中是否已经加载过该脚本,需要在脚本开始运行时加入一层判断,如果检测到已存在该脚本导出的变量,则终止脚本的后续运行,否则再执行后续逻辑。 那么便碰上了本文标题的问题:如何终止 JS 程序的运行?
不知道各位 noder 们有没有碰到过这样一个疑问,当你写的 Node.js 代码是异步逻辑的时候,我们要怎么才能知道 Node.js 进程是什么,什么时候才会退出呢?Node.js 又是怎么知道异步执行结束了?或者当你执行一段 Node.js 代码之后,进程去一直等在这里没有退出又是怎么回事呢?
在编辑器中打开以下文件: /usr/local/lib/node_modules/npm/node_modules/uid-number/uid-number.js 到 11 行,将 uidSupport = process.getuid && process.setuid 修改为 uidSupport = false
process 模块是 nodejs 提供给开发者用来和当前进程交互的工具,它的提供了很多实用的 API。从文档出发,管中窥豹,进一步认识和学习 process 模块:
通过npm run <commander> 可以运行 package.json 中脚本,Npm 命令不能提供立即运行多个脚本的方式,同时运行需要打开多个终端窗口
Node.js 不仅可以单独运行,还可以以库的方式被使用,本文介绍下如何把 Node.js 嵌入到自己项目中。首先第一步下载 Node.js 源码,然后根据 Node.js 的文档进行编译安装。这样我们就可以拿到 Node.js 提供的头文件和库文件了。接下来根据官方的 demo 写一个测试程序。
有时,我们需要浏览器处理网页,但并不需要浏览,比如生成网页的截图、抓取网页数据等操作。PhantomJS的功能,就是提供一个浏览器环境的命令行接口,你可以把它看作一个“虚拟浏览器”,除了不能浏览,其他与正常浏览器一样。它的内核是WebKit引擎,不提供图形界面,只能在命令行下使用,我们可以用它完成一些特殊的用途。
Electron使用npm安装时,因为是国外的镜像源,所以速度会非常慢。而使用cnpm如下命令进行安装时,又会出现安装失败的问题:
前端构建工具就是把开发环境的代码转化成运行环境代码。一般来说,开发环境的代码是为了更好的阅读,而运行环境的代码则是为了能够更快地执行。因此开发环境和运行环境的代码形式也不相同。比如,开发环境的代码,要通过混淆压缩后才能放在线上运行,这样代码体积更小,而且对代码执行也不会有任何影响。
使用npm:npm install react-native-i18n --save;
将PhantomJS下载在/usr/local/src/packet/目录下(这个看个人喜好)
v5 版本可以简话成.join('element') 自动处理 enter 和 exit
一、下载 下载链接 二、解压安装包 直接解压即可 三、配置环境变量 找到高级系统设置,打开它,出现以下图。点击环境变量。 分别点击编辑按钮 分别新建添加当初的解压路径,到bin文件夹。点击确定。 这样,环境变量配置好了,可以再命令行工具直接使用phantomjs命令。 四、代码段 新建一个JS文件,如:main.js 执行命令:phantomjs main.js 1、打印指定网址标题 var page = require('webpage').create(); phantom.output
mongodb没有批量删除collecton的命令,平常建立了很多a1,a2,a3的表删除有些麻烦,写个小脚本方便些。 mongorm.sh -d database -c a* 就很方便删除了。 #!/bin/bash # remove mongodb's collections with command "mongn rm app*" # Usage `mongorm <-c collections*> <-d dababase>` E_BADARGS=85 E_NOFILE=86 DATABASE=
使用 Node.js 搭建 HTTP Server 已是司空见惯的事。在生产环境中,Node 进程平滑重启直接关系到服务的可靠性,它的重要性不容我们忽视。既然是平滑重启,就涉及到新旧进程的接替过渡:
header(‘Content-Type:application/json; charset=utf-8’);
Phantomjs简介 什么是Phantomjs Phantomjs官网介绍是:不需要浏览器的完整web协议栈(Full web stack No browser required),也就是常说的无头
一、首先说用法,ajaxForm可以接收0或1个参数,该参数可以是一个变量、一个对象或回调函数,这个对象主要有以下参数:
现在在维护一个反反爬虫技术的项目,有朋友提交了一个采集网站,普通请求和scrapy都无法拿到数据,我来尝试了一波
在使用ajaxForm方法之前,首先需要安装form.js的插件,网上有; 一、首先说用法,ajaxForm可以接收0或1个参数,该参数可以是一个变量、一个对象或回调函数,这个对象主要有以下参数:
返回值: {"ret":0, "msg":"success"} python post提交参数: 私钥认证,md5加密,post带参提交,判断返回值,多参输入 # -*- coding: utf-8 -*- import time import requests,hashlib import sys import json zoneid=sys.argv[1] zones=zoneid.split(',') now=int(time.time()) data='privatekey{0}'.format(n
repl模块提供了一个”读取-求值-输出-循环”(REPL交互式解释器)的实现,它可以作为一个单独的程序,或者包含在其他程序内部。它可以被这样访问:
cli可以方便我们的日常工作,类似shell脚本一样。而且可以实现一次编写,到处运行。下面我们来看一下怎么编写一各node-cli。 首先新建一个目录scan-file,然后在目录下执行,执行npm init。初始化一下package.json。大概如下。
本方法调用的JS必须是在loop内,如果有10篇文章,那么就必须调用10次。 JS调用目前就这一种方法,因为要统计该篇文章的浏览次数,所以必须取得该篇文章的ID值,所以只能在loop循环内调用JS文件。 新建一个count_list.php,内容如下,上传到api目录中
D3.js提供了多种工具支持数据可视化的交互,其中d3.transition让简单而高效的为图像添加动画成为了可能。
0.说在前面1.d3.js初识2.绘制完整的柱形图3.让图表动起来4.浅析Update、Enter、Exit5.交互式操作6.作者的话
在拿到一个项目之后,如何看入口文件,如何运行项目,我们都会找到 package.json 中的 script 。甚至在做项目做久之后,我们会自己写一些脚本来给开发提效,但你知道 NPM 脚本能做什么吗?你知道如何传递一个参数给脚本?你知道如何执行某个脚本文件么?在这篇文章中,我将分享我如何充分利用 NPM 脚本。
Koa快速入门 1.新建项目 通过命令创建项目: mkdir koa-quick-start cd koa-quick-start npm init -yes 可以看到koa-quick-start下面有package.json { "name": "koa-quick-start", "version": "1.0.0", "description": "", "main": "index.js", "scripts": { "test": "echo \"Error: no
接着上一节课的目录来看看,这一节课的目录会有什么样的改变呢?新增了 dist,src/scripts,src/styles 目录
npm run dev本地项目出错 问题栈 verbose Please try running this command again as root/Administrator. 2729 verbose stack Error: node-sass@3.13.1 postinstall: node scripts/build.js 2729 verbose stack Exit status 1 2729 verbose stack at EventEmitter. 分析发现与node-sas
Github:https://github.com/mcc108/bing-wallpaper --- PHP跳转图片地址(推荐) 效果:http://congm.in/bing.php bing.p
在function\api\ourphpuser\ourphp_system.php该文件存在用户login函数
webpack-dev-server是一个小型的Node.js Express服务器,我们可以通过它搭建一个本地服务器,并且实现文件热更新; 1.切换到你的目录下对项目进行初始化 npm init
背景 在node工程部署中,常常涉及到三方:本地客户端、跳板机和服务器(集群)。在通过git触发gitlab hook脚本后,需要在跳板机中执行相应的ssh命令执行shell文件启动node服务器,这需要使用一个常用的命令setsid,这样当ssh命令执行完毕shell退出后,node服务器仍正常运行,此时node服务进程就是一个最典型的daemon进程(后台服务进程)。 那么,在node项目中,如何创建一个daemon进程呢?最简单的方式,其实就是采用类似上文中介绍的方式: require('child_
nodejs的main event loop是单线程的,nodejs本身也维护着Worker Pool用来处理一些耗时的操作,我们还可以通过使用nodejs提供的worker_threads来手动创建新的线程来执行自己的任务。
简单来说,Electron就是可以让你用Javascript、HTML、CSS来编写运行于Windows、macOS、Linux系统之上的桌面应用的库。本文的目的是通过使用Electron开发一个完整但简单的小应用:记事本,来体验一下这个神器的开发过程。本文犹如Hello World一样的存在,是个入门级笔记,但如果你之前从未接触过Electron,而又对它有兴趣,某想信这会是一篇值得一看的入门教程。 PS:这篇文章是基于Windows的开发过程,未对macOS、Linux作测试。
选自:hackernoon 作者:Abhishek Soni 参与:李泽南 目前,机器学习领域建模的主要语言是 Python 和 R,前不久腾讯推出的机器学习框架 Angel 则支持 Java 和 S
最近在搭建一个静态页面偏多的网站, 用vue或React有点大材小用,使用纯html / css / js 又不好用, 于是就用npm手动搭建一个简单的本地开发环境, 本地环境要实现几个基本功能
可以看到,我们定义了一个容器diagramContainer,和两个div块元素,然后通过jsPlumb的connect连接函数,将两个正方形,连接到了一起。
领取专属 10元无门槛券
手把手带您无忧上云