前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Node 进阶:express 默认日志组件 morgan 从入门使用到源码剖析

Node 进阶:express 默认日志组件 morgan 从入门使用到源码剖析

作者头像
IMWeb前端团队
发布于 2017-12-29 10:39:26
发布于 2017-12-29 10:39:26
2.4K00
代码可运行
举报
文章被收录于专栏:IMWeb前端团队IMWeb前端团队
运行总次数:0
代码可运行

章节概览

morgan是express默认的日志中间件,也可以脱离express,作为node.js的日志组件单独使用。本文由浅入深,内容主要包括:

  • morgan使用入门例子
  • 如何将日志保存到本地文件
  • 核心API使用说明及例子
  • 进阶使用:1、日志分割 2、将日志写入数据库
  • 源码剖析:morgan的日志格式以及预编译

入门例子

首先,初始化项目。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
npm install express morgan

然后,在basic.js中添加如下代码。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var express = require('express');
var app = express();
var morgan = require('morgan');

app.use(morgan('short'));
app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);

node basic.js运行程序,并在浏览器里访问 http://127.0.0.1:3000 ,打印日志如下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
?  2016.12.11-advanced-morgan git:(master) ? node basic.js
::ffff:127.0.0.1 - GET / HTTP/1.1 304 - - 3.019 ms
::ffff:127.0.0.1 - GET /favicon.ico HTTP/1.1 200 2 - 0.984 ms

将日志打印到本地文件

morgan支持stream配置项,可以通过它来实现将日志落地的效果,代码如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var express = require('express');
var app = express();
var morgan = require('morgan');
var fs = require('fs');
var path = require('path');

var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'});

app.use(morgan('short', {stream: accessLogStream}));
app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);

使用讲解

核心API

morgan的API非常少,使用频率最高的就是morgan(),作用是返回一个express日志中间件。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
morgan(format, options)

参数说明如下:

  • format:可选,morgan与定义了几种日志格式,每种格式都有对应的名称,比如combinedshort等,默认是default。不同格式的差别可参考这里。下文会讲解下,如果自定义日志格式。
  • options:可选,配置项,包含stream(常用)skipimmediate
    • stream:日志的输出流配置,默认是process.stdout
    • skip:是否跳过日志记录,使用方式可以参考这里
    • immediate:布尔值,默认是false。当为true时,一收到请求,就记录日志;如果为false,则在请求返回后,再记录日志。

自定义日志格式

首先搞清楚morgan中的两个概念:format 跟 token。非常简单:

  • format:日志格式,本质是代表日志格式的字符串,比如 :method :url :status :res[content-length] - :response-time ms
  • token:format的组成部分,比如上面的:method:url即使所谓的token。

搞清楚format、token的区别后,就可以看下morgan中,关于自定义日志格式的关键API。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
morgan.format(name, format);  // 自定义日志格式
morgan.token(name, fn);  // 自定义token

自定义format

非常简单,首先通过morgan.format()定义名为joke的日志格式,然后通过morgan('joke')调用即可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var express = require('express');
var app = express();
var morgan = require('morgan');

morgan.format('joke', '[joke] :method :url :status');

app.use(morgan('joke'));

app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);

我们来看下运行结果

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
?  2016.12.11-advanced-morgan git:(master) ? node morgan.format.js
[joke] GET / 304
[joke] GET /favicon.ico 200

自定义token

代码如下,通过morgan.token()自定义token,然后将自定义的token,加入自定义的format中即可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var express = require('express');
var app = express();
var morgan = require('morgan');

// 自定义token
morgan.token('from', function(req, res){
    return req.query.from || '-';
});

// 自定义format,其中包含自定义的token
morgan.format('joke', '[joke] :method :url :status :from');

// 使用自定义的format
app.use(morgan('joke'));

app.use(function(req, res, next){
    res.send('ok');
});

app.listen(3000);

运行程序,并在浏览器里先后访问 http://127.0.0.1:3000/hello?from=apphttp://127.0.0.1:3000/hello?from=pc

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
?  2016.12.11-advanced-morgan git:(master) ? node morgan.token.js 
[joke] GET /hello?from=app 200 app
[joke] GET /favicon.ico 304 -
[joke] GET /hello?from=pc 200 pc
[joke] GET /favicon.ico 304 -

高级使用

日志切割

一个线上应用,如果所有的日志都落地到同一个本地文件,时间久了,文件会变得非常大,既影响性能,又不便于查看。这时候,就需要用到日志分割了。

借助file-stream-rotator插件,可以轻松完成日志分割的工作。除了file-stream-rotator相关的配置代码,其余跟之前的例子差不多,这里不赘述。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var FileStreamRotator = require('file-stream-rotator')
var express = require('express')
var fs = require('fs')
var morgan = require('morgan')
var path = require('path')

var app = express()
var logDirectory = path.join(__dirname, 'log')

// ensure log directory exists
fs.existsSync(logDirectory) || fs.mkdirSync(logDirectory)

// create a rotating write stream
var accessLogStream = FileStreamRotator.getStream({
  date_format: 'YYYYMMDD',
  filename: path.join(logDirectory, 'access-%DATE%.log'),
  frequency: 'daily',
  verbose: false
})

// setup the logger
app.use(morgan('combined', {stream: accessLogStream}))

app.get('/', function (req, res) {
  res.send('hello, world!')
})

日志写入数据库

有的时候,我们会有这样的需求,将访问日志写入数据库。这种需求常见于需要实时查询统计的日志系统。

在morgan里该如何实现呢?从文档上,并没有看到适合的扩展接口。于是查阅了下morgan的源码,发现实现起来非常简单。

回顾下之前日志写入本地文件的例子,最关键的两行代码如下。通过stream指定日志的输出流。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var accessLogStream = fs.createWriteStream(path.join(__dirname, 'access.log'), {flags: 'a'});
app.use(morgan('short', {stream: accessLogStream}));

morgan内部,大致实现是这样的(简化后)。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// opt为配置文件
var stream = opts.stream || process.stdout;
var logString = createLogString();  // 伪代码,根据format、token的定义,生成日志
stream.write(logString);

于是,可以用比较取巧的方式来实现目的:声明一个带write方法的对象,并作为stream配置传入。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var express = require('express');
var app = express();
var morgan = require('morgan');

// 带write方法的对象
var dbStream = {
  write: function(line){
    saveToDatabase(line);  // 伪代码,保存到数据库
  }
};

// 将 dbStream 作为 stream 配置项的值
app.use(morgan('short', {stream: dbStream}));
app.use(function(req, res, next){
  res.send('ok');
});

app.listen(3000);

深入剖析

morgan的代码非常简洁,从设计上来说,morgan的生命周期包含:

token定义 --> 日志格式定义 -> 日志格式预编译 --> 请求达到/返回 --> 写日志

其中,token定义、日志格式定义前面已经讲到,这里就只讲下 日志格式预编译 的细节。

跟模板引擎预编译一样,日志格式预编译,也是为了提升性能。源码如下,最关键的代码就是compile(fmt)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
function getFormatFunction (name) {
  // lookup format
  var fmt = morgan[name] || name || morgan.default

  // return compiled format
  return typeof fmt !== 'function'
    ? compile(fmt)
    : fmt
}

compile()方法的实现细节这里不赘述,着重看下compile(fmt)返回的内容:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var morgan = require('morgan');
var format = morgan['tiny'];
var fn = morgan.compile(format);

console.log(fn.toString());

运行上面程序,输出内容如下,其中tokens其实就是morgan

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
function anonymous(tokens, req, res
/**/) {
  return ""
    + (tokens["method"](req, res, undefined) || "-") + " "
    + (tokens["url"](req, res, undefined) || "-") + " "
    + (tokens["status"](req, res, undefined) || "-") + " "
    + (tokens["res"](req, res, "content-length") || "-") + " - "
    + (tokens["response-time"](req, res, undefined) || "-") + " ms";
}

看下morgan.token()的定义,就很清晰了

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
function token (name, fn) {
  morgan[name] = fn
  return this
}

相关链接

《Nodejs学习笔记》:https://github.com/chyingp/nodejs-learning-guide 官方文档:https://github.com/expressjs/morgan

本文摘录自个人总结《Nodejs学习笔记》,更多章节及更新,请访问 github主页地址

欢迎加群交流,群号 197339705

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
接入加加打包SDK,一键搞定所有手游渠道
加加打包助手不仅仅是简单的解决现有渠道的对接问题,更能有效提升手游市场洞察能力,让用户随时了解手游市场及用户现状。通过大数据下的统计分析,深度追踪不同渠道来源用户的新增、活跃、留存、流失和付费转化情况
BestSDK
2018/03/02
1.4K0
接入加加打包SDK,一键搞定所有手游渠道
手游发行公司需要具备的软实力
“内行人看门道,外行人看热闹”,对于刚刚进入游戏这个领域和想进入该领域的人来说,游戏内的一些常识需要提前了解。
石瞳禅
2018/09/18
2.2K0
手游发行公司需要具备的软实力
星云数据平台:做手游企业与游戏渠道SDK的“红娘”
精彩内容 “星云数据服务平台”以手游行业为切入点,做移动互联网大数据运营。它将手游内容企业和发行方与游戏渠道SDK连接起来,“例如某游戏想对接应用宝,通过“星云”需半天时间,而游戏自己接要1到2个月。 传统手游行业产业链是以内容方为起点,经过发行、渠道最后到达终端。有个问题是,传统发行或CP需要对接上百家渠道,但每家SDK都不同,全部接完可能得花费半年到一年。另外,游戏在移动互联网用户中的渗透率(包含普及程度以及覆盖广度)很高,但游戏数据的统计一般集中在结算对账、DAU等常规方面,而其他类似用户行为数据等未
BestSDK
2018/02/27
1.3K0
APP想拼一波国外市场?QuickSDK可能是你最好的选择
中国手机游戏市场经过前期的快速增长,目前市场规模已趋于饱和。面对这种情况,各大厂商采取手游出海、游戏产品精品化及泛娱乐化等措施,来提高自身盈利能力,以抢占更多的剩余市场空间。
BestSDK
2018/07/30
1K0
从运营到分发渠道,iSDK打造一站式手游解决方案
功能稳定强大之外,无隐性消费则是iSDK能够在乱象丛生的市场环境中,异军突起的另一主要原因。一别于其他同类型SDK接入产品,会在产品售出后设置一些价格相对较低的增值服务,iSDK选择了无隐性消费的即时
BestSDK
2018/03/01
1.5K0
从运营到分发渠道,iSDK打造一站式手游解决方案
QuickSDK发行定制化SDK:支持游客模式,快速切换账号
目前,QuickSDK针对国内手游发行推出了一套定制化SDK的解决方案,这是一套帮助手游开发商搭建专属官方SDK系统的解决方案,简单易用,技术门槛低,可以让开发者快速拥有自主发行AppStore、官方包和CPS包的能力。
BestSDK
2018/07/30
1.1K0
QuickSDK发行定制化SDK:支持游客模式,快速切换账号
竞争加剧, 聚合渠道类手游SDK将更加细分专业化
据艾媒咨询与比达咨询分别发布的《2016Q2中国移动应用商店市场监测报告》与《2016年第三季度第三方应用商店数据报告》显示,中国第三方移动应用商店移动网民渗透率达67%,活跃用户规模约为4.5亿,其
BestSDK
2018/02/28
1.2K0
竞争加剧, 聚合渠道类手游SDK将更加细分专业化
游戏出海 如何攻陷首选阵地东南亚
说到东南亚,有的不只是火热美女与民风。因为审美类似,东南亚一直都是中国游戏出海的首选。在网游时代,中国游戏出口东南亚已是常事,在手游时代,出海已经成为国内游戏厂商寻求突围的重要手段之一。 东南亚总共有11个国家,中国游戏出口在泰国、印度尼西亚、菲律宾、越南、马来西亚、新加坡6个国家占比高达99%。 流量、内容、支付、运营、用户留存是影响一个游戏成功与否的五个元素。因此,我们今天就从这五个方面入手,解读游戏领域的东南亚市场。 流量维谷:人挺多,网一般,手机红利刚刚开始 这些国家的电信基础建设相当于中国5~10
腾讯Bugly
2018/03/22
2.6K0
游戏出海  如何攻陷首选阵地东南亚
存量竞争时代,解锁游戏APP高留存、高付费增长的工具化解决方案
2024年中国移动游戏市场收入规模达到2843.3亿元,同比增长10.74%,头部产品独占了超七成的市场份额。尽管移动游戏市场创下收入新高,但在存量市场竞争日益激烈的当下,传统竞价模式带来的增长空间已十分有限,留住现有用户成为游戏开发者们的必然选择。数据显示,一款手游的平均用户生命周期不足30天,从启动加载卡顿、社交分享跳转失败,到组队功能体验差,每一个细节都可能成为用户流失的导火索。
XINSTALL
2025/05/13
600
存量竞争时代,解锁游戏APP高留存、高付费增长的工具化解决方案
手游sdk搭建开发都需要哪些功能?如何挑选游戏sdk?
众所周知,游戏研发一般只会负责游戏里的内容,游戏想要上架就必须要接入SDK,用以解决玩家的登录和注册,充值支付问题,还有后续对基础的数据进行统计与分析。而在实际研发过程中,我们不可能每个游戏都去做一个帐号、支付以及统计。所以游戏SDK就把这些共同性的问题给抽出来,通过一定的接入规范,形成一个独立的软件包,只需要按照接入规范,引进游戏包资源,对接接口即
用户5145438
2023/02/27
1.1K0
乐卓科技运营总监廖亮:大数据助力游戏精细化运营实践(内附视频&PPT)
数据猿导读 现在时代飞速的发展,人们获取信息的渠道非常多。在这个过程中,渠道整合所带来的竞争压力是所有的手机游戏发行行业共同面临的一个难题。渠道占据了大部分的用户资源,因此企业需要用大数据去服务用户。
数据猿
2018/04/23
1.2K0
乐卓科技运营总监廖亮:大数据助力游戏精细化运营实践(内附视频&PPT)
他山之石:2016年创业者怎么做好一款手游?
文/王新喜    对于游戏创业者而言,2016年可能是颇为艰难的一年,国内游戏行业整体变局表现为增长速度变缓以及市场格局已经固化。我们看到,手游行业整体仍在增长,但增速明显放缓,数据显示手游市场的增长速度目前已不足3%,这与手游高速增长的2013年相比,已经严重下滑。 游戏市场呈现二八格局:提升游戏品质、留住用户成厂商重要增长机会 但国内游戏市场是否已经真的趋于饱和?下一个增长点会在哪里?根据相关数据显示,当前游戏市场呈现“二八定律”的市场格局,以2015年第三季度为例,排名前十的企业所占份额高达81%,其
WeTest质量开放平台团队
2023/05/04
5810
他山之石:2016年创业者怎么做好一款手游?
打造移动应用与游戏安全防线,腾讯WeTest安全服务全线升级
当移动互联网渗透到千家万户,与工业控制、智慧交通、实时社交、休闲娱乐紧密结合时,应用安全就变得尤为重要。
WeTest质量开放平台团队
2018/10/29
2.2K0
狙击风险!从《火影忍者OL》看腾讯手游安全全周期解决方案
手游行业因外挂、客户端&服务端漏洞、破解版等安全问题,每年遭受着超过几十亿元的损失。相对于游戏研发过程中的其他问题,由于手游安全测试的门槛较高,市场上绝大多数的手游开发者都无法主动高效的提前处理手游潜在的安全风险。一些手游开发者会抱着等出现了问题之后再去修复的想法,而等到问题出现之时,往往为时已晚,安全问题已对游戏的收入、口碑已经产生了很大的影响。
WeTest质量开放平台团队
2019/03/20
3.2K0
狙击风险!从《火影忍者OL》看腾讯手游安全全周期解决方案
打造移动应用与游戏安全防线,腾讯WeTest安全服务全线升级
原文链接:https://wetest.qq.com/lab/view/416.html
WeTest质量开放平台团队
2018/10/25
2.3K0
打造移动应用与游戏安全防线,腾讯WeTest安全服务全线升级
聊一聊游戏版本运营
简单来说,版本运营日常工作主要是负责保障游戏线上运营的稳定性,同时也可能需要去处理一些线上的突发事件。
可以叫我才哥
2022/04/12
1.7K0
聊一聊游戏版本运营
【金猿产品展】神策智能运营:基于用户行为洞察的一站式智能运营平台
神策智能运营可助力运营人员实现自主创建活动计划,从受众筛选 → 触发条件 → 触达配置 → 目标设置,均可自由、快速配置,自动执行。
数据猿
2019/12/30
9630
田小军:纷争中的手游知识产权保护
田小军 腾讯互联网法律研究中心 一、中国迎来手游市场爆发增长的产业机遇 2013年,随着智能手机、移动网络的普及,全球手游(即手机游戏)市场迎来了高速增长的机遇,中国手游市场更是迎来了爆发式增长的手游产业行年。进入2014年,中国手游市场依然保持着高速发展的趋势。中国音像与数字出版协会游戏工委和中国互联网数据中心(IDC)统计数据显示,2013年中国手游市场规模达到了112.4亿元,同比增长246.9%,2014年上半年,中国手游市场规模达到125.2亿元,超过了2013年全年的数据。同时,中国手
腾讯研究院
2018/03/09
1.4K0
游密全球首发H5游戏通讯云,接入SDK兼容所有浏览器
经过三个月的开发、测试,游密科技宣布,全球首个H5游戏语音通讯解决方案正式上线!继解决了手游的社交通讯需求后,游密再一次为H5游戏开发团队开辟了一条新的语音通讯路径,仅需三行代码,轻松接入游密的H5游
BestSDK
2018/03/01
2.1K0
游密全球首发H5游戏通讯云,接入SDK兼容所有浏览器
行业安全解决方案|腾讯游戏安全一站式防护,助力对抗外挂和DDoS攻击
近年来,在技术革新、监管加强、用户需求提升的三重作用下,游戏行业进入发展转型期,并涌现出游戏精品化、产业跨界升级、游戏出海三大趋势。随着游戏行业的繁荣,游戏厂商面临越来越多的黑灰产攻击、内容违规等游戏安全难题,由于技术实力和响应能力不足,很多厂商时常陷入事倍功半的困境中,游戏口碑和营收也遭受重大损失。据统计,业务安全和内容安全涉及的黑灰产每年给游戏开发商带来数十亿元规模的损失。
腾讯安全
2022/11/22
4.1K0
行业安全解决方案|腾讯游戏安全一站式防护,助力对抗外挂和DDoS攻击
推荐阅读
相关推荐
接入加加打包SDK,一键搞定所有手游渠道
更多 >
LV.0
这个人很懒,什么都没有留下~
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档