未加星标

Monolog优化及打造ELK友好的日志格式

字体大小 | |
[开发(php) 所属分类 开发(php) | 发布者 店小二03 | 时间 2017 | 作者 红领巾 ] 0人收藏点击收藏

Monolog 是目前最流行php日志库,许多流行的php框架都用Monolog作为默认的日志库,例如symfony、laravel。

推酷是个无耻的网站

默认情况下,symfony、laravel在打印日志时都是来一条日志就打印一行到日志文件,这样就没有办法按照请求将日志聚合起来,更麻烦的是,多个并发的请求打印的日志是交叉的,这给本地调试、线上排查bug带来了许多麻烦。另外一个附带的问题是每写一行日志都得打开日志文件、写入日志、关闭日志文件,会产生大量的磁盘IO(即使是使用Monolog自带的BufferHandler将当前请求产生的所有日志缓冲到内存,等到请求结束再统一写入日志文件,也是每一条日志都得打开、写入、关闭日志文件)。

Logstash

我希望的结果是: https://leo108.com/pid-2256.asp

一次请求所产生的日志需要一次打开、写入、关闭日志文件。 一次请求所产生的日志是紧密相连的,不会因为高并发而产生日志交叉的情况。 能够通过Logstash的multiline来聚合一次请求所产生的所有日志。 一些访问数据(如访问时间、访问者IP、访问的Url、该请求的执行时间等)能够被Logstash直接解析成字段,并能够在Kibana中查询、筛选。

最终代码如下:

Monolog

namespace App\Extensions\Log;
use Carbon\Carbon;
use Monolog\Handler\StreamHandler;
use Monolog\Logger;
class AggregateFileHandler extends StreamHandler
{
public function handleBatch(array $records)
{
$dur = number_format(microtime(true) - LARAVEL_START, 3);
$request = request();
$format = 'Y-m-d H:i:s.u';
// 这一行是我们这个处理器自己加上的日志,记录请求时间、响应时间、访客IP,请求方法、请求Url
$log = sprintf("[%s][%s]%s %s %s\n",Carbon::createFromFormat('U.u', sprintf('%.6F', LARAVEL_START), config('app.timezone'))->format($format),$dur,$request->getClientIp(),$request->getMethod(),$request->getRequestUri()
);
// 然后将内存中的日志追加到$log这个变量里
foreach ($records as $record) {if (!$this->isHandling($record)) { continue;}$record = $this->processRecord($record);$log .= $this->getFormatter()->format($record);
}
// 调用日志写入方法
$this->write(['formatted' => $log]);
}
}

需要BufferHandler来配合: Monolog

$handler = new AggregateFileHandler();
$handler->setFormatter(
new LineFormatter("[%datetime%]%level_name% %message% %context% %extra%\n", 'i:s', true, true)
);
$monolog->pushHandler(new BufferHandler($handler));

简单说明一下代码:

https://leo108.com/pid-2256.asp

AggregateRotatingFileHandler继承StreamHandler,代表这个是一个将日志写到流(stream)的处理器,AggregateRotatingFileHandler类只实现了一个handleBatch方法,BufferHandler会在请求结束时去调用handleBatch方法,因为我们不考虑单独使用这个处理器的情况,所以就没有去重写handler方法(实际上重写了也没法满足我们的需求)。

leo108's blog

Logstash的配置如下:

推酷是个无耻的网站

input {
file {
type => 'monolog'
path => "/home/vagrant/website/logs/app.log"
}
}
filter {
if [type] == 'monolog' {
multiline {pattern => "\[[\d\-\: ]+?\]\[[\d\.]+?\]\d+\.\d+\.\d+\.\d+ \S+ \S+"negate => truewhat => "previous"
}
grok {match => ["message", "\[%{TIMESTAMP_ISO8601:time}\]\[%{NUMBER:duration}\]%{IP:ip} %{WORD:method} %{DATA:url} %{WORD:logId}\n%{GREEDYDATA:data}"]
}
}
}

本文开发(php)相关术语:php代码审计工具 php开发工程师 移动开发者大会 移动互联网开发 web开发工程师 软件开发流程 软件开发工程师

主题: GRE数据TI需求变量
分页:12
转载请注明
本文标题:Monolog优化及打造ELK友好的日志格式
本站链接:http://www.codesec.net/view/520124.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 开发(php) | 评论(0) | 阅读(55)