Nginx map 实现时间格式转换
哈喽大家好,我是咸鱼
最近我们需要把 Nginx 的日志接入到自研的日志采集平台上,但是这个平台只支持 JSON 格式,所以需要把 Nginx 日志格式改成 JSON 格式
例如下面这样的效果
刚开始在主配置文件 nginx.conf
中定义了一个名叫 json
的日志格式字段
验证的时候其他内容没啥问题,但是时间是2023-09-12T13:54:22+08:00
这样子的,不太符合预期
咸鱼想着把 $time_iso8601
变量中的年月日时分秒分别提取出来然后用变量去接受它,如下所示:
我自定义了一个时间格式 $year-$month-$day $hour:$minutes:$seconds:000
,然后接着用了一个 if 语句用于检查请求的时间是否匹配 ISO8601 时间格式(例如:2023-09-12T13:54:22+08:00
)
如果匹配,它将执行其中的代码块。在代码块中,使用正则表达式提取时间的年、月、日、小时、分钟和秒,并将它们赋值给变量 $year
、$month
、$day
、$hour
、$minutes
和 $seconds
log_format json '{ "SYS_NO":"my_nginx",
"OS_TIME":"$year-$month-$day $hour:$minutes:$seconds",
"LOG_TYPE":"",
"RESULT":"$status",
"SPENT_TIME":"$request_time",
"CLIENT_IP":"$remote_addr",
"SERVER_IP":"$server_addr",
"O_CHANNEL":"$http_user_agent",
"UID":"$http_host",
"VALUE1":$body_bytes_sent,
"INFO1":"$http_referer",
}';
if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})") {
set $year $1;
set $month $2;
set $day $3;
set $hour $4;
set $minutes $5;
set $seconds $6;
}
但是 nginx -t
检测的时候我发现 if 语句不能够放在 http
块内,否则会报错
在 Nginx 中,if 语句主要用于在
server
或location
块内设置条件,以便根据请求的属性来执行不同的配置。if 语句通常应该包含在server
或location
块内,而不是直接放在http
块中
如果将 if 语句放在一个一个 server 块中,这不得累死我(有很多个 server 块),而且后期维护也不方便
所以如何将自定义变量在全局配置中生效则成为了一个问题
map
map 指令是由 ngx_http_map_module
模块提供的,是 Nginx 配置文件中的一种用于创建变量映射的指令
模块链接:Module ngx_http_map_module (nginx.org)
它允许我们将一个或多个输入值映射到一个输出值,类似于字典或哈希表的概念。map
指令通常用于根据特定条件为请求设置自定义变量,或者执行基于请求属性的条件控制
比较常见的 map 用法是通过 map 来实现允许多个域名跨域访问的问题
语法如下:
map $variable $new_variable {
value1 result1;
value2 result2;
...
default default_result;
}
其中:
$variable
输入变量,通常是 nginx 的内置变量。$new_variable
输出变量,它将根据输入值的映射设置为特定的结果。value1
,value2
, ... 输入值,可以列出多个值。result1
,result2
, ... 与相应输入值相关联的输出结果。default
一个可选项,表示如果没有匹配的输入值,将使用默认结果
需要注意的是,map 只能放在 http 块中
有了 map,我们就可以轻易的把 $time_iso8601
变量中的 ISO 8601 格式的时间戳转换为指定的时间格式,然后存储到自定义变量 $log_time
中
# nginx.conf
map $time_iso8601 $log_time {
default "";
"~^(?<year>\d{4})-(?<month>\d{2})-(?<day>\d{2})T(?<hour>\d{2}):(?<minutes>\d{2}):(?<seconds>\d{2})" "${year}-${month}-${day} ${hour}:${minutes}:${seconds}";
}
我们可以看到:
- 输入变量为
$time_iso8601
,输出变量为$log_time
; default ""
:如果没有匹配任何条件,将使用空字符串作为$log_time
的值"~^(?<year>\d{4})-(?<month>\d{2})-(?<day>\d{2})T(?<hour>\d{2}):(?<minutes>\d{2}):(?<seconds>\d{2})"
:这是一个正则表达式条件,它用于匹配 ISO 8601 格式的时间戳。该正则表达式包含了多个捕获组(使用?<name>
语法),用于从时间戳中提取年、月、日、小时、分钟和秒的值"${year}-${month}-${day} ${hour}:${minutes}:${seconds}"
:这是与正则表达式条件匹配时设置的输出值。当正则表达式条件匹配时,它会将捕获组中提取的年、月、日、小时、分钟和秒的值组合成一个自定义的时间格式,然后将该值设置为$log_time
变量的值
例如,如果 $time_iso8601
的值是 "2023-09-09T14:30:00",则 $log_time
将被设置为 "2023-09-09 14:30:00"
然后我们再把 $log_time
放进我们自定义的日志格式里面,完整配置如下
log_format json '{ "SYS_NO":"my_nginx",
"OS_TIME":"$log_time",
"LOG_TYPE":"",
"RESULT":"$status",
"SPENT_TIME":"$request_time",
"CLIENT_IP":"$remote_addr",
"SERVER_IP":"$server_addr",
"O_CHANNEL":"$http_user_agent",
"UID":"$http_host",
"VALUE1":$body_bytes_sent,
"INFO1":"$http_referer",
}';
map $time_iso8601 $log_time {
default "";
"~^(?<year>\d{4})-(?<month>\d{2})-(?<day>\d{2})T(?<hour>\d{2}):(?<minutes>\d{2}):(?<seconds>\d{2})" "${year}-${month}-${day} ${hour}:${minutes}:${seconds}";
}
最后我们验证一下