V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
billowqiu
V2EX  ›  NGINX

nginx 返回码实时监控

  •  
  •   billowqiu ·
    billowqiu · 2016-09-22 00:13:08 +08:00 · 4320 次点击
    这是一个创建于 3020 天前的主题,其中的信息可能已经有所发展或是发生改变。

    nginx 返回码实时监控,应该算是是一个比较大众化的需求,一个思路是: 将 nginx 日志实时转到 storm 进行实时分析,然后再 dump 到监控系统 但是如果只是一般的小网站的话,上这个感觉太重了,大家一般是怎么做这块的监控的,想找个轻量级的解决方案。

    17 条回复    2016-10-06 22:55:32 +08:00
    adfsadfssfd
        1
    adfsadfssfd  
       2016-09-22 02:34:29 +08:00
    amplify
    coolloves
        2
    coolloves  
       2016-09-22 07:19:32 +08:00 via Android
    rsyslog 按规则实时解析日志,返回时间, IP , URL ,返回码等信息,然后按情况,需求展示
    derek80
        3
    derek80  
       2016-09-22 09:08:58 +08:00 via Android
    我们用 prometheus 自已调整下 Lua 还可以结合 geoip 记录地区。
    billowqiu
        4
    billowqiu  
    OP
       2016-09-22 09:25:55 +08:00
    @adfsadfssfd 这个还是重了点,要把数据放到第三方。
    billowqiu
        5
    billowqiu  
    OP
       2016-09-22 09:27:54 +08:00
    @derek80 嗯,也考虑过 ngx+lua ,
    目前用的 statsd+graphite 作为监控系统, Google 了没有比较好的方案。
    wujunze
        6
    wujunze  
       2016-09-22 09:36:12 +08:00
    @adfsadfssfd
    @coolloves
    @derek80
    @billowqiu 借楼主宝地 请教个问题 有没有比较好用的 web 日志分析工具,最好可以绘制图表的,谢谢
    derek80
        7
    derek80  
       2016-09-22 10:35:39 +08:00
    prometheus + grafana 解决了我们大部分图表问题,详细的日志可以用 ELK 收集。但是这不符合你轻量级的要求了。
    billowqiu
        8
    billowqiu  
    OP
       2016-09-22 14:00:59 +08:00
    @derek80 嗯,我用的是 statstd+graphite+grafana
    最近才发现 prometheus ,要不也会用这个,😁
    看来只能自己搞个 tail 文件的方案了。。
    lightforce
        9
    lightforce  
       2016-09-22 16:46:24 +08:00
    goaccess
    fangpeishi
        10
    fangpeishi  
       2016-09-22 16:49:52 +08:00
    graylog ,楼主你可以去看看推上 graylog 给出的 dashboard 的例子。
    cxbig
        11
    cxbig  
       2016-09-22 16:55:58 +08:00
    公司用第三方数据平台 New Relic 监控
    poemind
        12
    poemind  
       2016-09-22 19:50:27 +08:00 via iPhone
    statsd + graphite
    superalsrk
        13
    superalsrk  
       2016-09-22 20:15:06 +08:00
    。。小网站啊。。哪有那么麻烦。。写个小脚本。。然后

    ```
    tail -F access.log |
    while IFS= read -r line
    do
    python process.py $line
    echo
    done
    ```
    mliilm
        14
    mliilm  
       2016-09-22 20:46:31 +08:00 via Android
    记得有人分享过把 nginx log 实时传输到 GA 的方案,改改 nginx 配置即可,对实时性要求不高的话可以试试
    adfsadfssfd
        15
    adfsadfssfd  
       2016-09-23 13:23:54 +08:00
    @wujunze netdata?
    billowqiu
        16
    billowqiu  
    OP
       2016-09-24 20:55:02 +08:00
    @mliilm 试试看
    billowqiu
        17
    billowqiu  
    OP
       2016-10-06 22:55:32 +08:00
    目前初步使用 ngxtop 改了下,发送指标到 statsd 搞定了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2749 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:18 · PVG 20:18 · LAX 04:18 · JFK 07:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.