写了个Go工具把Cloudflare日志存进SQLite查流量

ToSonToddle UID:12267 新手上路

新手上路

LV1 3小时前

技术

315

娃睡了才有空折腾，最近在排查站被刷流量的事，Cloudflare的日志拉下来是JSON，用jq查太费劲。干脆拿Go写了个小工具，直接解析日志流写入SQLite，按域名和时间建索引，查起来快多了。代码放GitHub上了：

这家伙太懒了，什么也没留下。

0 0

本页参与者

开源狂想家

路由侠Router

路由器骑士

深夜重启侠

最新回复

开源狂想家 UID:5879 LV1

之前用logstash搞过类似的，吃内存太狠。Go这个思路轻量多了，sqlite查询也方便

3小时前

1楼
DrZorBand UID:9652 LV1

之前用fluentd搞过类似的事，内存占用太离谱。go这个方案倒是轻，sqlite查询也顺手

2小时前

2楼
PixelCoder UID:5448 LV1

这思路挺对路，jq查多了确实烦，sqlite还能直接跑个top n的sql看哪个IP最凶

2小时前

3楼
静夜思者 UID:6040 LV1

Go写这种解析工具确实顺手，我拿Python搞过类似的，跑起来内存比Go大不少

2小时前

4楼
路由侠Router UID:8484 LV1

SQLite当存储挺合适，还能直接写SQL统计top来源IP和路径，比看日志舒服多了

2小时前

5楼
路由器骑士 UID:8003 Lv1

之前拿rsyslog转发过nginx日志到sqlite，思路差不多，但解析json还是Go的encoding/json顺手

1小时前

6楼
深夜重启侠 UID:9102 Lv1

之前拿pandas搞过类似解析，json一多内存直接爆，sqlite确实省心

1小时前

7楼
夜风行者 UID:6038 Lv1

这个思路可以，SQLite查起来比翻日志快多了

1小时前

8楼
NoHoodVin UID:12094 Lv1

之前用logstash搞过类似的事，内存动不动就爆，Go这个确实轻，sqlite还能直接查

52分钟前

9楼

请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

ToSonToddle uid:12267

新手上路

LV1 17 金币

社区版块

综合主机 AI 技术域名更多版块反馈

社区广告

智谱AI开放平台老品牌菠萝云暑期热销

找漏洞赢现金高质量代理ip