对象存储COS日志分析

COS常用的日志筛选命令
1、统计访问日志中http状态码的数量
zcat ./* | awk '{print $15}' | sort | uniq -c | sort -rn

2、统计访问日志中外网下行流量总流量
zcat ./* | awk '{print $18}' | awk '{sum+=$1} END {print sum*1.1/1000, "KB" }'

3、统计访问日志中url消耗的流量排序
zcat ./* | awk '{print $12,$18}' | awk '{a[$1]+=$2} END {for(i in a) print a[i]*1.1/1000, "KB",i}' | sort -rn | more

4、统计访问日志中ip消耗的流量排序
zcat ./* | awk '{print $7,$18}' |awk '{a[$1]+=$2} END {for(i in a) print a[i]*1.1/1000, "KB",i}' | sort -rn |more

5、拉取请求耗时在1s以上的记录，并且统计下超出1s耗时的总请求量（如果日志里面没有1s以上的，可以减半的500ms，依次往下）
zcat ./* | awk '$19>1000' | wc -l