Warm tip: This article is reproduced from serverfault.com, please click

hadoop-使用Pig分析日志文件

(hadoop - Analysing log files using Pig)

发布于 2020-07-05 13:21:21

我是Pig Latin的新手,我需要分析日志文件以检查错误日志和警告日志。

怎么做 ?查找错误和警告的脚本是什么?

Questioner
Tommy_SK
Viewed
0
OneCricketeer 2020-07-06 02:23:08

首先LOAD,将文件的每一行作为字符串,然后从每行应用并提取正则表达式模式,然后输入aFILTER表示错误和警告。

不过,Elasticsearch更常用于日志分析,而不是Hadoop工具。