如何使用DUMP命令时同时使用通过“猪-x本地”咕噜咕噜我抑制无用信息的膨胀?(How do I s

2019-09-02 03:05发布

我与PigLatin工作,使用咕噜,每次我的时间“倾倒”的东西,我的控制台被用等等等等重挫,等等非信息,是有办法surpress各是什么?

grunt> A = LOAD 'testingData' USING PigStorage(':'); dump A; 

2013年5月6日19:42:04146 [主要] INFO org.apache.pig.tools.pigstats.ScriptState -猪特征脚本中使用:UNKNOWN
2013年5月6日19:42:04147 [主要] INFO
org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompiler -文件连结门槛:100乐观? 假...
...
---另一个像50线在此背景下无用的垃圾重挫的......直到--- ...
...
org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher -成功!

现在我喜欢4行信息寻找:

(daemon,*,1,1,System Services,/var/root,/usr/bin/false)
(uucp,*,,,/var/spool/uucp,/usr/sbin/uucico)
(taskgated,*,13,13,Task Gate Daemon,/var/empty,/usr/bin/false)
(networkd,*,24,24,Network Services,/var/empty,/usr/bin/false)
(installassistant,*,25,25,/usr/bin/false)
grunt>

--->很明显,如果它的错误,罚款lotsa信息有帮助的,而不是在它基本的伟大工程。

Answer 1:

您需要设置log4j属性。 例如:

$PIG_HOME/conf/pig.properties :
enable:
# log4jconf=./conf/log4j.properties

rename: log4j.properties.template -> log4j.properties

log4j.properties :
set info to error:
log4j.logger.org.apache.pig=info, A

您也可以设置Hadoop的相关日志记录级别,以及:

log4j.logger.org.apache.hadoop = error, A


Answer 2:

一个简单的方法来做到这一点似乎是标准错误重定向如下。

但是,将抑制所有errors

pig -x local 2> /dev/null

还发现,如果你删除或重命名您的Hadoop的安装目录,基本使其无法进入猪那么所有这些信息的消息消失。
在Hadoop中更改日志记录级别并没有帮助,只是让你知道。



Answer 3:

当您启动猪,它传递一个log4j.properties文件与pig -4 <filename>

在我的情况下,没有在一个log4j.properties conf目录,并设置一个名为记录器的水平org.apache.pigERROR就足以让记录更简洁。

log4j.logger.org.apache.pig=ERROR, A


Answer 4:

猪有调试日志级别一个需要设置在pig.properties文件,

# Logging level. debug=OFF|ERROR|WARN|INFO|DEBUG (default: INFO)
#
# debug=INFO

其原因一是获得控制台较大的日志,例如将其更改为ERROR



文章来源: How do I suppress the bloat of useless information when using the DUMP command while using grunt via 'pig -x local'?