Java如何实现日志缓存机制

Java 日志机制的介绍

Level：JDK 中定义了 Off、Severe、Warning、Info、Config、Fine、Finer、Finest、All  九个日志级别，定义 Off 为日志***等级，All  为***等级。每条日志必须对应一个级别。级别的定义主要用来对日志的严重程度进行分类，同时可以用于控制日志是否输出。

LogRecord：每一条日志会被记录为一条 LogRecord, 其中存储了类名、方法名、线程 ID、打印的消息等等一些信息。

Logger：日志结构的基本单元。Logger 是以树形结构存储在内存中的，根节点为 root。com.test（如果存在）一定是  com.test.demo（如果存在）的父节点，即前缀匹配的已存在的 logger 一定是这个 logger  的父节点。这种父子关系的定义，可以为用户提供更为自由的控制粒度。因为子节点中如果没有定义处理规则，如级别 handler、formatter  等，那么默认就会使用父节点中的这些处理规则。

Handler：用来处理 LogRecord，默认 Handler 是可以连接成一个链状，依次对 LogRecord 进行处理。

Filter：日志过滤器。在 JDK 中，没有实现。

Formatter：它主要用于定义一个 LogRecord 的输出格式。

图 1. Java 日志处理流程

图 1 展示了一个 LogRecord 的处理流程。一条日志进入处理流程首先是 Logger，其中定义了可通过的 Level，如果  LogRecord 的 Level 高于Logger 的等级，则进入 Filter（如果有）过滤。如果没有定义 Level，则使用父  Logger 的 Level。Handler 中过程类似，其中 Handler 也定义了可通过 Level，然后进行 Filter  过滤，通过如果后面还有其他 Handler，则直接交由后面的 Handler 进行处理，否则会直接绑定到 formatter  上面输出到指定位置。

在实现日志缓存之前，先对 Filter 和 Formatter 两个辅助类进行介绍。

Filter

Filter 是一个接口，主要是对 LogRecord 进行过滤，控制是否对 LogRecord 进行进一步处理，其可以绑定在 Logger 下或 Handler 下。

只要在 boolean isLoggable（LogRecord）方法中加上过滤逻辑就可以实现对 logrecord  进行控制，如果只想对发生了 Exception 的那些 log 记录进行记录，那么可以通过清单 1 来实现，当然首先需要将该 Filter  通过调用 setFilter（Filter）方法或者配置文件方式绑定到对应的 Logger 或 Handler。

清单 1. 一个 Filter 实例的实现

Override  public boolean isLoggable(LogRecord record){  if(record.getThrown()!=null){         return true;  }else{          return false;   }  }

Formatter

Formatter 主要是对 Handler 在输出 log 记录的格式进行控制，比如输出日期的格式，输出为 HTML 还是 XML  格式，文本参数替换等。Formatter 可以绑定到 Handler 上，Handler 会自动调用 Formatter 的 String  format（LogRecord r） 方法对日志记录进行格式化，该方法具有默认的实现，如果想实现自定义格式可以继承 Formater  类并重写该方法，默认情况下例如清单 2 在经过 Formatter 格式化后，会将 {0} 和 {1} 替换成对应的参数。

清单 2. 记录一条 log

logger.log(Level.WARNING,"this log is for test1: {0} and test2:{1}",     new Object[]{newTest1(),     new Test2()});

MemoryHandler

MemoryHandler 是 Java Logging 中两大类 Handler 之一，另一类是  StreamHandler，二者直接继承于 Handler，代表了两种不同的设计思路。Java Logging Handler  是一个抽象类，需要根据使用场景创建具体 Handler，实现各自的 publish、flush 以及 close 等方法。

MemoryHandler 使用了典型的“注册 – 通知”的观察者模式。MemoryHandler 先注册到对自己感兴趣的 Logger  中（logger.addHandler(handler)），在这些 Logger 调用发布日志的  API：log()、logp()、logrb() 等，遍历这些 Logger 下绑定的所有 Handlers 时，通知触发自身  publish（LogRecord）方法的调用，将日志写入 buffer，当转储到下一个日志发布平台的条件成立，转储日志并清空 buffer。

这里的 buffer 是 MemoryHandler 自身维护一个可自定义大小的循环缓冲队列，来保存所有运行时触发的 Exception  日志条目。同时在构造函数中要求指定一个 Target Handler，用于承接输出；在满足特定 flush buffer  的条件下，如日志条目等级高于 MemoryHandler 设定的 push level 等级（实例中定义为  SEVERE）等，将日志移交至下一步输出平台。从而形成如下日志转储输出链：

图 2. Log 转储链

在实例中，通过对 MemoryHandler 配置项 .push 的 Level 进行判断，决定是否将日志推向下一个 Handler，通常在 publish() 方法内实现。代码清单如下：

清单 3

// 只纪录有异常并且高于 pushLevel 的 logRecord     final Level level = record.getLevel();            final Throwable thrown = record.getThrown();     If(level >= pushLevel){        push();     }

MemoryHandler.push 方法的触发条件

Push 方法会导致 MemoryHandler 转储日志到下一 handler，清空 buffer。触发条件可以是但不局限于以下几种，实例中使用的是默认的***种：

• 日志条目的 Level 大于或等于当前 MemoryHandler 中默认定义或用户配置的 pushLevel；

• 外部程序调用 MemoryHandler 的 push 方法；

• MemoryHandler 子类可以重载 log 方法或自定义触发方法，在方法中逐一扫描日志条目，满足自定义规则则触发转储日志和清空 buffer 的操作。MemoryHanadler 的可配置属性

表 1.MemoryHandler 可配置属性

使用方式：

以上是记录产品 Exception 错误日志，以及如何转储的 MemoryHandler 处理的内部细节；接下来给出 MemoryHandler 的一些使用方式。

1. 直接使用 java.util.logging 中的 MemoryHandler

清单4

// 在 buffer 中维护 5 条日志信息 // 仅记录 Level 大于等于 Warning 的日志条目并 // 刷新 buffer 中的日志条目到 fileHandler 中处理          int bufferSize = 5;          f = new FileHandler("testMemoryHandler.log");          m = new MemoryHandler(f, bufferSize, Level.WARNING);          …          myLogger = Logger.getLogger("com.ibm.test");          myLogger.addHandler(m);          myLogger.log(Level.WARNING, “this is a WARNING log”);

. 自定义

1）反射

思考自定义 MyHandler 继承自 MemoryHandler 的场景，由于无法直接使用作为父类私有属性的 size、buffer 及  buffer 中的 cursor，如果在 MyHandler 中有获取和改变这些属性的需求，一个途径是使用反射。清单 5  展示了使用反射读取用户配置并设置私有属性。

清单5

int m_size;   String sizeString = manager.getProperty(loggerName + ".size");   if (null != sizeString) {          try {           m_size = Integer.parseInt(sizeString);           if (m_size <= 0) {              m_size = BUFFER_SIZE; // default 1000           }  // 通过 java 反射机制获取私有属性           Field f;           f = getClass().getSuperclass().getDeclaredField("size");           f.setAccessible(true);           f.setInt(this, m_size);           f = getClass().getSuperclass().getDeclaredField("buffer");           f.setAccessible(true);           f.set(this, new LogRecord[m_size]);          } catch (Exception e) {          }   }

2）重写

直接使用反射方便快捷，适用于对父类私有属性无频繁访问的场景。思考这样一种场景，默认环形队列无法满足我们存储需求，此时不妨令自定义的 MyMemoryHandler 直接继承 Handler，直接对存储结构进行操作，可以通过清单 6 实现。

清单 6

public class MyMemoryHandler extends Handler{   // 默认存储 LogRecord 的缓冲区容量   private static final int DEFAULT_SIZE = 1000;   // 设置缓冲区大小   private int size = DEFAULT_SIZE;   // 设置缓冲区   private LogRecord[] buffer;   // 参考 java.util.logging.MemoryHandler 实现其它部分   ...  }

使用 MemoryHandler 时需关注的几个问题

了解了使用 MemoryHandler 实现的 Java  日志缓冲机制的内部细节和外部应用之后，来着眼于两处具体实现过程中遇到的问题：Logger/Handler/LogRecord Level  的传递影响，以及如何在开发 MemoryHandler 过程中处理错误日志。

1. Level 的传递影响

Java.util.logging 中有三种类型的 Level，分别是 Logger 的 Level，Handler 的 Level 和  LogRecord 的 Level. 前两者可以通过配置文件设置。之后将日志的 Level 分别与 Logger 和 Handler 的  Level 进行比较，过滤无须记录的日志。在使用 Java Log 时需关注 Level 之间相互影响的问题，尤其在遍历 Logger  绑定了多个 Handlers 时。如图 3 所示：

图 3. Java Log 中 Level 的传递影响

Java.util.logging.Logger 提供的 setUseParentHandlers  方法，也可能会影响到最终输出终端的日志显示。这个方法允许用户将自身的日志条目打印一份到 Parent Logger 的输出终端中。缺省会打印到  Parent Logger 终端。此时，如果 Parent Logger Level 相关的设置与自身 Logger 不同，则打印到  Parent Logger 和自身中的日志条目也会有所不同。如图 4 所示：

图 4. 子类日志需打印到父类输出终端

2. 开发 log 接口过程中处理错误日志

在开发 log 相关接口中调用自身接口打印 log，可能会陷入无限循环。Java.util.logging 中考虑到这类问题，提供了一个  ErrorManager 接口，供 Handler 在记录日志期间报告任何错误，而非直接抛出异常或调用自身的 log  相关接口记录错误或异常。Handler 需实现 setErrorManager() 方法，该方法为此应用程序构造  java.util.logging.ErrorManager 对象，并在错误发生时，通过 reportError 方法调用  ErrorManager 的 error 方法，缺省将错误输出到标准错误流，或依据 Handler 中自定义的实现处理错误流。关闭错误流时，使用  Logger.removeHandler 移除此 Handler 实例。

两种经典使用场景，一种是自定义 MyErrorManager，实现父类相关接口，在记录日志的程序中调用  MyHandler.setErrorManager(new MyEroorManager()); 另一种是在 Handler 中自定义  ErrorManager 相关方法，示例如清单 7：

清单 7

public class MyHandler extends Handler{ // 在构造方法中实现 setErrorManager 方法 public MyHandler(){    ......     setErrorManager (new ErrorManager() {         public void  error (String msg, Exception ex, int code) {             System.err.println("Error reported by MyHandler "                              + msg + ex.getMessage());         }     }); } public void publish(LogRecord record){     if (!isLoggable(record)) return;     try {         // 一些可能会抛出异常的操作     } catch(Exception e) {         reportError ("Error occurs in publish ", e, ErrorManager.WRITE_FAILURE);     } } ...... }

logging.properties

logging.properties 文件是 Java 日志的配置文件，每一行以“key=value”的形式描述，可以配置日志的全局信息和特定日志配置信息，清单 8 是我们为测试代码配置的 logging.properties。

清单 8. logging.properties 文件示例

#Level 等级 OFF > SEVERE > WARNING > INFO > CONFIG > FINE > FINER > FINEST > ALL # 为 FileHandler 指定日志级别 java.util.logging.FileHandler.level=WARNING # 为 FileHandler 指定 formatter java.util.logging.FileHandler.formatter=java.util.logging.SimpleFormatter # 为自定义的 TestMemoryHandler 指定日志级别 com.ibm.test.MemoryHandler.level=INFO # 设置 TestMemoryHandler 最多记录日志条数 com.ibm.test.TestMemoryHandler.size=1000 # 设置 TestMemoryHandler 的自定义域 useParentLevel com.ibm.test.TestMemoryHandler.useParentLevel=WARNING # 设置特定 log 的 handler 为 TestMemoryHandler com.ibm.test.handlers=com.ibm.test.TestMemoryHandler # 指定全局的 Handler 为 FileHandler handlers=java.util.logging.FileHandler

从 清单 8 中可以看出 logging.properties 文件主要是用来给 logger 指定等级（level），配置 handler 和 formatter 信息。

如何监听 logging.properties

如果一个系统对安全性要求比较高，例如系统需要对更改 logging.properties 文件进行日志记录，记录何时何人更改了哪些记录，那么应该怎么做呢？

这里可以利用 JDK 提供的 PropertyChangeListener 来监听 logging.properties 文件属性的改变。

例如创建一个 LogPropertyListener 类，其实现了 java.benas.PropertyChangeListener  接口，PropertyChangeListener 接口中只包含一个  propertyChange（PropertyChangeEvent）方法，该方法的实现如清 9 所示。

清单 9. propertyChange 方法的实现

@Override public void propertyChange(PropertyChangeEvent event) {    if (event.getSource() instanceof LogManager){        LogManager manager=(LogManager)event.getSource();        update(manager);        execute();        reset();    } }

propertyChange（PropertyChangeEvent）方法中首先调用 update（LogManager）方法来找出  logging.properties 文件中更改的，增加的以及删除的项，这部分代码如清单 10 所示；然后调用 execute()  方法来执行具体逻辑，参见 清单 11；***调用 reset() 方法对相关属性保存以及清空，如 清单 12 所示。

清单 10. 监听改变的条目

public void update(LogManager manager){  Properties logProps = null ;   // 使用 Java 反射机制获取私有属性    try {      Field f = manager.getClass().getDeclaredField("props");      f.setAccessible(true );      logProps=(Properties)f.get(manager);     }catch (Exception e){        logger.log(Level.SEVERE,"Get private field error.", e);         return ;    }    Set logPropsName=logProps.stringPropertyNames();     for (String logPropName:logPropsName){         String newVal=logProps.getProperty(logPropName).trim();        // 记录当前的属性        newProps.put(logPropName, newVal);          // 如果给属性上次已经记录过        if (oldProps.containsKey(logPropName)){             String oldVal = oldProps.get(logPropName);             if (newVal== null ?oldVal== null :newVal.equals(oldVal)){            // 属性值没有改变，不做任何操作         }else {             changedProps.put(logPropName, newVal);        }        oldProps.remove(logPropName);    }else {// 如果上次没有记录过该属性，则其应为新加的属性，记录之         changedProps.put(logPropName, newVal);                      }     } }

代码中 oldProps、newProps 以及 changedProps 都是 HashMap类型，oldProps 存储修改前  logging.properties 文件内容，newProps 存储修改后 logging.properties  内容，changedProps 主要用来存储增加的或者是修改的部分。

方法首先通过 Java 的反射机制获得 LogManager 中的私有属性 props（存储了 logging.properties  文件中的属性信息），然后通过与 oldProps 比较可以得到增加的以及修改的属性信息，*** oldProps 中剩下的就是删除的信息了。

清单 11. 具体处理逻辑方法

private void execute(){  // 处理删除的属性  for (String prop:oldProps.keySet()){    // 这里可以加入其它处理步骤    logger.info("'"+prop+"="+oldProps.get(prop)+"'has been removed");            }  // 处理改变或者新加的属性  for (String prop:changedProps.keySet()){      // 这里可以加入其它处理步骤      logger.info("'"+prop+"="+oldProps.get(prop)+"'has been changed or added");  } }

该方法是主要的处理逻辑，对修改或者删除的属性进行相应的处理，比如记录属性更改日志等。这里也可以获取当前系统的登录者，和当前时间，这样便可以详细记录何人何时更改过哪个日志条目。

清单 12. 重置所有数据结构

private void reset(){ oldProps = newProps; newProps= new HashMap< String,String>(); changedProps.clear(); }

eset() 方法主要是用来重置各个属性，以便下一次使用。

当然如果只写一个 PropertyChangeListener 还不能发挥应有的功能，还需要将这个 PropertyChangeListener 实例注册到 LogManager 中，可以通过清单 13 实现。

清单 13. 注册 PropertyChangeListener

// 为'logging.properties'文件注册监听器 LogPropertyListener listener= new LogPropertyListener(); LogManager.getLogManager().addPropertyChangeListener(listener);

如何实现自定义标签

在 清单 8中有一些自定义的条目，比如 com.ibm.test.TestMemoryHandler。

useParentLever=WARNING”，表示如果日志等级超过 useParentLever 所定义的等级 WARNING  时，该条日志在 TestMemoryHandler 处理后需要传递到对应 Log 的父 Log 的 Handler 进行处理（例如将发生了  WARNING 及以上等级的日志上下文缓存信息打印到文件中），否则不传递到父 Log 的 Handler  进行处理，这种情况下如果不做任何处理，Java 原有的 Log 机制是不支持这种定义的。那么如何使得 Java Log  支持这种自定义标签呢？这里可以使用 PropertyListener 对自定义标签进行处理来使得 Java Log  支持这种自定义标签，例如对“useParentLever”进行处理可以通过清单 14 实现。

清单 14

private void execute(){        // 处理删除的属性         for (String prop:oldProps.keySet()){             if (prop.endsWith(".useParentLevel")){                String logName=prop.substring(0, prop.lastIndexOf("."));                Logger log=Logger.getLogger(logName);                 for (Handler handler:log.getHandlers()){                     if (handler  instanceof TestMemoryHandler){                        ((TestMemoryHandler)handler)                            .setUseParentLevel(oldProps.get(prop));                         break ;                    }                }            }        }        // 处理改变或者新加的属性         for (String prop:changedProps.keySet()){             if (prop.endsWith(".useParentLevel")){                // 在这里添加逻辑处理步骤            }        } }

在清单 14 处理之后，就可以在自定义的 TestMemoryHandler 中进行判断了，对 log 的等级与其域  useParentLevel 进行比较，决定是否传递到父 Log 的 Handler 进行处理。在自定义 TestMemoryHandler  中保存对应的 Log 信息可以很容易的实现将信息传递到父 Log 的 Handler，而保存对应 Log 信息又可以通过  PropertyListener 来实现，例如清单 15 更改了 清单 13中相应代码实现这一功能。

清单 15

if (handler  instanceof TestMemoryHandler){     ((TestMemoryHandler)handler).setUseParentLevel(oldProps.get(prop));     ((TestMemoryHandler)handler).addLogger(log);       break ; }

具体如何处理自定义标签的值那就看程序的需要了，通过这种方法就可以很容易在 logging.properties 添加自定义的标签了。

自定义读取配置文件

如果 logging.properties 文件更改了，需要通过调用  readConfiguration（InputStream）方法使更改生效，但是从 JDK 的源码中可以看到  readConfiguration（InputStream）方法会重置整个 Log 系统，也就是说会把所有的 log 的等级恢复为默认值，将所有  log 的 handler 置为 null 等，这样所有存储的信息就会丢失。

比如，TestMemoryHandler 缓存了 1000 条 logRecord，现在用户更改了 logging.properties  文件，并且调用了 readConfiguration（InputStream） 方法来使之生效，那么由于 JDK 本身的 Log  机制，更改后对应 log 的 TestMemoryHandler 就是新创建的，那么原来存储的 1000 条 logRecord 的  TestMemoryHandler 实例就会丢失。

那么这个问题应该如何解决呢？这里给出三种思路：

1). 由于每个 Handler 都有一个 close() 方法（任何继承于 Handler 的类都需要实现该方法），Java Log  机制在将 handler 置为 null 之前会调用对应 handler 的 close() 方法，那么就可以在 handler（例如  TestMemoryHandler）的 close() 方法中保存下相应的信息。

2). 研究 readConfiguration（InputStream）方法，写一个替代的方法，然后每次调用替代的方法。

3). 继承 LogManager 类，覆盖 readConfiguration（InputStream）方法。