Python打印日志方法

图片

对于测试来讲,日志的重要性就不言而喻了。有些同学提交BUG的时候,虽然写了不少测试步骤,但是你描述的再多,不如一张日志截图好用。还有些同学分不清前后端的问题,甚至程序偷偷优化代码提交了一个BUG也没告诉你,如果你习惯测试的时候查看日志,很多问题都变的简单起来。

程序打印的日志有很多,对于Python来讲主要分为5个等级。

logging,python的官方库,打印日志用的,无需安装,使用时直接调

日志的五个等级(DEBUG/INFO/WARNING/ERROR/CRITICAL)

DEBUG (logging.debug)

调试日志信息:调试模式下的日志,只给程序员看的日志

INFO (logging.info)

重要日志信息:程序正常运行的时候输出的日志

WARN/WARNING (logging.warning)

警告日志信息:警告信息,当前程序还可以运行,后面有可能出现问题

ERROR (logging.error)

错误日志信息:程序执行过程中的错误信息

CRITICAL (logging.critical)

致命日志信息:发生严重错误,阻塞流程,程序可能无法继续运行先来执行一个脚本图片执行结果:
图片日志收集器:

log = logging.getLogger() # 获取日志收集器,默认为root。

默认收集等级为WARNING。上面的执行结果只输出了3条,是因为等级高于WARNING的日志才会输出,WARNING为默认等级。

日志级别大小关系为:DEBUG < INFO < WARNING < ERROR < CRITICAL

如果要输出全部的日志,我们可以修改默认等级

logging.basicConfig(level=logging.DEBUG)  

图片
图片

logging.basicConfig 用法和参数详解

我们游戏中看到的日志文件大部分包括几个特性,打印时间、打印内容、打印行号、指定日志文件名。我们可以通过设置 basicConfig()的 format 参数来定义日志的基本格式,看一下下面的例子。

图片

根据以下参数自行解读为什么会有这样的输出。

图片

日志记录的步骤

  1. 创建 logger
  2. 创建 handler
  3. 定义 formatter
  4. 给 handler 添加 formatter
  5. 给 logger 添加 handler
图片

logger 和 handler 的关系,网上一个形象的描述是:logger 可以看作是一个记录日志的人,对于记录的每个日志,他需要有一套规则,比如记录的格式(formatter),等 级 (level) 等 等 , 这 个 规 矩 就 是 handler, 通 过 添 加 规 则

logger.addHandler(handler)就可以记录日志了。

日志的打印方式

使用 logging 模块时,首先需要得到一个 Logger 类的实例,称为记录器(logger)。每个记录器都有一个名字,并且 logging 模块是通过名字来管理这些记录器的,两个记录器之间可以通过命名空间的层次结构来确定关系。可以使用getLogger 函数获取记录器,常用的是命名为模块名或文件名。我们在日志的记录过程中大部分会有这些基本的思路,不同模块的日志记录在不同的文件中;日志要定期清理,不要一直无限打印;日志的记录最好按天记录,这样能够方便查看。下面我们就从这几点简单的聊下日志的打印方式。

1.按文件位置打印

FileHandler(filename,mode=’a’,encoding=None,delay=0)

指明的 filename 文件会被打开,并用作日志流。后面三个参数为可选参数,如果 encoding 不为 None,会用指定的编码来打开文件,如果 delay 为真,直到第一次调用 emit()的时候才打开文件。默认情况下,文件会一直增长。

图片

2.按文件大小打印

RotatingFileHandler(filename,mode=’a’,maxBytes=0,backupCount=0,encoding=None,delay=0)

这个 Handler 较上面 FileHandler 的优点是,它可以管理文件大小,使用maxBytes 和backupCount 来让文件在预定义的尺寸发生翻转。当文件大于设定的 maxBytes,文件会被关闭,新的文件被打开用来输出。如果 maxBytes 为 0 时,翻转永远不会发生。如果 backupCount 不为 0,系统将保存老的日志文件,在文件名后加上.1,.2 这样的扩展名。例如如果 backupCount=3,基本的日志文件名为 my.log,将会的得到 my.log.1,my.log.2,my.log.3 扩展文件。新的日志会始终写在 my.log 文件中的,当文件被填满后,文件会被关闭并重命名为 my.log.1,当 my.log 文件再次被写满的话,那么已存在的 my.log.1 文件会被重命名为my.log.2,然后 my.log 文件会再次命名为 my.log.1,以此类推,最新的日志会一直被写入到 my.log 文件中。由于 RotatingFileHandler 类位于 logging.handlers 模块中,所以我们需要在日志配置文件 log_conf.py 中 import loggin.handlers。如下图,在配置文件中创建一个 RotatingFileHandler。

图片

3.按时间分割打印

TimedRotatingFileHandler(filename,when=’h’,interval=1,backupCount=0,encoding=None,delay=False,utc=False)

指明的文件被打开,并用作日志流。在循环时它会设置文件后缀。循环发生基于 when 和 interval 的乘积。使用 when 来指明 interval 的类型。参数可取值得范围如下,无大小写之分

图片

可能遇到的问题

1.日志的重复打印

图片

执行上面脚本发现之前的日志会被重复打印,如下

图片

因为我们在第二次调用 log 的时候,getLogger()会获取上一次已获取的logger,因为这个 logger 在第一次调用日志接口的时候已经添加了 handler,第二次调用的时候会再次添加了一个 handler,所以同一个 logger 里有两个同样的handler,依此类推,调用几次就会有几个 handler。解决这个问题有几种方法,我们可以在每次调用 log 的时候,创建不同的handler;也可以在 log 方法里判断当前的 logger 是否已经有 handler,有则不会再添加 handler,这两种方法都有点绕,按照之前我们的例子,比较简单的方法是在每次打印完一条日志后,我们都移除 handler,保证调用 log 的时候,当前只有一个 handler。

图片

多进程环境下的问题

logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的,但是多个进程同往一个文件写日志是不安全的,经常会发现日志的缺失,同时也有可能报错。

图片

上面为一个多进程中使用 TimedRotatingFileHandler,程序报的异常,是因为 doRollover()对文件缺失的异常没有处理。比如我们是按天切割文件的,配置的日志文件名为my.log,日志准备从3月9号切换到3月10号的时候,那么 self.bassFilename 就是 my.log,dfn 就是my.log.2017-03-09。

图片

执行的流程为:

1.判断准备切入的文件是否存在,如果存在,则删除

2.然后将 my.log 文件重命名为 my.log.2017-03-09

3.再将 3.10 号的日志打印到 my.log 中。

多进程如果共用一个日志文件的话,那么每个进程都会执行上面的操作,这样第二个进程就在进行第一步判断时就会把有效的文件 my.log.2017-03-09 删除,照成有效日志缺失。

如果需要保证多进程的日志正确的输出到同一个日志文件中,则可以:

  • 将日志发送到同一个进程,由这个进程负责输出
  • 对日志输出进行加锁,每个进程输出日志前需要先获得锁。

网上也可以查到很多的解决办法,这里就不详细介绍了。

声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/303621.html

联系我们
联系我们
分享本页
返回顶部