python日志处理函数 python处理日志文件

python中更优雅的记录日志

在以往我们使用日志，更多的是使用 python 自带的 logging 模块，它可以设置错误等级、输出方式等。

成都创新互联专业为企业提供武夷山网站建设、武夷山做网站、武夷山网站设计、武夷山网站制作等企业网站建设、网页设计与制作、武夷山企业网站模板建站服务，10余年武夷山做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

但使用方式相对比较复杂，想要更好的使用需要如 log4net 一样单独配置，这在 python 中感觉不是很优雅。

下面介绍一个 python 库： loguru 。 guru 是印度语中大师的意思， loguru 直译就是“日志大师”。

如图 logging 一样， loguru 也有定义日志等级。不同的日志等级，输出效果也不一样（默认的等级由低到高是 DEBUG 、 INFO 、 WARNING 、 ERROR 、 CRITICAL ，也可以自己使用 level 函数定义）。

类似 logging 中的 logger.addHandler ，loguru统一使用 add 函数来管理格式、文件输出、过滤等操作，它提供了许多参数来实现 logger.addHandler 中的配置更加简单方便。

其中 sink 是最重要的参数，可以传入不同的数据类型。传入文件路径、文件句柄、 sys.stderr 、甚至 logging 模块的 Handler 如 FileHandler 、 StreamHandler 等，这样就可以快速实现自定义的 Handler 配置。

通过给 remove 方法传递 add 方法返回的对象， 可以删除 add 方法添加的 sink ，这里的 remove 并不是删除 test2.log 文件，而是停止向该文件输出日志，需要需要继续记录日志则需要重新 add 日志文件。

用 rotation 、 retention 、 compression 进行日志窗口、更新、压缩管理。

支持控制台输出添加颜色， 除了基础色， loguru 甚至允许16进制、RGB格式的颜色值和加粗、下划线等样式。

使用装饰器 @logger.catch 可以和 logging 一样使用 logger.exception 函数来记录异常信息。

使用 exception 方法输出的异常信息包含堆栈信息和当前变量的值，方便问题定位。

使用 serialize 可以将日志转换为 JSON 格式， enqueue 可以保证多线程、多进程安全。

修改时间格式。

Python日志—Python日志模块logging介绍

从事与软件相关工作的人，应该都听过“日志”一词。

日志就是跟踪软件运行时事件的方法，为了能够在程序运行过程中记录错误。

通过日志记录程序的运行，方便我们查询信息，以便追踪问题、进行维护和调试、还是数据分析。

并且各编程语言都形成了各自的日志体系和相应的框架。

日志的作用总结：

首先我们要树立一个观点，那就是“不是为了记录日志而记录日志，日志也不是随意记的”。要实现能够只通过日志文件还原整个程序执行的过程，达到能透明地看到程序里执行情况，每个线程每个过程到底执行结果的目的。日志就像飞机的黑匣子一样，应当能够复原异常的整个现场乃至细节。

在项目中，日志这个功能非常重要，我们要重视起来。

在Python中，使用logging模块来进行日志的处理。

logging是Python的内置模块，主要用于将日志信息进行格式化内容输出，可将格式化内容输出到文件，也可输出到屏幕。

我们在开发过程中，常用print()函数来进行调试，但是在实际应用的部署时，我们要将日志信息输出到文件中，方便后续查找以及备份。

在我们使用日志管理时，我们也可以将日志格式化成Json对象转存到ELK中方便图形化查看及管理。

logging模块将日志系统从高向低依次定义了四个类，分别是logger（日志器）、handler（处理器）、filter(过滤器)和formatter(格式器)。其中由日志器生成的实例将接管原本日志记录函数logging.log的功能。

说明：

我们先来思考下下面的两个问题：

在软件开发阶段或部署开发环境时，为了尽可能详细的查看应用程序的运行状态来保证上线后的稳定性，我们可能需要把该应用程序所有的运行日志全部记录下来进行分析，这是非常耗费机器性能的。

当应用程序正式发布或在生产环境部署应用程序时，我们通常只需要记录应用程序的异常信息、错误信息等，这样既可以减小服务器的I/O压力，也可以避免我们在排查故障时被淹没在日志的海洋里。

那么怎样才能在不改动应用程序代码的情况下，根据事件的重要性或者称之为等级，实现在不同的环境中，记录不同详细程度的日志呢？

这就是日志等级的作用了，我们通过配置文件指定我们需要的日志等级就可以了。

说明：

总结：

开发应用程序时或部署开发环境时，可以使用DEBUG或INFO级别的日志获取尽可能详细的日志信息，可以方便进行开发或部署调试。 应用上线或部署生产环境时，应用使用WARNING或ERROR或CRITICAL级别的日志，来降低机器的I/O压力和提高获取错误日志信息的效率。 日志级别的指定通常都是在应用程序的配置文件中进行指定的。 不同的应用程序所定义的日志等级会有所差别，根据实际需求来决定。

在 python 项目中如何记录日志

写本文的目的是我在写 python 项目的时候需要记录日志，我忘记怎么处理了，每次都需要去网上查一遍， 好记性不如烂笔头 ， 这里把查阅的内容记录下来，方便以后查找。

python 项目中记录日志，可以使用 logging 模块，logging 模块定义的函数和类为应用程序和库的开发实现了一个灵活的事件日志系统。logging 模块是Python的一个标准库模块，由标准库模块提供日志记录API的关键好处是所有Python模块都可以使用这个日志记录功能。所以，你的应用日志可以将你自己的日志信息与来自第三方模块的信息整合起来。

在 __init__.py 文件中做如下配置：

控制台输出日志如下：

参考文档

如何用python写监控日志函数

def write_log(username,operation):

'''

写日志函数

:param username:用户名

:param operation:用户的操作信息

:return:

'''

w_time = time.strftime('%Y-%m-%d %H%M%S')

with open('log.txt','a+') as fw:

log_content = '%s %s %s \n'%(w_time,username,operation)

fw.write(log_content)

希望对你有帮助！

Loguru：Python 日志终极解决方案

日志的作用非常重要，日志可以记录用户的操作、程序的异常，还可以为数据分析提供依据，日志的存在意义就是为了能够在程序在运行过程中记录错误，方便维护和调试，能够快速定位出错的地方，减少维护成本。每个程序员都应该知道，不是为了记录日志而记录日志，日志也不是随意记的。要实现能够只通过日志文件还原整个程序执行的过程，达到能透明地看到程序里执行情况，每个线程、每个过程到底执行到哪的目的。日志就像飞机的黑匣子一样，应当能够复原异常的整个现场乃至细节！

最常见的是把输出函数 print() 当作日志记录的方式，直接打印各种提示信息，常见于个人练习项目里，通常是懒得单独配置日志，而且项目太小不需要日志信息，不需要上线，不需要持续运行，完整的项目不推荐直接打印日志信息，现实中也几乎没有人这么做。

我们可以在不少小项目里面看到作者自己写了一个日志模板，通常利用 print() 或者 sys.stdout 稍微封装一下即可实现简单的日志输出，这里的 sys.stdout 是 Python 中的标准输出流， print() 函数是对 sys.stdout 的高级封装，当我们在 Python 中打印对象调用 print(obj) 时候，事实上是调用了 sys.stdout.write(obj+'\n') ， print() 将内容打印到了控制台，然后追加了一个换行符 \n 。

自写日志模板适合比较小的项目，可以按照自己的喜好编写模板，不需要太多复杂配置，方便快捷，但是这种记录日志的方式并不是很规范，有可能你自己觉得阅读体验不错，但是别人在接触你的项目的时候往往需要花费一定的时间去学习日志的逻辑、格式、输出方式等，比较大的项目同样不推荐这种方法。

一个简单的自写日志模板举例：

日志模板 log.py：

调用日志模块：

日志输出：

在一个完整的项目中，大多数人都会引入专门的日志记录库，而 Python 自带的标准库 logging 就是专门为日志记录而生的，logging 模块定义的函数和类为应用程序和库的开发实现了一个灵活的事件日志系统。由标准库模块提供日志记录 API 的关键好处是所有 Python 模块都可以使用这个日志记录功能。所以，你的应用日志可以将你自己的日志信息与来自第三方模块的信息整合起来。

logging 模块虽然强大，但是其配置也是比较繁琐的，在大型项目中通常需要单独初始化日志、配置日志格式等等，K哥在日常使用中通常都会对 logging 做如下的封装写法，使日志可以按天保存，保留15天的日志，可以配置是否输出到控制台和文件，如下所示：

输出日志：

它在控制台中是这样的：

当然，如果你不需要很复杂的功能，希望简洁一点，仅仅需要在控制台输出一下日志的话，也可以只进行简单的配置：

对于 logging 模块，即便是简单的使用，也需要自己定义格式，这里介绍一个更加优雅、高效、简洁的第三方模块：loguru，官方的介绍是：Loguru is a library which aims to bring enjoyable logging in Python. Loguru 旨在为 Python 带来愉快的日志记录。这里引用官方的一个 GIF 来快速演示其功能：

Loguru 仅支持 Python 3.5 及以上的版本，使用 pip 安装即可：

Loguru 的主要概念是只有一个：logger

控制台输出：

可以看到不需要手动设置，Loguru 会提前配置一些基础信息，自动输出时间、日志级别、模块名、行号等信息，而且根据等级的不同，还自动设置了不同的颜色，方便观察，真正做到了开箱即用！

如果想自定义日志级别，自定义日志格式，保存日志到文件该怎么办？与 logging 模块不同，不需要 Handler，不需要 Formatter，只需要一个 add() 函数就可以了，例如我们想把日志储存到文件：

我们不需要像 logging 模块一样再声明一个 FileHandler 了，就一行 add() 语句搞定，运行之后会发现目录下 test.log 里面同样出现了刚刚控制台输出的 debug 信息。

与 add() 语句相反， remove() 语句可以删除我们添加的配置：

此时控制台会输出两条 debug 信息：

而 test.log 日志文件里面只有一条 debug 信息，原因就在于我们在第二条 debug 语句之前使用了 remove() 语句。

Loguru 对输出到文件的配置有非常强大的支持，比如支持输出到多个文件，分级别分别输出，过大创建新文件，过久自动删除等等。 下面我们来详细看一下 add() 语句的详细参数：

基本语法：

基本参数释义：

当且仅当 sink 是协程函数时，以下参数适用：

当且仅当 sink 是文件路径时，以下参数适用：

这么多参数可以见识到 add() 函数的强大之处，仅仅一个函数就能实现 logging 模块的诸多功能，接下来介绍几个比较常用的方法。

add() 函数的 rotation 参数，可以实现按照固定时间创建新的日志文件，比如设置每天 0 点新创建一个 log 文件：

设置超过 500 MB 新创建一个 log 文件：

设置每隔一个周新创建一个 log 文件：

add() 函数的 retention 参数，可以设置日志的最长保留时间，比如设置日志文件最长保留 15 天：

设置日志文件最多保留 10 个：

也可以是一个 datetime.timedelta 对象，比如设置日志文件最多保留 5 个小时：

add() 函数的 compression 参数，可以配置日志文件的压缩格式，这样可以更加节省存储空间，比如设置使用 zip 文件格式保存：

其格式支持： gz 、 bz2 、 xz 、 lzma 、 tar 、 tar.gz 、 tar.bz2 、 tar.xz

Loguru 在输出 log 的时候还提供了非常友好的字符串格式化功能，相当于 str.format() ：

输出：

在 Loguru 里可以直接使用它提供的装饰器就可以直接进行异常捕获，而且得到的日志是无比详细的：

日志输出：

在控制台的输出是这样的：

相比 Logging，Loguru 无论是在配置方面、日志输出样式还是异常追踪，都远优于 Logging，使用 Loguru 无疑能提升开发人员效率。本文仅介绍了一些常用的方法，想要详细了解可参考 Loguru 官方文档 或关注 Loguru GitHub 。