多个子进程中的Pyhtion 2.7记录器不会将信息记录到日志文件中
在多个子进程中，Python 2.7记录器可能不会将信息记录到日志文件中的原因是由于Python 2.7的logging模块在多进程环境下存在一些限制和问题。这些问题主要涉及到进程间的资源共享和日志文件的写入。
在多进程环境下，每个子进程都有自己独立的内存空间和文件描述符。当使用Python 2.7的logging模块时，每个子进程都会创建自己的日志记录器对象，并尝试将日志信息写入到同一个日志文件中。然而，由于文件描述符的独立性，多个子进程同时写入同一个文件可能会导致文件内容混乱或丢失部分日志信息。
为了解决这个问题，可以考虑以下几种解决方案：
- 使用进程安全的日志处理器：Python的logging模块提供了一些进程安全的日志处理器，如
logging.handlers.QueueHandler和logging.handlers.QueueListener。这些处理器可以将日志信息发送到一个共享的队列中，然后由主进程负责将日志信息写入到日志文件中。这样可以避免多个子进程同时写入同一个文件的问题。 - 使用分布式日志系统：可以考虑使用一些分布式日志系统，如ELK（Elasticsearch、Logstash和Kibana）或Fluentd等。这些系统可以将日志信息集中存储在一个中央服务器上，并提供强大的搜索和分析功能。每个子进程可以通过网络将日志信息发送到中央服务器，从而避免文件写入冲突的问题。
- 使用进程间通信机制：可以使用进程间通信（IPC）机制，如管道、共享内存或消息队列，将日志信息从子进程发送到主进程，然后由主进程负责将日志信息写入到日志文件中。这种方式需要自行实现进程间通信的逻辑，但可以确保日志文件的完整性和一致性。
需要注意的是，以上解决方案都是针对Python 2.7的logging模块在多进程环境下的限制而提出的。从Python 3.2开始，logging模块已经对多进程环境进行了改进，可以更好地处理多个子进程中的日志记录。因此，如果可能的话，建议升级到Python 3.x版本以获得更好的多进程日志记录支持。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云日志服务（CLS）：https://cloud.tencent.com/product/cls
- 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
- 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云消息队列（CMQ）：https://cloud.tencent.com/product/cmq
相关·内容
我使用"multiprocessing.Process“来启动多个子进程。每个子进程都是相同的python脚本，它实例化Logger并将不同的级别写入日志文件。只要是相同的脚本，它就会在每个子进程中创建具有相同名称的Logger。
此外，每个子进程都有唯一的id和日志信息</
浏览 20提问于2019-07-26得票数 0
回答已采纳
1回答
我正在使用python2.7中的多处理。我希望每个子进程都记录到自己的文件(filename = procname.pid.log)，而不是记录到标准日志输出。到目前为止，我已经能够通过在每个子进程start()方法中创建一个记录器和FileHandler()来创建每个日志文件，但是我无法阻止日志</e
浏览 14提问于2013-11-05得票数 3
我希望所有记录器，特别是外部库中的记录器，登录到同一个文件中。“继承”，因此它们最终都应该登录到同一个文件中。我在两台机器上测试了它，一台用python 2.7，另一台用2.6。
对于第一个文件，它可以像我预期的那样工作，但是在另一个日志文件上，日志文件是空的。似乎处理程序已
浏览 0提问于2014-04-01得票数 0
回答已采纳
为什么在python服务中对日志框架的调用不会输出到日志(file，stdout，...)？我的python服务的一般形式是：logger.setLevel(logging.DEBUG) # Service Logic
logger.error("NOT LOGGED EITHER"
浏览 0提问于2013-02-11得票数 3
0回答
在之后，我正在寻找以下问题的解决方案：我的python进程产生一个子进程，并且它们都应该有一个文件记录器。我希望他们每个人都登录到自己的日志文件中。进程创建：multiprocessing.Process(target=my_target, a
浏览 8提问于2018-07-12得票数 3
回答已采纳
1回答
我有几个并行运行的python程序。我想写一个python程序，它将管理程序日志，这意味着其他程序将发送日志消息给这个程序，程序将它写到日志文件中。另一个重要的特性是，如果其中一个程序崩溃，“管理日志程序”将了解它并将其写入日志文件。我尝试使用这个示例，但失败了。
有人能帮帮我吗？
浏览 1提问于2010-08-18得票数 2
1回答
我们使用Python2.7、/Django(1.8.1)和Gunicorn(19.4.5)作为我们的web应用程序，并使用主管(3.0)来监视它。第一种情况是可以理解的，日志旋转改变了文件，但是Django没有被更新。
每个子进程都是一个独立
浏览 4提问于2017-02-01得票数 1
回答已采纳
1回答
Java并发日志到文件
、、、
我目前正在编写一个记录器(例如，使用java记录器)，用它我可以将活动(信息、错误)记录到文件中。这个(静态)记录器类由多个线程和进程使用。另一种解决方案是为每个线程提供一个自己的日志文件，但这会有点混乱。
因此，我首先将日志保存在流中<
浏览 2提问于2014-10-04得票数 1
回答已采纳
3回答
我有一个web应用程序，它会将一些信息记录到文件中。我正在寻找一个简单的、线程安全的、非阻塞的c#文件记录器类。我几乎没有线程方面的经验。我知道有很多很棒的日志组件，比如log4Net，企业库日志块，ELMAH，但是我不想让我的应用依赖于外部。我在考虑使用这个队列实现
浏览 1提问于2009-07-15得票数 2
我用Python、和TDD学习 'handlers': ['console'], },}
我的"
浏览 1提问于2016-02-08得票数 8
回答已采纳
在python中，如果在父进程中配置了记录器，那么子进程是否也会获得该记录器？更清楚地说，在我的应用程序中，我通过执行logger = logging.getlogger()并向其添加处理程序来为父进程配置根记录器。现在，当子进程被派生时，它确实logger.info("dfsdf")
然后，所有的日志
浏览 0提问于2013-02-01得票数 3
回答已采纳
11回答
我一直在服务器上工作，现在开始实现日志记录。但是，我不确定是否应该使用db进行日志记录，或者只使用纯文本文件。一方面，将日志放入db意味着我可以对记录的数据运行查询。另一方面，我不确定这是否会给数
浏览 0提问于2009-06-28得票数 10
回答已采纳
我知道PHP日志文件位于我的个人计算机的/var/log/nginx/error.log，但我感兴趣的是实用地找出错误日志文件的位置。我试过了：但是我的php没有指定error_log，所以它是空白的。由于apache/ngnix各自存储不同的位置，有没有办法找出错误被写入的
浏览 8提问于2013-11-10得票数 4
我有一个工作进程池(使用multiprocessing.Pool)，并希望将它们记录到单个日志文件中。基本思想是启动一个日志侦听器进程，在它和工作进程之间建立一个队列，工作进程登录到队列中(使用QueueHandler)，然后侦听器格式化日志行并将其序列化到一个文件中。在pool.apply_async()方法中，我可以传入我想
浏览 3提问于2011-07-06得票数 0
回答已采纳
我正在使用log4Net进行日志记录。. </>log4net.Config.BasicConfigurator.Configure();log4net.Config.XmlConfigurator.Configure();
我得到了大量的内部调试xml信息，我记录的任何东西都会显示出来。
浏览 0提问于2010-03-06得票数 8
回答已采纳
1回答
我正在编写一个将在tomcat服务器上运行的应用程序。对于我们服务的每个客户端，应用程序都会被实例化多次。
我正在将Log4j介绍给应用程序。将创建一个客户端文件，并将日志输出写入该文件。我面临的问题是，每次创建新实例时，都会将来自其他客户端的日志输出写入新的客户端日志文件。在应用程序中，我实例化每个日志的记录器</em
浏览 3提问于2014-09-04得票数 2
回答已采纳
2回答
C程序的日志记录
、、
我需要一些聪明的日志库，用于Linux上类似守护程序的C (而不是C++)程序。它需要是开源的。它应该支持记录到文件，可能是套接字等。
或者至少是一些好的提示、技巧或最佳实践。
浏览 5提问于2011-11-26得票数 2
回答已采纳
更不用说，我不希望其他日志被旋转，只希望这个特定的日志；我不希望这个脚本要求其他可能的用户设置日志旋转。)以下是问题所在：
由于记录器进程可以写入文件，而我已经打开了文件句柄，所以我觉得很容易错过日志文件中的记录。如果记录器进程决定停止、清除日志文件并重
浏览 1提问于2014-05-08得票数 2
为什么Linux文件: /var/log/syslog不遵循协议https://www.rfc-editor.org/rfc/rfc5424#page-11中定义的时间戳格式？
浏览 0提问于2013-11-01得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
