未加星标

crontab为何自动中断

字体大小 | |
[系统(linux) 所属分类 系统(linux) | 发布者 店小二05 | 时间 2018 | 作者 红领巾 ] 0人收藏点击收藏

在最近开发的一个系统中,有一个定时任务,每天需要将一份数据(大约200w条),发送至一个线上key-value存储系统中。

说到定时任务,最常见的,就是使用crontab。原来这一套系统已经开发完成,部署在深圳IDC,工作良好。最近,需要在天津IDC也部署一套。但是在天津部署之后,我却发现,天津的这套系统每天只能定时发送48999条数据(准确数字),然后就自动停止了。

我首先尝试了crontab -l,并直接手动执行其输出中的相关脚本。这时可以发现,程序并没有中断,完整发送了所有数据。

这时我一度怀疑,是我在程序中设置了什么阈值,才能导致每天都无比准确的发送48999条数据就停止。但是复查一遍代码后并没有查询到什么可疑的配置。

接下来我又在网上搜索crontab相关的问题,但是大都是写一些无法启动crontab相关脚本的问题,对于我这种程序可以定时启动,但是又“准确”的自动中断的问题,却没什么相关答案。

考虑到在深圳IDC没有问题,但是在天津IDC却出现了这个诡异的问题。两个IDC使用的机器型号并不一致,于是我又从机器的角度重新查找crontab相关的问题,终于找到的罪魁祸首:

原来,这是由于在部分机器上,crontab对于执行程序的输出有大小限制,输出超出一定的字节之后就会自动停止程序。

而我的程序每发送1000条数据即会输出一条log,所以每次正好输出49000这条log之后,就超出了大小限制,因此每次都会自动停止在48999条了。

解决方案:可以 重定向输出至 >/dev/null,如:

1 8 * * * cd /path/to/your/bin/ && ./your_bin --flagfile=../conf/your.flags >/dev/null 2>&1 &

希望遇到类似问题的同学,可以尽快的搜索到我这篇文章。(手动狗头)

推荐阅读:

使用双buffer无锁化

不要拷贝

ProtoBuf中的反射

转载请注明出处: http://blog.guoyb.com/2018/09/15/crontab-auto-kill/

欢迎使用微信扫描下方二维码,关注我的微信公众号TechTalking,技术生活思考:


crontab为何自动中断

本文系统(linux)相关术语:linux系统 鸟哥的linux私房菜 linux命令大全 linux操作系统

tags: crontab,IDC,amp,输出,gt,your,发送,定时,自动,程序,log,bin,微信,null
分页:12
转载请注明
本文标题:crontab为何自动中断
本站链接:https://www.codesec.net/view/597113.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 系统(linux) | 评论(0) | 阅读(11)