python apscheduler cron定时任务触发接口自动化巡检怎么实现


这篇“pythonapschedulercron定时任务触发接口自动化巡检怎么实现”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“pythonapschedulercron定时任务触发接口自动化巡检怎么实现”文章吧。定时任务触发方式有几种类型,日常的工作中,研发同学运用比较多的就是cron方式查了一下APScheduler框架内支持多种定时任务方式首先先安装apscheduler模块代码如下:(在方法内注释了各种时间参数的定义与范围)封装的方法不是很通用,后面会优化一下代码,但最起码现在是能用的,哈哈哈哈哈哈思考了一下思路,巡检触发任务,然后触发钉钉,所以定时任务应该是在最上层之前分享的钉钉封装的代码内底部继续完善一下把run_dingDing()的函数我们放在已经封装好的Timing().cron(run_dingDing,*dingDing_list)内,那么run_dingDing()内的参数我们通过元组的方式传入就是我们上面写的这里能看到时间范围的填写我放在了Timing()初始化内,看着舒服一点在运行Timing().cron()后就可以触发定时了,但是必须要开着电脑才可以,等后面开始研究平台,存储在服务器内就美吱吱了~apscheduler 运行过程中出现类似如下报错:Run time of job “9668_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)” was missed by 0:01:47.387821Run time of job “9668_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)” was missed by 0:01:47.392574Run time of job “9669_deep (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)” was missed by 0:01:47.397622Run time of job “9669_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)” was missed by 0:01:47.402938Run time of job “9669_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)” was missed by 0:01:47.407996针对该问题百度是基本上指不上了,google到了关键配置,但仍然出现该报错,于是继续找资料,刨根问底这到是什么鬼问题导致的。里面说到了一个参数:misfire_grace_time,但是这个参数到底是干嘛用的,在其他地方找到了解释,其中涉及到几个其他参数,但是结合自己的理解综合总结一下
coalesce:当由于某种原因导致某个job积攒了好几次没有实际运行(比如说系统挂了5分钟后恢复,有一个任务是每分钟跑一次的,按道理说这5分钟内本来是“计划”运行5次的,但实际没有执行),如果coalesce为True,下次这个job被submit给executor时,只会执行1次,也就是最后这次,如果为False,那么会执行5次(不一定,因为还有其他条件,看后面misfire_grace_time的解释)max_instance:就是说同一个job同一时间最多有几个实例再跑,比如一个耗时10分钟的job,被指定每分钟运行1次,如果我们max_instance值为5,那么在第6~10分钟上,新的运行实例不会被执行,因为已经有5个实例在跑了misfire_grace_time:设想和上述coalesce类似的场景,如果一免费云主机域名个job本来14:00有一次执行,但是由于某种原因没有被调度上,现在14:01了,这个14:00的运行实例被提交时,会检查它预订运行的时间和当下时间的差值(这里是1分钟),大于我们设置的30秒限制,那么这个运行实例不会被执行。示例:15分钟一次的的任务,misfire_grace_time 设置100秒,在0:06分的时候提示:Run time of job “9392_index (trigger: interval[0:15:00], next run at: 2018-10-27 00:15:00 CST)” was missed by 0:06:03.931026 解释:本来应该在0:00执行的任务,某种原因没有被调度,提示下次运行(0:15)与当前差了6分钟(阈值100秒),所以0:15的时候将不会运行所以这个参数可以通俗的理解为任务的超时容错配置,给executor 一个超时时间,这个时间范围内要是该跑的还没跑完,你TND的就别再跑了。于是我修改了配置如下:我本以为这样应该就没什么问题了,配置看似完美,但是现实是残忍的,盯着apscheduler日志看了一会,熟悉的“was missed by”又出现了,这时候就需要怀疑这个配置到底有没有生效了,然后发现果然没有生效,从/scheduler/jobs中可以看到任务:可以看到任务中默认就有misfire_grace_time配置,没有改为600,折腾一会发现修改配置,重启与修改任务都不会生效,只能修改配置后删除任务重新添加(才能把这个默认配置用上),或者修改任务的时候把这个值改掉然后就可以了?图样图森破,missed 依然存在。其实从后来的报错可以发现这个容错时间是用上的,因为从执行时间加上600秒后才出现的报错。那么还是回到这个超时根本问题上,即使容错时间足够长,没有这个报错了,但是一个任务执行时间过长仍然是个根本问题,所以终极思路还在于如何优化executor的执行时间上。当然这里根据不同的任务处理方式是不一样的,在于各自的代码了,比如更改链接方式、代码是否有冗余请求,是否可以改为异步执行,等等。而我自己的任务解决方式为:由接口请求改为python模块直接传参,redis链接改为内网,极大提升执行效率,所以也就控制了执行超时问题。以上就是关于“pythonapschedulercron定时任务触发接口自动化巡检怎么实现”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注百云主机行业资讯频道。

相关推荐: java处理数据库不支持emoji表情符怎么解决

本篇内容主要讲解“java处理数据库不支持emoji表情符怎么解决”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“java处理数据库不支持emoji表情符怎么解决”吧!一般数据库的编码是utf8,utf8是不支持存储…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 05/21 20:53
下一篇 05/21 20:53

相关推荐