Python下定時任務框架APScheduler的使用
1.APScheduler簡介：
APScheduler是Python的一個定時任務框架，可以很方便的滿足使用者定時執行或者週期執行任務的需求，它提供了基於日期date、固定時間間隔interval 、以及類似於Linux上的定時任務crontab型別的定時任務。並且該框架不僅可以新增、刪除定時任務，還可以將任務儲存到資料庫中，實現任務的持久化，所以使用起來非常方便。
2.APScheduler安裝：
APScheduler的安裝相對來說也非常簡單，可以直接利用pip安裝，如果沒有pip可以下載原始碼，利用原始碼安裝。
1）.利用pip安裝：（推薦）
# pip install apscheduler
2）.基於原始碼安裝：ofollow,noindex" target="_blank">https://pypi.python.org/pypi/APScheduler/
# python setup.py install
3.基本概念
APScheduler有四種元件及相關說明：
1） triggers（觸發器）：觸發器包含排程邏輯，每一個作業有它自己的觸發器，用於決定接下來哪一個作業會執行，除了他們自己初始化配置外，觸發器完全是無狀態的。
2）job stores（作業儲存）：用來儲存被排程的作業，預設的作業儲存器是簡單地把作業任務儲存在記憶體中，其它作業儲存器可以將任務作業儲存到各種資料庫中，支援MongoDB、Redis、SQLAlchemy儲存方式。當對作業任務進行持久化儲存的時候，作業的資料將被序列化，重新讀取作業時在反序列化。
3） executors（執行器）：執行器用來執行定時任務，只是將需要執行的任務放在新的執行緒或者執行緒池中執行。當作業任務完成時，執行器將會通知排程器。對於執行器，預設情況下選擇ThreadPoolExecutor就可以了，但是如果涉及到一下特殊任務如比較消耗CPU的任務則可以選擇ProcessPoolExecutor，當然根據根據實際需求可以同時使用兩種執行器。
4） schedulers（排程器）：排程器是將其它部分聯絡在一起，一般在應用程式中只有一個排程器，應用開發者不會直接操作觸發器、任務儲存以及執行器，相反排程器提供了處理的介面。通過排程器完成任務的儲存以及執行器的配置操作，如可以新增。修改、移除任務作業。
APScheduler提供了多種排程器，可以根據具體需求來選擇合適的排程器，常用的排程器有：
BlockingScheduler：適合於只在程序中執行單個任務的情況，通常在排程器是你唯一要執行的東西時使用。
BackgroundScheduler: 適合於要求任何在程式後臺執行的情況，當希望排程器在應用後臺執行時使用。
AsyncIOScheduler：適合於使用asyncio框架的情況
GeventScheduler: 適合於使用gevent框架的情況
TornadoScheduler: 適合於使用Tornado框架的應用
TwistedScheduler: 適合使用Twisted框架的應用
QtScheduler: 適合使用QT的情況
1)下面一個簡單的示例：
import time
from apscheduler.schedulers.blocking import BlockingScheduler
def test_job():
print time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
scheduler = BlockingScheduler()
'''
#該示例程式碼生成了一個BlockingScheduler排程器，使用了預設的預設的任務儲存MemoryJobStore，以及預設的執行器ThreadPoolExecutor，並且最大執行緒數為10。
'''
scheduler.add_job(test_job, 'interval', seconds=5, id='test_job')
'''
#該示例中的定時任務採用固定時間間隔（interval）的方式，每隔5秒鐘執行一次。
#並且還為該任務設定了一個任務id
scheduler.start()
2）如果想執行一些複雜任務，如上邊所說的同時使用兩種執行器，或者使用多種任務儲存方式，並且需要根據具體情況對任務的一些預設引數進行調整。可以參考下面的方式。（原始碼解析：http://apscheduler.readthedocs.io/en/latest/userguide.html ）
第一種方式：
from pytz import utc
from apscheduler.schedulers.background import BackgroundScheduler # 匯入排程器
from apscheduler.jobstores.mongodb import MongoDBJobStore # 匯入作業儲存
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore # 匯入作業儲存
from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor # 匯入執行器
jobstores = {
'mongo': MongoDBJobStore(),
'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
}
executors = {
'default': ThreadPoolExecutor(20),
'processpool': ProcessPoolExecutor(5)
}
job_defaults = {
'coalesce': False,
'max_instances': 3
}
scheduler = BackgroundScheduler(jobstores=jobstores, executors=executors, job_defaults=job_defaults, timezone=utc)
第二種方式：
from apscheduler.schedulers.background import BackgroundScheduler
scheduler = BackgroundScheduler({
'apscheduler.jobstores.mongo': {
'type': 'mongodb'
},
'apscheduler.jobstores.default': {
'type': 'sqlalchemy',
'url': 'sqlite:///jobs.sqlite'
},
'apscheduler.executors.default': {
'class': 'apscheduler.executors.pool:ThreadPoolExecutor',
'max_workers': '20'
},
'apscheduler.executors.processpool': {
'type': 'processpool',
'max_workers': '5'
},
'apscheduler.job_defaults.coalesce': 'false',
'apscheduler.job_defaults.max_instances': '3',
'apscheduler.timezone': 'UTC',
})
第三種方式：
from pytz import utc
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ProcessPoolExecutor
jobstores = {
'mongo': {'type': 'mongodb'},
'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
}
executors = {
'default': {'type': 'threadpool', 'max_workers': 20},
'processpool': ProcessPoolExecutor(max_workers=5)
}
job_defaults = {
'coalesce': False,
'max_instances': 3
}
scheduler = BackgroundScheduler()
scheduler.configure(jobstores=jobstores, executors=executors,job_defaults=job_defaults, timezone=utc)
5.對任務作業的基本操作：
1）.新增作業有兩種方式：第一種可以直接呼叫add_job()，第二種使用scheduled_job()修飾器。
而add_job()是使用最多的，它可以返回一個apscheduler.job.Job例項，因而可以對它進行修改或者刪除，而使用修飾器新增的任務新增之後就不能進行修改。
#!/usr/bin/env python
#-*- coding:UTF-8
import time
import datetime
from apscheduler.schedulers.blocking import BlockingScheduler
def job1(f):
print time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), f
def job2(arg1, args2, f):
print f, args1, args2
def job3(**args):
print args
APScheduler支援以下三種定時任務：
cron: crontab型別任務
interval: 固定時間間隔任務
date: 基於日期時間的一次性任務
scheduler = BlockingScheduler()
#迴圈任務示例
scheduler.add_job(job1, 'interval', seconds=5, args=(1,), id='test_job1')
#定時任務示例
scheduler.add_job(job1, 'cron', second='*/5', args=(1,2,3,), id='test_job2')
#一次性任務示例
scheduler.add_job(job1, next_run_time=(datetime.datetime.now() + datetime.timedelta(seconds=10)), args=(1,), id='test_job3')
傳遞引數的方式有元組(tuple)、列表(list)、字典(dict)
注意：不過需要注意採用元組傳遞引數時後邊需要多加一個逗號
#基於list
scheduler.add_job(job2, 'interval', seconds=5, args=['a','b','list'], id='test_job4')
#基於tuple
scheduler.add_job(job2, 'interval', seconds=5, args=('a','b','tuple',), id='test_job5')
#基於dict
scheduler.add_job(job3, 'interval', seconds=5, kwargs={'f':'dict', 'a':1,'b':2}, id='test_job6)
print scheduler.get_jobs()
scheduler.start()
或者使用scheduled_job()修飾器來新增作業：
@sched.scheduled_job('cron', second='*/5' ，id='my_job_id',)
def test_task():
print("Hello world!")
2）.獲得任務列表：
可以通過get_jobs方法來獲取當前的任務列表，也可以通過get_job()來根據job_id來獲得某個任務的資訊。並且apscheduler還提供了一個print_jobs()方法來列印格式化的任務列表。
例如：
scheduler.add_job(my_job, 'interval', seconds=5, id='my_job_id' name='test_job')
print scheduler.get_job('my_job_id')
print scheduler.get_jobs()
3）.修改任務：
修改任務的屬性可以使用apscheduler.job.Job.modify()或者modify_job()方法，可以修改除了id的其它任何屬性。
例如：
job = scheduler.add_job(my_job, 'interval', seconds=5, id='my_job' name='test_job')
job.modify(max_instances=5, name='my_job')
4）.刪除任務:
刪除排程器中的任務有可以用remove_job()根據job ID來刪除指定任務或者使用remove()，如果使用remove()需要事先儲存在新增任務時返回的例項物件，任務刪除後就不會在執行。
注意：通過scheduled_job()新增的任務只能使用remove_job()進行刪除。
例如：
job = scheduler.add_job(my_job, 'interval', seconds=5, id='my_job_id' name='test_job')
job.remove()
或者
scheduler.add_job(my_job, 'interval', seconds=5, id='my_job_id' name='test_job')
scheduler.remove_job('my_job')
5）.暫停與恢復任務：
暫停與恢復任務可以直接操作任務例項或者排程器來實現。當任務暫停時，它的執行時間會被重置，暫停期間不會計算時間。
暫停任務：
apscheduler.job.Job.pause()
apscheduler.schedulers.base.BaseScheduler.pause_job()
恢復任務
apscheduler.job.Job.resume()
apscheduler.schedulers.BaseScheduler.resume_job()
6）.啟動排程器
可以使用start()方法啟動排程器，BlockingScheduler需要在初始化之後才能執行start(),對於其他的Scheduler，呼叫start()方法都會直接返回，然後可以繼續執行後面的初始化操作。
例如:
from apscheduler.schedulers.blocking import BlockingScheduler
def my_job():
print "Hello world!"
scheduler = BlockingScheduler()
scheduler.add_job(my_job, 'interval', seconds=5)
scheduler.start()
7）.關閉排程器：
使用下邊方法關閉排程器：
scheduler.shutdown()
預設情況下排程器會關閉它的任務儲存和執行器，並等待所有正在執行的任務完成，如果不想等待，可以進行如下操作：
scheduler.shutdown(wait=False)
注意：
當出現No handlers could be found for logger “apscheduler.scheduler”次錯誤資訊時，說明沒有 logging模組的logger存在，所以需要新增上，對應新增內容如下所示（僅供參）：
import logging
logging.basicConfig(
level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datafmt='%a, %d %b %Y %H:%M:%S',
filename='/var/log/aaa.txt',
filemode='a'
)
Linux公社的RSS地址 ：https://www.linuxidc.com/rssFeed.aspx
本文永久更新連結地址：https://www.linuxidc.com/Linux/2018-09/154439.htm