实现task调度器同一时间只能运行同一个plan的同一个task

This commit is contained in:
2025-09-17 14:58:41 +08:00
parent 1e949aab69
commit 2402c206dc
3 changed files with 125 additions and 92 deletions

View File

@@ -11,7 +11,8 @@ import (
// PendingTaskRepository 定义了与待执行任务队列交互的接口。
type PendingTaskRepository interface {
CreatePendingTasksInBatch(tasks []*models.PendingTask) error
ClaimNextDueTask() (*models.TaskExecutionLog, error)
ClaimNextAvailableTask(excludePlanIDs []uint) (*models.TaskExecutionLog, error)
RequeueTask(log *models.TaskExecutionLog) error
}
// pendingTaskRepository 是使用 GORM 的具体实现。
@@ -20,7 +21,6 @@ type pendingTaskRepository struct {
}
// NewPendingTaskRepository 创建一个新的待执行任务队列仓库。
// 它接收一个 GORM DB 实例作为依赖。
func NewPendingTaskRepository(db *gorm.DB) PendingTaskRepository {
return &pendingTaskRepository{db: db}
}
@@ -30,32 +30,28 @@ func (r *pendingTaskRepository) CreatePendingTasksInBatch(tasks []*models.Pendin
return r.db.Create(&tasks).Error
}
// ClaimNextDueTask 以原子方式认领下一个到期任务。
// 它在一个事务中完成三件事:
// 1. 查找并锁定一个到期的待办任务。
// 2. 从待办队列中将其删除。
// 3. 将其在执行日志表中的状态更新为 'running'。
// 最后返回更新后的执行日志对象,作为执行的唯一凭证。
func (r *pendingTaskRepository) ClaimNextDueTask() (*models.TaskExecutionLog, error) {
// ClaimNextAvailableTask 以原子方式认领下一个可用的任务。
func (r *pendingTaskRepository) ClaimNextAvailableTask(excludePlanIDs []uint) (*models.TaskExecutionLog, error) {
var log models.TaskExecutionLog
err := r.db.Transaction(func(tx *gorm.DB) error {
var pendingTask models.PendingTask
// 1. 查找并用 FOR UPDATE 锁定一个到期的待办任务
if err := tx.Clauses(clause.Locking{Strength: "UPDATE"}).
query := tx.Clauses(clause.Locking{Strength: "UPDATE"}).
Where("execute_at <= ?", time.Now()).
Order("execute_at ASC").
First(&pendingTask).Error; err != nil {
return err // 没找到是正常情况,事务将回滚
Order("execute_at ASC")
if len(excludePlanIDs) > 0 {
query = query.Where("plan_execution_log_id NOT IN ?", excludePlanIDs)
}
if err := query.First(&pendingTask).Error; err != nil {
return err
}
// 2. 在同一个事务中,立刻硬删除这个待办任务
if err := tx.Unscoped().Delete(&pendingTask).Error; err != nil {
return err
}
// 3. 在同一个事务中,更新其在日志表中的孪生兄弟的状态
updates := map[string]interface{}{
"status": models.ExecutionStatusStarted,
"started_at": time.Now(),
@@ -64,8 +60,7 @@ func (r *pendingTaskRepository) ClaimNextDueTask() (*models.TaskExecutionLog, er
return err
}
// 4. 获取更新后的完整日志对象,以返回给调用者
if err := tx.First(&log, pendingTask.TaskExecutionLogID).Error; err != nil {
if err := tx.Preload("Task").First(&log, pendingTask.TaskExecutionLogID).Error; err != nil {
return err
}
@@ -73,10 +68,27 @@ func (r *pendingTaskRepository) ClaimNextDueTask() (*models.TaskExecutionLog, er
})
if err != nil {
// 如果错误是 `gorm.ErrRecordNotFound`,它仅表示当前没有到期的任务。
// 服务层应该优雅地处理这种情况,而不是将其视为需要立即处理的严重错误。
return nil, err
}
return &log, nil
}
// RequeueTask 安全地将一个已被认领但无法执行的任务放回队列。
// 它在一个事务中原子地将日志状态恢复为 'waiting',并重新创建待办任务。
func (r *pendingTaskRepository) RequeueTask(log *models.TaskExecutionLog) error {
return r.db.Transaction(func(tx *gorm.DB) error {
// 1. 将日志状态恢复为 waiting
if err := tx.Model(log).Update("status", models.ExecutionStatusWaiting).Error; err != nil {
return err
}
// 2. 重新创建待办任务,立即执行
newPendingTask := models.PendingTask{
TaskID: log.TaskID,
TaskExecutionLogID: log.ID,
ExecuteAt: time.Now(),
}
return tx.Create(&newPendingTask).Error
})
}