重构 #4
| @@ -20,14 +20,6 @@ type DelayTask struct { | |||||||
| 	logger        *logs.Logger | 	logger        *logs.Logger | ||||||
| } | } | ||||||
|  |  | ||||||
| // NewDelayTask 创建一个新的 DelayTask 实例 |  | ||||||
| func NewDelayTask(logger *logs.Logger, executionTask *models.TaskExecutionLog) *DelayTask { |  | ||||||
| 	return &DelayTask{ |  | ||||||
| 		executionTask: executionTask, |  | ||||||
| 		logger:        logger, |  | ||||||
| 	} |  | ||||||
| } |  | ||||||
|  |  | ||||||
| // Execute 执行延迟任务,等待指定的时间 | // Execute 执行延迟任务,等待指定的时间 | ||||||
| func (d *DelayTask) Execute() error { | func (d *DelayTask) Execute() error { | ||||||
| 	d.logger.Infof("任务 %v: 开始延迟 %v...", d.executionTask.TaskID, d.duration) | 	d.logger.Infof("任务 %v: 开始延迟 %v...", d.executionTask.TaskID, d.duration) | ||||||
| @@ -36,7 +28,10 @@ func (d *DelayTask) Execute() error { | |||||||
| 	return nil | 	return nil | ||||||
| } | } | ||||||
|  |  | ||||||
| func (d *DelayTask) ParseParams() error { | func (d *DelayTask) ParseParams(logger *logs.Logger, executionTask *models.TaskExecutionLog) error { | ||||||
|  | 	d.logger = logger | ||||||
|  | 	d.executionTask = executionTask | ||||||
|  |  | ||||||
| 	if d.executionTask.Task.Parameters == nil { | 	if d.executionTask.Task.Parameters == nil { | ||||||
| 		d.logger.Errorf("任务 %v: 缺少参数", d.executionTask.TaskID) | 		d.logger.Errorf("任务 %v: 缺少参数", d.executionTask.TaskID) | ||||||
| 		return fmt.Errorf("任务 %v: 参数不全", d.executionTask.TaskID) | 		return fmt.Errorf("任务 %v: 参数不全", d.executionTask.TaskID) | ||||||
|   | |||||||
| @@ -1,9 +0,0 @@ | |||||||
| package task |  | ||||||
|  |  | ||||||
| // PlanAnalysisTask 用于在任务执行队列中触发一个plan的执行 |  | ||||||
| // 该任务会解析plan生成扁平化的待执行任务表, 并将任务列表插入任务执行队列 |  | ||||||
| // 该任务会预写入plan所有待执行任务的执行日志 |  | ||||||
| // 每个plan执行完毕时 或 创建plan时 都应该重新创建一个 PlanAnalysisTask 以便触发下次plan执行 |  | ||||||
| // 更新plan后应当更新对应 PlanAnalysisTask |  | ||||||
| type PlanAnalysisTask struct { |  | ||||||
| } |  | ||||||
							
								
								
									
										17
									
								
								internal/app/service/task/task.go
									
									
									
									
									
										Normal file
									
								
							
							
						
						
									
										17
									
								
								internal/app/service/task/task.go
									
									
									
									
									
										Normal file
									
								
							| @@ -0,0 +1,17 @@ | |||||||
|  | package task | ||||||
|  |  | ||||||
|  | import ( | ||||||
|  | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/models" | ||||||
|  | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/task" | ||||||
|  | ) | ||||||
|  |  | ||||||
|  | // TaskFactory 是一个任务组装工厂, 可以根据Task类型获取到对应的初始化函数 | ||||||
|  | var TaskFactory = func(tt models.TaskType) task.Task { | ||||||
|  | 	switch tt { | ||||||
|  | 	case models.TaskTypeWaiting: | ||||||
|  | 		return &DelayTask{} | ||||||
|  | 	default: | ||||||
|  | 		// 出现位置任务类型说明业务逻辑出现重大问题, 一个异常任务被创建了出来 | ||||||
|  | 		panic("发现未知任务类型") | ||||||
|  | 	} | ||||||
|  | } | ||||||
| @@ -29,6 +29,7 @@ const ( | |||||||
| type TaskType string | type TaskType string | ||||||
|  |  | ||||||
| const ( | const ( | ||||||
|  | 	TaskPlanAnalysis TaskType = "plan_analysis" // 解析Plan的Task列表并添加到待执行队列的特殊任务 | ||||||
| 	TaskTypeWaiting  TaskType = "waiting"       // 等待任务 | 	TaskTypeWaiting  TaskType = "waiting"       // 等待任务 | ||||||
| ) | ) | ||||||
|  |  | ||||||
|   | |||||||
							
								
								
									
										29
									
								
								internal/infra/task/plan_analysis_task.go
									
									
									
									
									
										Normal file
									
								
							
							
						
						
									
										29
									
								
								internal/infra/task/plan_analysis_task.go
									
									
									
									
									
										Normal file
									
								
							| @@ -0,0 +1,29 @@ | |||||||
|  | package task | ||||||
|  |  | ||||||
|  | import ( | ||||||
|  | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/logs" | ||||||
|  | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/models" | ||||||
|  | ) | ||||||
|  |  | ||||||
|  | // PlanAnalysisTask 用于在任务执行队列中触发一个plan的执行 | ||||||
|  | // 该任务会解析plan生成扁平化的待执行任务表, 并将任务列表插入任务执行队列 | ||||||
|  | // 该任务会预写入plan所有待执行任务的执行日志 | ||||||
|  | // 每个plan执行完毕时 或 创建plan时 都应该重新创建一个 PlanAnalysisTask 以便触发下次plan执行 | ||||||
|  | // 更新plan后应当更新对应 PlanAnalysisTask | ||||||
|  | type PlanAnalysisTask struct { | ||||||
|  | } | ||||||
|  |  | ||||||
|  | func (p *PlanAnalysisTask) Execute() error { | ||||||
|  | 	//TODO implement me | ||||||
|  | 	panic("implement me") | ||||||
|  | } | ||||||
|  |  | ||||||
|  | func (p *PlanAnalysisTask) ParseParams(logger *logs.Logger, claimedLog *models.TaskExecutionLog) error { | ||||||
|  | 	//TODO implement me | ||||||
|  | 	panic("implement me") | ||||||
|  | } | ||||||
|  |  | ||||||
|  | func (p *PlanAnalysisTask) OnFailure(executeErr error) { | ||||||
|  | 	//TODO implement me | ||||||
|  | 	panic("implement me") | ||||||
|  | } | ||||||
| @@ -6,17 +6,13 @@ import ( | |||||||
| 	"sync" | 	"sync" | ||||||
| 	"time" | 	"time" | ||||||
|  |  | ||||||
|  | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/logs" | ||||||
| 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/models" | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/models" | ||||||
| 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/repository" | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/repository" | ||||||
| 	"github.com/panjf2000/ants/v2" | 	"github.com/panjf2000/ants/v2" | ||||||
| 	"gorm.io/gorm" | 	"gorm.io/gorm" | ||||||
| ) | ) | ||||||
|  |  | ||||||
| // Logger 定义了调度器期望的日志接口,方便替换为项目中的日志组件 |  | ||||||
| type Logger interface { |  | ||||||
| 	Printf(format string, v ...interface{}) |  | ||||||
| } |  | ||||||
|  |  | ||||||
| // ProgressTracker 在内存中跟踪计划的执行状态,包括进度和执行锁 | // ProgressTracker 在内存中跟踪计划的执行状态,包括进度和执行锁 | ||||||
| type ProgressTracker struct { | type ProgressTracker struct { | ||||||
| 	mu             sync.Mutex | 	mu             sync.Mutex | ||||||
| @@ -83,11 +79,12 @@ func (t *ProgressTracker) GetRunningPlanIDs() []uint { | |||||||
|  |  | ||||||
| // Scheduler 是核心的、持久化的任务调度器 | // Scheduler 是核心的、持久化的任务调度器 | ||||||
| type Scheduler struct { | type Scheduler struct { | ||||||
| 	logger          Logger | 	logger          *logs.Logger | ||||||
| 	pollingInterval time.Duration | 	pollingInterval time.Duration | ||||||
| 	workers         int | 	workers         int | ||||||
| 	pendingTaskRepo repository.PendingTaskRepository | 	pendingTaskRepo repository.PendingTaskRepository | ||||||
| 	progressTracker *ProgressTracker | 	progressTracker *ProgressTracker | ||||||
|  | 	taskFactory     func(taskType models.TaskType) Task // 调度器需要注入一个任务工厂,用于创建任务实例 | ||||||
|  |  | ||||||
| 	pool   *ants.Pool // 使用 ants 协程池来管理并发 | 	pool   *ants.Pool // 使用 ants 协程池来管理并发 | ||||||
| 	wg     sync.WaitGroup | 	wg     sync.WaitGroup | ||||||
| @@ -96,7 +93,7 @@ type Scheduler struct { | |||||||
| } | } | ||||||
|  |  | ||||||
| // NewScheduler 创建一个新的调度器实例 | // NewScheduler 创建一个新的调度器实例 | ||||||
| func NewScheduler(pendingTaskRepo repository.PendingTaskRepository, logger Logger, interval time.Duration, numWorkers int) *Scheduler { | func NewScheduler(pendingTaskRepo repository.PendingTaskRepository, taskFactory func(taskType models.TaskType) Task, logger *logs.Logger, interval time.Duration, numWorkers int) *Scheduler { | ||||||
| 	ctx, cancel := context.WithCancel(context.Background()) | 	ctx, cancel := context.WithCancel(context.Background()) | ||||||
| 	return &Scheduler{ | 	return &Scheduler{ | ||||||
| 		pendingTaskRepo: pendingTaskRepo, | 		pendingTaskRepo: pendingTaskRepo, | ||||||
| @@ -104,6 +101,7 @@ func NewScheduler(pendingTaskRepo repository.PendingTaskRepository, logger Logge | |||||||
| 		pollingInterval: interval, | 		pollingInterval: interval, | ||||||
| 		workers:         numWorkers, | 		workers:         numWorkers, | ||||||
| 		progressTracker: NewProgressTracker(), | 		progressTracker: NewProgressTracker(), | ||||||
|  | 		taskFactory:     taskFactory, | ||||||
| 		ctx:             ctx, | 		ctx:             ctx, | ||||||
| 		cancel:          cancel, | 		cancel:          cancel, | ||||||
| 	} | 	} | ||||||
| @@ -111,9 +109,9 @@ func NewScheduler(pendingTaskRepo repository.PendingTaskRepository, logger Logge | |||||||
|  |  | ||||||
| // Start 启动调度器,包括初始化协程池和启动主轮询循环 | // Start 启动调度器,包括初始化协程池和启动主轮询循环 | ||||||
| func (s *Scheduler) Start() { | func (s *Scheduler) Start() { | ||||||
| 	s.logger.Printf("任务调度器正在启动,工作协程数: %d...", s.workers) | 	s.logger.Warnf("任务调度器正在启动,工作协程数: %d...", s.workers) | ||||||
| 	pool, err := ants.NewPool(s.workers, ants.WithPanicHandler(func(err interface{}) { | 	pool, err := ants.NewPool(s.workers, ants.WithPanicHandler(func(err interface{}) { | ||||||
| 		s.logger.Printf("[严重] 任务执行时发生 panic: %v", err) | 		s.logger.Errorf("[严重] 任务执行时发生 panic: %v", err) | ||||||
| 	})) | 	})) | ||||||
| 	if err != nil { | 	if err != nil { | ||||||
| 		panic("初始化协程池失败: " + err.Error()) | 		panic("初始化协程池失败: " + err.Error()) | ||||||
| @@ -122,16 +120,16 @@ func (s *Scheduler) Start() { | |||||||
|  |  | ||||||
| 	s.wg.Add(1) | 	s.wg.Add(1) | ||||||
| 	go s.run() | 	go s.run() | ||||||
| 	s.logger.Printf("任务调度器已成功启动") | 	s.logger.Warnf("任务调度器已成功启动") | ||||||
| } | } | ||||||
|  |  | ||||||
| // Stop 优雅地停止调度器 | // Stop 优雅地停止调度器 | ||||||
| func (s *Scheduler) Stop() { | func (s *Scheduler) Stop() { | ||||||
| 	s.logger.Printf("正在停止任务调度器...") | 	s.logger.Warnf("正在停止任务调度器...") | ||||||
| 	s.cancel()       // 1. 发出取消信号,停止主循环 | 	s.cancel()       // 1. 发出取消信号,停止主循环 | ||||||
| 	s.wg.Wait()      // 2. 等待主循环完成 | 	s.wg.Wait()      // 2. 等待主循环完成 | ||||||
| 	s.pool.Release() // 3. 释放 ants 池 (等待所有已提交的任务执行完毕) | 	s.pool.Release() // 3. 释放 ants 池 (等待所有已提交的任务执行完毕) | ||||||
| 	s.logger.Printf("任务调度器已安全停止") | 	s.logger.Warnf("任务调度器已安全停止") | ||||||
| } | } | ||||||
|  |  | ||||||
| // run 是主轮询循环,负责从数据库认领任务并提交到协程池 | // run 是主轮询循环,负责从数据库认领任务并提交到协程池 | ||||||
| @@ -157,7 +155,7 @@ func (s *Scheduler) claimAndSubmit() { | |||||||
| 	claimedLog, pendingTask, err := s.pendingTaskRepo.ClaimNextAvailableTask(runningPlanIDs) | 	claimedLog, pendingTask, err := s.pendingTaskRepo.ClaimNextAvailableTask(runningPlanIDs) | ||||||
| 	if err != nil { | 	if err != nil { | ||||||
| 		if !errors.Is(err, gorm.ErrRecordNotFound) { | 		if !errors.Is(err, gorm.ErrRecordNotFound) { | ||||||
| 			s.logger.Printf("认领任务时发生错误: %v", err) | 			s.logger.Errorf("认领任务时发生错误: %v", err) | ||||||
| 		} | 		} | ||||||
| 		// gorm.ErrRecordNotFound 说明没任务要执行 | 		// gorm.ErrRecordNotFound 说明没任务要执行 | ||||||
| 		return | 		return | ||||||
| @@ -171,7 +169,7 @@ func (s *Scheduler) claimAndSubmit() { | |||||||
| 			s.processTask(claimedLog) | 			s.processTask(claimedLog) | ||||||
| 		}) | 		}) | ||||||
| 		if err != nil { | 		if err != nil { | ||||||
| 			s.logger.Printf("向协程池提交任务失败: %v", err) | 			s.logger.Errorf("向协程池提交任务失败: %v", err) | ||||||
| 			// 提交失败,必须释放刚刚获取的锁 | 			// 提交失败,必须释放刚刚获取的锁 | ||||||
| 			s.progressTracker.Unlock(claimedLog.PlanExecutionLogID) | 			s.progressTracker.Unlock(claimedLog.PlanExecutionLogID) | ||||||
| 			// 同样需要将任务安全放回 | 			// 同样需要将任务安全放回 | ||||||
| @@ -185,7 +183,7 @@ func (s *Scheduler) claimAndSubmit() { | |||||||
|  |  | ||||||
| // handleRequeue 同步地、安全地将一个无法立即执行的任务放回队列。 | // handleRequeue 同步地、安全地将一个无法立即执行的任务放回队列。 | ||||||
| func (s *Scheduler) handleRequeue(planExecutionLogID uint, taskToRequeue *models.PendingTask) { | func (s *Scheduler) handleRequeue(planExecutionLogID uint, taskToRequeue *models.PendingTask) { | ||||||
| 	s.logger.Printf("计划 %d 正在执行,任务 %d (TaskID: %d) 将等待并重新入队...", planExecutionLogID, taskToRequeue.ID, taskToRequeue.TaskID) | 	s.logger.Warnf("计划 %d 正在执行,任务 %d (TaskID: %d) 将等待并重新入队...", planExecutionLogID, taskToRequeue.ID, taskToRequeue.TaskID) | ||||||
|  |  | ||||||
| 	// 1. 阻塞式地等待,直到可以获取到该计划的锁。 | 	// 1. 阻塞式地等待,直到可以获取到该计划的锁。 | ||||||
| 	s.progressTracker.Lock(planExecutionLogID) | 	s.progressTracker.Lock(planExecutionLogID) | ||||||
| @@ -193,17 +191,30 @@ func (s *Scheduler) handleRequeue(planExecutionLogID uint, taskToRequeue *models | |||||||
|  |  | ||||||
| 	// 2. 在持有锁的情况下,将任务安全地放回队列。 | 	// 2. 在持有锁的情况下,将任务安全地放回队列。 | ||||||
| 	if err := s.pendingTaskRepo.RequeueTask(taskToRequeue); err != nil { | 	if err := s.pendingTaskRepo.RequeueTask(taskToRequeue); err != nil { | ||||||
| 		s.logger.Printf("[严重] 任务重新入队失败, 原始PendingTaskID: %d, 错误: %v", taskToRequeue.ID, err) | 		s.logger.Errorf("[严重] 任务重新入队失败, 原始PendingTaskID: %d, 错误: %v", taskToRequeue.ID, err) | ||||||
| 		return | 		return | ||||||
| 	} | 	} | ||||||
|  |  | ||||||
| 	s.logger.Printf("任务 (原始ID: %d) 已成功重新入队,并已释放计划 %d 的锁。", taskToRequeue.ID, planExecutionLogID) | 	s.logger.Warnf("任务 (原始ID: %d) 已成功重新入队,并已释放计划 %d 的锁。", taskToRequeue.ID, planExecutionLogID) | ||||||
| } | } | ||||||
|  |  | ||||||
| // processTask 处理单个任务的逻辑 (当前为占位符) | // processTask 处理单个任务的逻辑 (当前为占位符) | ||||||
| func (s *Scheduler) processTask(claimedLog *models.TaskExecutionLog) { | func (s *Scheduler) processTask(claimedLog *models.TaskExecutionLog) { | ||||||
| 	s.logger.Printf("开始处理任务, 日志ID: %d, 任务ID: %d, 任务名称: %s", | 	s.logger.Warnf("开始处理任务, 日志ID: %d, 任务ID: %d, 任务名称: %s", | ||||||
| 		claimedLog.ID, claimedLog.TaskID, claimedLog.Task.Name) | 		claimedLog.ID, claimedLog.TaskID, claimedLog.Task.Name) | ||||||
| 	time.Sleep(2 * time.Second) // 模拟任务执行 |  | ||||||
| 	s.logger.Printf("完成任务, 日志ID: %d", claimedLog.ID) | 	task := s.taskFactory(claimedLog.Task.Type) | ||||||
|  | 	if err := task.ParseParams(s.logger, claimedLog); err != nil { | ||||||
|  | 		s.logger.Errorf("[严重] 任务参数解析失败, 日志ID: %d, 错误: %v", claimedLog.ID, err) | ||||||
|  | 		return | ||||||
|  | 	} | ||||||
|  |  | ||||||
|  | 	if err := task.Execute(); err != nil { | ||||||
|  | 		s.logger.Errorf("[严重] 任务执行失败, 日志ID: %d, 错误: %v", claimedLog.ID, err) | ||||||
|  |  | ||||||
|  | 		task.OnFailure(err) | ||||||
|  | 		return | ||||||
|  | 	} | ||||||
|  |  | ||||||
|  | 	s.logger.Warnf("完成任务, 日志ID: %d", claimedLog.ID) | ||||||
| } | } | ||||||
|   | |||||||
| @@ -1,5 +1,10 @@ | |||||||
| package task | package task | ||||||
|  |  | ||||||
|  | import ( | ||||||
|  | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/logs" | ||||||
|  | 	"git.huangwc.com/pig/pig-farm-controller/internal/infra/models" | ||||||
|  | ) | ||||||
|  |  | ||||||
| // Task 定义了所有可被调度器执行的任务必须实现的接口。 | // Task 定义了所有可被调度器执行的任务必须实现的接口。 | ||||||
| type Task interface { | type Task interface { | ||||||
| 	// Execute 是任务的核心执行逻辑。 | 	// Execute 是任务的核心执行逻辑。 | ||||||
| @@ -9,7 +14,7 @@ type Task interface { | |||||||
| 	Execute() error | 	Execute() error | ||||||
|  |  | ||||||
| 	// ParseParams 解析参数 | 	// ParseParams 解析参数 | ||||||
| 	ParseParams() error | 	ParseParams(logger *logs.Logger, claimedLog *models.TaskExecutionLog) error | ||||||
|  |  | ||||||
| 	// OnFailure 定义了当 Execute 方法返回错误时,需要执行的回滚或清理逻辑。 | 	// OnFailure 定义了当 Execute 方法返回错误时,需要执行的回滚或清理逻辑。 | ||||||
| 	// log: 任务执行的上下文。 | 	// log: 任务执行的上下文。 | ||||||
|   | |||||||
		Reference in New Issue
	
	Block a user