【Python】自动化编程之基础库 queue 库

大家好，欢迎来到IT知识分享网。

queue 简介

#python##python自学#

Python中的队列（Queue）是一种数据结构，用于在多线程编程中实现线程安全的数据访问。队列提供了一种缓存数据的机制，多个线程可以同时读写队列，但是只有一个线程可以修改队列的内容，从而保证线程安全。

queue 基本用法

Python的标准库中提供了多种队列实现，其中最常用的是queue模块。queue模块提供了以下几种队列实现：

Queue：这是最常用的队列实现，支持多个生产者和消费者，并且内部自动实现了同步机制，保证线程安全。

LifoQueue：后进先出（LIFO）队列实现，也就是栈。

PriorityQueue：支持优先级排序的队列实现，其中元素可以是任意可比较类型。

SimpleQueue：是一个轻量级队列，仅用于在单个生产者和单个消费者之间传递消息。

这些队列实现都提供了常见的队列操作方法，例如put()（向队列中添加元素）、get()（从队列中取出元素）、empty()（判断队列是否为空）和full()（判断队列是否已满）等。

以下是一个使用Queue模块实现多线程生产者-消费者模式的例子：

import threading import queue q = queue.Queue() def producer(): for i in range(10): q.put(i) print(f"Produced {i}") def consumer(): while True: item = q.get() if item is None: break print(f"Consumed {item}") q.task_done() threads = [] for target in [producer, consumer, consumer]: t = threading.Thread(target=target) t.start() threads.append(t) for t in threads: t.join() q.join() 

在上述示例中，我们创建了一个Queue对象，并在producer函数中向队列中添加了一些元素。在两个consumer函数中，我们从队列中取出元素并进行消费。注意，在使用Queue模块时，我们需要调用q.task_done()方法来通知队列，当前取出的元素已被处理完毕。此外，在主线程中，我们调用了q.join()方法来等待所有元素都被处理完毕后再结束程序。

queue 高级用法

除了基本的队列操作外，Python的Queue模块还提供了一些高级用法，以便更好地控制队列的行为。下面是一些常见的高级用法：

import queue q = queue.Queue(maxsize=10) 

import queue q = queue.PriorityQueue() q.put((3, "High Priority")) q.put((1, "Highest Priority")) q.put((2, "Medium Priority")) while not q.empty(): print(q.get()[1]) 

在上述示例中，我们使用一个元组来表示队列中的元素，其中第一个元素是优先级，第二个元素是实际的数据。优先级越低的元素排在队列的后面，当我们从队列中取出元素时，优先级最高的元素首先被返回。

锁（Lock）是一种基本的同步原语，用于保护共享资源。可以使用Queue模块中的队列锁，来确保在队列上的所有操作都是线程安全的。

import queue import threading q = queue.Queue() lock = threading.Lock() def producer(): for i in range(10): with lock: q.put(i) print(f"Produced {i}") def consumer(): while True: with lock: if q.empty(): break item = q.get() print(f"Consumed {item}") q.task_done() threads = [] for target in [producer, consumer, consumer]: t = threading.Thread(target=target) t.start() threads.append(t) for t in threads: t.join() q.join() 

在上述示例中，我们使用了Python中的锁，即with语句，确保在向队列中添加或取出元素时，线程安全。

条件变量（Condition）是一种高级同步原语，它允许一个或多个线程等待特定条件的发生。可以使用Queue模块中的队列条件变量，来等待队列中的元素数量达到特定值或者队列被清空。

import queue import threading q = queue.Queue() condition = threading.Condition() def producer(): for i in range(10): with condition: q.put(i) print(f"Produced {i}") condition.notify() def consumer(): with condition: while True: if q.empty(): condition.wait() if q.empty(): break item = q.get() print(f"Consumed {item}") q.task_done() threads = [] for target in [producer, consumer, consumer]: t = threading.Thread(target=target) t.start() threads.append(t) for t in threads: t.join() q.join() 

在上述示例中，我们使用Python中的条件变量，即with语句，在队列为空时暂停消费者线程，当生产者向队列中添加元素时，通过notify()方法唤醒消费者线程。