Python Queue模块

Admin 2019-04-28 15:33:43 Python

Queue.Queue类是一个队列的同步实现。

队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

import Queue

queue = Queue.Queue(maxsize = 10) # 创建队列

将一个值放入队列中

queue.put(20)

调用队列对象的put()方法在队尾插入一个项目。

put()有两个参数,第一个item为必需的,为插入项目的值;第二个block为可选参数,默认为1。如果队列当前为空且block为1,put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0,put方法将引发Full异常。


将一个值从队列中取出

queue.get()

调用队列对象的get()方法从队头删除并返回一个项目。

可选参数为block,默认为True。如果队列为空且block为True,get()就使调用线程暂停,直至有项目可用。如果队列为空且block为False,队列将引发Empty异常。


Python Queue模块有三种队列:

1、Python Queue模块的FIFO队列先进先出。

2、LIFO类似于堆。即先进后出。

3、还有一种是优先级队列级别越低越先出来。 


针对这三种队列分别有三个构造函数:

1、class Queue.Queue(maxsize) FIFO 

2、class Queue.LifoQueue(maxsize) LIFO 

3、class Queue.PriorityQueue(maxsize) 优先级队列 


常用方法:

Queue.qsize() 返回队列的大小 

Queue.empty() 如果队列为空,返回True,反之False 

Queue.full() 如果队列满了,返回True,反之False

Queue.full 与 maxsize 大小对应 

Queue.get([block[, timeout]])获取队列,timeout等待时间 

Queue.get_nowait() 相当Queue.get(False) 非阻塞 

Queue.put(item) 写入队列,timeout等待时间 

Queue.put_nowait(item) 相当Queue.put(item, False)

Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号

Queue.join() 实际上意味着等到队列为空,再执行别的操作


实例:

#!/usr/bin/env python
#-*- coding:utf-8 -*-

import Queue
import threading
import time
import random

queue = Queue.Queue(0) #当有多个线程共享一个东西的时候就可以用它了
NUM_WORKERS = 3

class MyThread(threading.Thread):
    def __init__(self,input,worktype):
       self._job = input
       self._work_type = worktype
       threading.Thread.__init__(self)
       
    def run(self):
       while True:
           if self._job.qsize() > 0:
               self._process_job(self._jobq.get(),self._work_type)
           else:break
    def _process_job(self, job, worktype):
       doJob(job,worktype)
       
def doJob(job, worktype):
   time.sleep(random.random() * 3)
   print"doing",job," worktype ",worktype
    
if __name__ == '__main__':
    print "开始...."
    for i in range(NUM_WORKERS * 2):
       q.put(i) #放入到任务队列中去
       
    print "队列大小:", q.qsize()
    
    for x inrange(NUM_WORKERS):
       MyThread(q,x).start()


Q&A:

1、当队列满时会抛出 exception Queue.Full 的异常。

2、无法捕获 exception Queue.Empty 的异常

while True:
......
try:
  data = q.get()
except Queue.Empty:
  break

预想是队列为空时,退出循环,但实际运行起来,却陷入了死循环。这个问题是因为阻塞方式读取数据,队列为空时,不会抛出 except Queue.Empty ,而是进入阻塞直至超时。 加上block=False 的参数,就可以了。

相关文章
最新推荐