在python中,我们会遇到处理大量文件数据的时候。如果我们用for循环顺序处理,处理文件数据效率额很低,这时我们就可以使用我们的多线程来处理多个超大的文件数据。
第一步:导入import threading 模块
importthreading
第二步:使用多线程可以同时打开并运行多个数据
#!/usr/bin/envpython #encoding=utf-8 importthreading importtime fromQueueimportQueue defreadFile(): file_object=open('/opt/dev/python/list.dat') globalqueue forlineinfile_object: queue.put(line) classConsumer(threading.Thread): defrun(self): globalqueue whilequeue.qsize()>0: msg=self.name+'消费了'+queue.get() printmsg time.sleep(0.01) queue=Queue() defmain(): readFile() foriinrange(5): c=Consumer() c.start() if__name__=='__main__': main()
以上就是用python多线程处理大量数据的演示代码,如果有需要处理大量文件的小伙伴,可以尝试使用多线程,会方便很多哦~
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)