Python多线程爬虫举例分析

这篇文章主要介绍“Python多线程爬虫举例分析”，在日常操作中，相信很多人在Python多线程爬虫举例分析问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Python多线程爬虫举例分析”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！当程序在运行时，就会创建包含代码和状态的进程。这些进程通过一个或者多个CPU来执行。不过同一时刻每个CPU只会执行一个进程，然后在不同进程之间快速切换，这样就感觉多个程序同时运行。同理，在一个进程中，程序的执行也是在不同线程间进行切换的，每个线程执行程序的不同部分。这就意味着一个线程在等待执行时，进程会切换到其他的线程执行，这样可以避免浪费CPU时间。在Python标准库中，使用threading模块来支持多线程。Threading模块对thread进行了封装，绝大数情况，只需要使用threading这个模块。使用起来也非常简单：线程的创建很简单，如下：本质是继承threading.Thread，重构Thread类中的run方法使用setDaemon(True)把子线程都变成主线程的守护线程，因此当主线程结束后，子线程也会随之结束。也就是香港云主机说，主线程不等待其守护线程执行完成再去关闭。结果：你好! pythonend当主线程结束后，守护线程不管有没有结束，都自动结束。使用join方法，让主线程等待子线程执行。如下：结果：你好! python你好! 青灯end以上是多线程的几种简单的用法，那么threading模块还有做什么呢？请往下看。其实在介绍diskcache缓存的时候也介绍过锁的相关内容，其实不难理解为啥多线程中也会出现锁的概念，当没有保护共享资源时，多个线程在处理同一资源时，可能会出现脏数据，造成不可以预期的结果，即线程不安全。如下示例出现不可预期的结果：理论上的结果为0，但是每次运行的结果可能都是不一样的。所以这个时候就需要锁去处理了，如下：结果值与理论值是一致的。锁的意义在于每次只允许一个线程去修改同一数据，以保证线程安全。BoundedSemaphore类，同时允许一定数量的线程更改数据，如下：结果为：每5次打印停顿一下，直到结束。说到多线程，不得不提一下GIL。GIL的全称是Global Interpreter Lock(全局解释器锁)，这是python设计之初，为了数据安全所做的决定。某个线程想要执行，必须先拿到GIL，并且在一个进程中，GIL只有一个。只有拿到GIL的线程，才能进入CPU执行。GIL只在cpython中才有，因为cpython调用的是c语言的原生线程，所以他不能直接操作cpu，只能利用GIL保证同一时间只能有一个线程拿到数据。而在pypy和jpython中是没有GIL的。到此，关于“Python多线程爬虫举例分析”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注开发云网站，小编会继续努力为大家带来更多实用的文章！

相关推荐: SpringCloud中怎么利用Feign传输date类型参数

SpringCloud中怎么利用Feign传输date类型参数，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。请看下边这段代码执行结果如下当前时间是2019年7月22日8点48分，C…