Python爬虫是什么及怎么应用


本篇内容介绍了“Python爬虫是什么及怎么应用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。
原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做。互联网大数据时代,给予我们的是生活的便利以及海量数据爆炸式的出现在网络中。
过去,我们通过书籍、报纸、电视、广播或许信息,这些信息数量有限,且是经过一定的筛选,信息相对而言比较有效,但是缺点则是信息面太过于狭窄了。不对称的信息传导,以致于我们视野受限,无法了解到更多的信息和知识。
互联网大数据时代,我们突然间,信息获取自由了,我们得到了海量的信息,但是大多数都是无效的垃圾信息。
例如新浪微博,一天产生数亿条的状态更新,而在百度搜索引擎中,随意搜一条——减肥100,000,000条信息。
在如此海量的信息碎片中,我们如何获取对自己有用的信息呢?
答案是筛选!
通过某项技术将相关的内容收集起来,在分析删选才能得到我们真正需要的信息。
这个信息收集分析整合的工作,可应用的范畴非常的广泛,无论是生活服务、出行旅行、金融投资、各类制造业的产品市场需求等等……都能够借助这个技术获取更精准有效的信息加以利用。
网络爬虫技术,虽说有个诡异的名字,让能第一反应是那种软软的蠕动的免费云主机域名生物,但它却是一个可以在虚拟世界里,无往不前的利器。我们平时都说Python爬虫,其实这里可能有个误解,爬虫并不是Python独有的,可以做爬虫的语言有很多例如:PHP,JAVA,C#,C++,Python,选择Python做爬虫是因为Python相对来说比较简单,而且功能比较齐全。
首先我们需要下载python,我下载的是官方最新的版本 3.8.3
其次我们需要一个运行Python的环境,我用的是pychram也可以从官方下载,
我们还需要一些库来支持爬虫的运行(有些库Python可能自带了)差不多就是这几个库了,良心的我已经在后面写好注释了(爬虫运行过程中,不一定就只需要上面几个库,看你爬虫的一个具体写法了,反正需要库的话我们可以直接在setting里面安装)我做的是爬取豆瓣评分电影Top250的爬虫代码
我们要爬取的就是这个网站:https://movie.douban.com/top250这边我已经爬取完毕,给大家看下效果图,我是将爬取到的内容存到xls中我们的爬取的内容是:电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,相关信息。先把代码发放上来,然后我根据代码逐步解析(.*?)下面我根据代码,从下到下给大家讲解分析一遍-– codeing = utf-8 –-,开头的这个是设置编码为utf-8 ,写在开头,防止乱码。然后下面 import就是导入一些库,做做准备工作,(sqlite3这库我并没有用到所以我注释起来了)。
下面一些find开头的是正则表达式,是用来我们筛选信息的。
(正则表达式用到 re 库,也可以不用正则表达式,不是必须的。)
大体流程分三步走:1. 爬取网页
2.逐一解析数据
3. 保存网页先分析流程1,爬取网页,baseurl 就是我们要爬虫的网页网址,往下走,调用了 getData(baseurl) ,
我们来看 getData方法这段大家可能看不懂,其实是这样的:
因为电影评分Top250,每个页面只显示25个,所以我们需要访问页面10次,25*10=250。我们只要在baseurl后面加上数字就会跳到相应页面,比如i=1时https://movie.douban.com/top250?start=25我放上超链接,大家可以点击看看会跳到哪个页面,毕竟实践出真知。然后又调用了askURL来请求网页,这个方法是请求网页的主体方法,
怕大家翻页麻烦,我再把代码复制一遍,让大家有个直观感受这个askURL就是用来向网页发送请求用的,那么这里就有老铁问了,为什么这里要写个head呢?这是因为我们要是不写的话,访问某些网站的时候会被认出来爬虫,显示错误,错误代码这是一个梗大家可以百度下,418 I’m a teapotThe HTTP 418 I’m a teapot client error response code indicates that
the server refuses to brew coffee because it is a teapot. This error
is a reference to Hyper Text Coffee Pot Control Protocol which was an
April Fools’ joke in 1998.我是一个茶壶所以我们需要 “装” ,装成我们就是一个浏览器,这样就不会被认出来,
伪装一个身份。来,我们继续往下走,这段就是我们读取网页的内容,设置编码为utf-8,目的就是为了防止乱码。
访问成功后,来到了第二个流程:2.逐一解析数据解析数据这里我们用到了 BeautifulSoup(靓汤) 这个库,这个库是几乎是做爬虫必备的库,无论你是什么写法。下面就开始查找符合我们要求的数据,用BeautifulSoup的方法以及 re 库的
正则表达式去匹配,(.*?)匹配到符合我们要求的数据,然后存进 dataList , 所以 dataList 里就存放着我们需要的数据了。最后一个流程:3.保存数据保存数据可以选择保存到 xls 表, 需要(xlwt库支持)
也可以选择保存数据到 sqlite数据库, 需要(sqlite3库支持)这里我选择保存到 xls 表 ,这也是为什么我注释了一大堆代码,注释的部分就是保存到 sqlite 数据库的代码,二者选一就行保存到 xls 的主体方法是 saveData (下面的saveData2DB方法是保存到sqlite数据库):创建工作表,创列(会在当前目录下创建),然后把 dataList里的数据一条条存进去就行。最后运作成功后,会在左侧生成这么一个文件打开之后看看是不是我们想要的结果“Python爬虫是什么及怎么应用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注百云主机网站,小编将为大家输出更多高质量的实用文章!

相关推荐: creat react app报错如何解决

今天小编给大家分享一下creat react app报错如何解决的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。 creat react app报…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 03/20 21:46
下一篇 03/20 21:46

相关推荐