admin 管理员组文章数量: 887021
2024年1月11日发(作者:java tostring方法)
python爬虫框架有哪些
Python是一门优雅的〔编程〕语言,被广泛应用在Web开发、〔游戏开发〕、〔人工智能〕、云计算开发、〔大数据〕开发、数据分析、科学运算、爬虫、自动化运维、自动化测试等领域,Python在各领域的应用最方便的就是使用框架,可以让程序员以更少的代码实现自定义功能,还可以将更多的精力集中在业务逻辑上,更加的轻松便利!下面是我为您整理的关于〔python〕爬虫框架有哪些,希望对你有所帮助。
2018年主流的Python爬虫框架有以下5种:
Django是一个开源的Web应用框架,由Python写成,支持许多数据库引擎,可以让Web开发变得迅速和可扩大,并会不断的版本更新以匹配Python最新版本,如果是新手程序员,可以从这个框架入手。
Py
CherryPy是一种用于Python的、简单而非常有用的Web框架,其主要作用是以尽可能少的操作将Web服务器与Python代码连接,其功能包括内置的分析功能、灵活的插件系统以及一次运行多个
第 1 页 共 8 页
HTTP服务器的功能,可与运行在最新版本的Python、Jython、Android上。
2py
web2py 是一个为Python语言提供的全功能Web应用框架,旨在敏捷快速的开发Web应用,具有快速、安全以及可移植的数据库驱动的应用,兼容 Google App Engine。
ears
TurboGears可以快速实现Web应用程序开发,富含丰富的特别性能,可以解决更多的框架领域问题,从简单到复杂的项目都可以开发,并具有实时的多数据库支持和灵活的ORM,简单的文档和最小的设置使它成为一个理想的使用框架。
Pylons是一个开源的Web应用框架,使用Python语言编写,它对WSGI标准进行了扩大应用,提升了重用性且将功能分割到独立的模块中,而且提供了在线调试器,易于错误跟踪!
爬虫框架有哪些
多想写网络爬虫的同学会关怀目前有哪些好用的爬虫框架,于是我就搜集了一些一些爬虫框架的简单介绍供大家参照:
1、神箭手云爬虫框架
是一个免费的网络爬虫框架,为开发者提供成套的开发教程和开发工具,为企业提供专业化的数据抓取、数据实时监控和数据
第 2 页 共 8 页
分析服务。
最大的特点是一站式服务,通过底层框架简化了网络爬虫开发难度,而且提供了丰富的开源网络爬虫资源。
2、Nutch
这是一个开源Java 实现的搜索引擎,提供了我们运行自己的搜索引擎所必须的全部工具,包括全文搜索和Web爬虫。Nutch目前最新的版本为version v2.3。
3、Crawler4j
Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。
4、WebMagic
WebMagic是一个简单灵活的Java爬虫框架。
它的特性包括:简单的API,可快速上手;模块化的结构,可轻松扩大;提供多线程和分布式支持
5、Heritrix
这是一个由 〔java〕 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它优良的可扩大性,方便用户实现自己的抓取逻辑。
用python爬虫框架Scrapy爬取
Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy
第 3 页 共 8 页
用途广泛,可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架,任何人都可以依据必须求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
Scratch,是抓取的意思,这个Python的爬虫框架叫Scrapy,大概也是这个意思吧,就叫它:小刮刮吧。
Scrapy主要包括了以下组件:
引擎(Scrapy)
用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader)
用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders)
爬虫是主要干活的, 用于从特定的网页中提取自己必须要的信
第 4 页 共 8 页
息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy持续抓取下一个页面
项目管道(Pipeline)
负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不必须要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares)
介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。
Scrapy运行流程大概如下:
引擎从调度器中取出一个链接(URL)用于接下来的抓取
引擎把URL封装成一个请求(Request)传给下载器
下载器把资源下载下来,并封装成应答包(Response)
爬虫解析Response
解析出实体(Item),则交给实体管道进行进一步的处理
第 5 页 共 8 页
解析出的是链接(URL),则把URL交给调度器等待抓取
因为python3并不能完全支持Scrapy,因此为了完美运行Scrapy,我们使用python2.7来编写和运行Scrapy。
python爬虫架构
(一)、了解网络爬虫之前,我们先来了解下搜索引擎的工作原理:
做过网页的人都明白,网络上HTML文档使用超链接连接了以来,把这些虚拟化的东西可以形象成一张网,也就是万维网。当你在搜索引擎中输入关键字的时候,就相当于放出了很多的网络爬虫。别忘了,你的〔电脑〕正处于万维网的一个节点(一个网站),而你输入的关键字正指定了一系列的网站。也就是所说的url,而关键字与url的索引,正是有爬虫建立的。这些索引经过了一系列的排序算法才浮现在我们的面前。简单的说,就是我们输入关键字,放出爬虫,爬虫将关键字与相对的网站建立索引,然后经过复杂算法排序浮现出来。只不过这些索引有的早就已经建立完成了,所以我们输入关键字后才会那么快出来网站。
(二)、知道了网络爬虫的概念,再来了解下网络爬虫的原理。知道了这些大致的原理,我们才会在写爬虫的时候有全局观念。
上面所说,url对应了一个网页,既然是网页,就会有相应的HTML页面。网络爬虫会把这个HTML页面全部抓下来,也页面是字符串。也就是说网络爬虫会把字符串抓下来,然后解析这些字
第 6 页 共 8 页
符串,有的字符串解析成图片,有的解析成电影的网址(也就是我们所说的种子!),总而言之会把文本信息提取出来。而这些文本信息储存在你的电脑运行内存里,并非磁盘,如果想要留下来,只必须要储存,就可以把相应的文本信息存下来,这就是爬虫最可怕的地方。因为爬取url和解析文本的时间极短,比你点击鼠标的时间短得多,简单来说,网速正常的状况下,单线程的爬虫,一分钟下载数百张的图片不是问题。
(三)、我们来了解下为何使用python来写爬虫:
首先,python是脚本语言,这一点是C,C++,java等比不上的,最简单来说,python执行不必须要编译,写一行执行一行,知道有错误的地方才会停止运行。它不必须要申请太大的进程空间,所以运行效果很好。
其次,python有很强大的库,只要import,就可以运行,不必须要与库函数再进行链接,这一点C,C++比不上。当然C、C++也有python没有的优点,因为今天python主场,不再讨论。
最后,python书写的语法很简单,正则表达式更是简介到不可思议,她还有很好的缩进,使得再多的代码也会显得简洁明了。
(四)、写python前,我们必须要了解下python如何访问网络。
使用过python的人都了解,python自带了很强大的库,而这些库里面又包涵很多函数模块。python访问互联网用到的库就是urllib,而请求访问网络的是t模块。
第 7 页 共 8 页
第 8 页 共 8 页
版权声明:本文标题:python爬虫框架有哪些 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://www.freenas.com.cn/jishu/1704945921h467584.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论