【新手求救】scrapy：根据xpath爬取爬虫获取的结果为 - 跟谁学
搜索你想学的科目、老师试试，例如“绘画”搜索吉安
&&【新手求救】scrapy：根据xpath爬取爬虫获取的结果为python新手最近在学习scrapy爬取网站，就先找一个网站爬取一些东西 爬取网站为： http://www.acfun.tv/a/ac2643312 我想爬取的内容为评论，就爬取评论作者reviewer 和 评论内容content 可是我print
sites的内容发现为空
[] sites = sel.xpath('//div[@id="area-comment-inner"]/div/div') 出现错误
DEBUG: Crawled (200)
(referer: None) 我想请教下各位 xpath 格式是否正确，该怎么样改，谢谢！ 还有请求各位给我一些关于学习Python爬虫在方向和方法上一点指引！谢谢各位！ class AcfunSpider(Spider):
name = "acfun"
allowed_domains = ["acfun.tv"]
start_urls = [
"http://www.acfun.tv/a/ac2643312"
def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//div[@id="area-comment-inner"]/div/div')
print sites
items = []
for site in sites:
item = W3SchoolItem()
reviewer= site.xpath('div[2]/text()').extract()
content= site.xpath('div[1]/a/text()').extract()
item['reviewer'] = [r.encode('utf-8') for r in reviewer]
item['content'] = [c.encode('utf-8') for c in content]
items.append(item)
log.msg("Appending item...",level='INFO')
log.msg("Append done.",level='INFO')
return items 通过Firefox的xpath checker检验抓取的内容发现xpath也没问题，是正确 的，但是为什么不对呢？？pylinpylin
有人回答吗?
出现错误 DEBUG: Crawled (200) &GET
(referer: None)这不是错误，是调试信息。。。
评论里面的有些html不规则导致的，往它们的父类找吧，找到一个所有评论html都有的节点，然后用正则匹配取出来吧，18条数据中第一条没有就是那个text()匹配不到，别急着text()就取数据了
相关问题大家都在看最新提问
关注我们官方微信关于跟谁学服务支持帮助中心| 漏洞检测 |
| 隐藏捆绑 |
Scrapy框架学习
使用Scarpy优豆瓣爬虫的抓取 制定下一步学习目标 初学Scrapy, 如有翻译不当, 或者代码错误, 请指出, 非常感谢 1. Scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的
使用Scarpy优豆瓣爬虫的抓取
制定下一步学习目标
初学Scrapy, 如有翻译不当, 或者代码错误, 请指出, 非常感谢
1. Scrapy简介
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试
Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下
Scrapy主要包括了以下组件：
引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler): 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader): 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
项目管道(Pipeline): 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares): 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares): 介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares): 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。
Scrapy运行流程大概如下：
首先，引擎从调度器中取出一个链接(URL)用于接下来的抓取
引擎把URL封装成一个请求(Request)传给下载器，下载器把资源下载下来，并封装成应答包(Response)
然后，爬虫解析Response
若是解析出实体（Item）,则交给实体管道进行进一步的处理。
若是解析出的是链接（URL）,则把URL交给Scheduler等待抓取
2. 安装Scrapy
使用以下命令:
sudo pip install virtualenv
#安装虚拟环境工具
virtualenv ENV
#创建一个虚拟环境目录
source ./ENV/bin/active
#激活虚拟环境
pip install Scrapy
#验证是否安装成功
cffi (0.8.6)
cryptography (0.6.1)
cssselect (0.9.1)
lxml (3.4.1)
pip (1.5.6)
pycparser (2.10)
pyOpenSSL (0.14)
queuelib (1.2.2)
Scrapy (0.24.4)
setuptools (3.6)
six (1.8.0)
Twisted (14.0.2)
w3lib (1.10.0)
wsgiref (0.1.2)
zope.interface (4.1.1)
更多虚拟环境的操作可以查看我的博文
3. Scrapy Tutorial
在抓取之前, 你需要新建一个Scrapy工程. 进入一个你想用来保存代码的目录，然后执行：
$ scrapy startproject tutorial
这个命令会在当前目录下创建一个新目录 tutorial, 它的结构如下:
├── scrapy.cfg
└── tutorial
├── __init__.py
├── items.py
├── pipelines.py
├── settings.py
└── spiders
└── __init__.py
这些文件主要是：
scrapy.cfg: 项目配置文件
tutorial/: 项目python模块, 之后您将在此加入代码
tutorial/items.py: 项目items文件
tutorial/pipelines.py: 项目管道文件
tutorial/settings.py: 项目配置文件
tutorial/spiders: 放置spider的目录
3.1. 定义Item
Items是将要装载抓取的数据的容器，它工作方式像 python 里面的字典，但它提供更多的保护，比如对未定义的字段填充以防止拼写错误
通过创建scrapy.Item类, 并且定义类型为 scrapy.Field 的类属性来声明一个Item.我们通过将需要的item模型化，来控制从 dmoz.org 获得的站点数据，比如我们要获得站点的名字，url 和网站描述，我们定义这三种属性的域。在 tutorial 目录下的 items.py 文件编辑
from scrapy.item import Item, Field
class DmozItem(Item):
# define the fields for your item here like:
name = Field()
description = Field()
url = Field()
3.2. 编写Spider
Spider 是用户编写的类, 用于从一个域（或域组）中抓取信息, 定义了用于下载的URL的初步列表, 如何跟踪链接，以及如何来解析这些网页的内容用于提取items。
要建立一个 Spider，继承 scrapy.Spider 基类，并确定三个主要的、强制的属性：
name：爬虫的识别名，它必须是唯一的，在不同的爬虫中你必须定义不同的名字.
start_urls：包含了Spider在启动时进行爬取的url列表。因此，第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。我们可以利用正则表达式定义和过滤需要进行跟进的链接。
parse()：是spider的一个方法。被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。这个方法负责解析返回的数据、匹配抓取的数据(解析为 item )并跟踪更多的 URL。
在 /tutorial/tutorial/spiders 目录下创建 dmoz_spider.py
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
def parse(self, response):
filename = response.url.split("/")[-2]
with open(filename, 'wb') as f:
f.write(response.body)
当前项目结构
├── scrapy.cfg
└── tutorial
├── __init__.py
├── items.py
├── pipelines.py
├── settings.py
└── spiders
├── __init__.py
└── dmoz_spider.py
到项目根目录, 然后运行命令:
$ scrapy crawl dmoz
(责任编辑：幽灵学院)
------分隔线----------------------------
下一篇：没有了
研究天文学的人每天都在做什么？程诚尽管题目所问的“都在做...
Python编程语言的发展简史...
Python使用类(class)和对象(object)，进行面向对象（object-...
原文： Python, Machine Learning, and Language Wars - A H...
在线教育也需要VR 树屋机构拟增添VR教学内容,一直以来在线教...
近日微软再次在向开源投出橄榄枝，PowerShell是面向Windows...
工作日：9:00-21:00
周　六：9:00-18:00
&&扫一扫关注幽灵学院零基础写python爬虫之使用Scrapy框架编写爬虫
投稿：hebedich
字体：[ ] 类型：转载 时间：
前面的文章我们介绍了Python爬虫框架Scrapy的安装与配置等基本资料，本文我们就来看看如何使用Scrapy框架方便快捷的抓取一个网站的内容，随便选个小站（dmoz.org）来示例吧
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。
首先先要回答一个问题。
问：把网站装进爬虫里，总共分几步？
答案很简单，四步：
新建项目 (Project)：新建一个新的爬虫项目
明确目标（Items）：明确你想要抓取的目标
制作爬虫（Spider）：制作爬虫开始爬取网页
存储内容（Pipeline）：设计管道存储爬取内容
好的，基本流程既然确定了，那接下来就一步一步的完成就可以了。
1.新建项目（Project）
在空目录下按住Shift键右击，选择“在此处打开命令窗口”，输入一下命令：
scrapy startproject tutorial&
其中，tutorial为项目名称。
可以看到将会创建一个tutorial文件夹，目录结构如下：
tutorial/&
&&& scrapy.cfg&
&&& tutorial/&
&&&&&&& __init__.py&
&&&&&&& items.py&
&&&&&&& pipelines.py&
&&&&&&& settings.py&
&&&&&&& spiders/&
&&&&&&&&&&& __init__.py&
&&&&&&&&&&& ...&
下面来简单介绍一下各个文件的作用：
scrapy.cfg：项目的配置文件
tutorial/：项目的Python模块，将会从这里引用代码
tutorial/items.py：项目的items文件
tutorial/pipelines.py：项目的pipelines文件
tutorial/settings.py：项目的设置文件
tutorial/spiders/：存储爬虫的目录
2.明确目标（Item）
在Scrapy中，items是用来加载抓取内容的容器，有点像Python中的Dic，也就是字典，但是提供了一些额外的保护减少错误。
一般来说，item可以用scrapy.item.Item类来创建，并且用scrapy.item.Field对象来定义属性（可以理解成类似于ORM的映射关系）。
接下来，我们开始来构建item模型（model）。
首先，我们想要的内容有：
名称（name）
链接（url）
描述（description）
修改tutorial目录下的items.py文件，在原本的class后面添加我们自己的class。
因为要抓dmoz.org网站的内容，所以我们可以将其命名为DmozItem：
# Define here the models for your scraped items&
# See documentation in:&
from scrapy.item import Item, Field&
class TutorialItem(Item):&
&&& # define the fields for your item here like:&
&&& # name = Field()&
class DmozItem(Item):&
&&& title = Field()&
&&& link = Field()&
&&& desc = Field()&
刚开始看起来可能会有些看不懂，但是定义这些item能让你用其他组件的时候知道你的 items到底是什么。
可以把Item简单的理解成封装好的类对象。
3.制作爬虫（Spider）
制作爬虫，总体分两步：先爬再取。
也就是说，首先你要获取整个网页的所有内容，然后再取出其中对你有用的部分。
Spider是用户自己编写的类，用来从一个域（或域组）中抓取信息。
他们定义了用于下载的URL列表、跟踪链接的方案、解析网页内容的方式，以此来提取items。
要建立一个Spider，你必须用scrapy.spider.BaseSpider创建一个子类，并确定三个强制的属性：
name：爬虫的识别名称，必须是唯一的，在不同的爬虫中你必须定义不同的名字。
start_urls：爬取的URL列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
parse()：解析的方法，调用的时候传入从每一个URL传回的Response对象作为唯一参数，负责解析并匹配抓取的数据(解析为item)，跟踪更多的URL。
这里可以参考宽度爬虫教程中提及的思想来帮助理解，教程传送：[Java] 知乎下巴第5集：使用HttpClient工具包和宽度爬虫。
也就是把Url存储下来并依此为起点逐步扩散开去，抓取所有符合条件的网页Url存储起来继续爬取。
下面我们来写第一只爬虫，命名为dmoz_spider.py，保存在tutorial\spiders目录下。
dmoz_spider.py代码如下：
from scrapy.spider import Spider&
class DmozSpider(Spider):&
&&& name = "dmoz"&
&&& allowed_domains = ["dmoz.org"]&
&&& start_urls = [&
&&&&&&& "",&
&&&&&&& ""&
&&& def parse(self, response):&
&&&&&&& filename = response.url.split("/")[-2]&
&&&&&&& open(filename, 'wb').write(response.body)&
allow_domains是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页。
从parse函数可以看出，将链接的最后两个地址取出作为文件名进行存储。
然后运行一下看看，在tutorial目录下按住shift右击，在此处打开命令窗口，输入：
scrapy crawl dmoz&
运行结果如图：
UnicodeDecodeError: 'ascii' codec can't decode byte 0xb0 in position 1: ordinal not in range(128)
运行第一个Scrapy项目就报错，真是命运多舛。
应该是出了编码问题，谷歌了一下找到了解决方案：
在python的Lib\site-packages文件夹下新建一个sitecustomize.py：
import sys&&&
sys.setdefaultencoding('gb2312')&&&
再次运行，OK，问题解决了，看一下结果：
最后一句INFO: Closing spider (finished)表明爬虫已经成功运行并且自行关闭了。
包含 [dmoz]的行 ，那对应着我们的爬虫运行的结果。
可以看到start_urls中定义的每个URL都有日志行。
还记得我们的start_urls吗？
因为这些URL是起始页面，所以他们没有引用(referrers)，所以在它们的每行末尾你会看到 (referer: &None&)。
在parse 方法的作用下，两个文件被创建：分别是 Books 和 Resources，这两个文件中有URL的页面内容。
那么在刚刚的电闪雷鸣之中到底发生了什么呢？
首先，Scrapy为爬虫的 start_urls属性中的每个URL创建了一个 scrapy.http.Request 对象 ，并将爬虫的parse 方法指定为回调函数。
然后，这些 Request被调度并执行，之后通过parse()方法返回scrapy.http.Response对象，并反馈给爬虫。
爬取整个网页完毕，接下来的就是的取过程了。
光存储一整个网页还是不够用的。
在基础的爬虫里，这一步可以用正则表达式来抓。
在Scrapy里，使用一种叫做 XPath selectors的机制，它基于 XPath表达式。
如果你想了解更多selectors和其他机制你可以查阅资料：点我点我
这是一些XPath表达式的例子和他们的含义
/html/head/title: 选择HTML文档&head&元素下面的&title& 标签。
/html/head/title/text(): 选择前面提到的&title& 元素下面的文本内容
//td: 选择所有 &td& 元素
//div[@class="mine"]: 选择所有包含 class="mine" 属性的div 标签元素
以上只是几个使用XPath的简单例子，但是实际上XPath非常强大。
可以参照W3C教程：点我点我。
为了方便使用XPaths，Scrapy提供XPathSelector 类，有两种可以选择，HtmlXPathSelector(HTML数据解析)和XmlXPathSelector(XML数据解析)。
必须通过一个 Response 对象对他们进行实例化操作。
你会发现Selector对象展示了文档的节点结构。因此，第一个实例化的selector必与根节点或者是整个目录有关 。
在Scrapy里面，Selectors 有四种基础的方法（点击查看API文档）：
xpath()：返回一系列的selectors，每一个select表示一个xpath参数表达式选择的节点
css()：返回一系列的selectors，每一个select表示一个css参数表达式选择的节点
extract()：返回一个unicode字符串，为选中的数据
re()：返回一串一个unicode字符串，为使用正则表达式抓取出来的内容
3.3xpath实验
下面我们在Shell里面尝试一下Selector的用法。
实验的网址：
熟悉完了实验的小白鼠，接下来就是用Shell爬取网页了。
进入到项目的顶层目录，也就是第一层tutorial文件夹下，在cmd中输入：
scrapy shell &
回车后可以看到如下的内容：
在Shell载入后，你将获得response回应，存储在本地变量 response中。
所以如果你输入response.body，你将会看到response的body部分，也就是抓取到的页面内容：
或者输入response.headers 来查看它的 header部分：
现在就像是一大堆沙子握在手里，里面藏着我们想要的金子，所以下一步，就是用筛子摇两下，把杂质出去，选出关键的内容。
selector就是这样一个筛子。
在旧的版本中，Shell实例化两种selectors，一个是解析HTML的 hxs 变量，一个是解析XML 的 xxs 变量。
而现在的Shell为我们准备好的selector对象，sel，可以根据返回的数据类型自动选择最佳的解析方案(XML or HTML)。
然后我们来捣弄一下！~
要彻底搞清楚这个问题，首先先要知道，抓到的页面到底是个什么样子。
比如，我们要抓取网页的标题，也就是&title&这个标签：
可以输入：
sel.xpath('//title')&
结果就是：
这样就能把这个标签取出来了，用extract()和text()还可以进一步做处理。
备注：简单的罗列一下有用的xpath路径表达式：
表达式&描述
nodename&选取此节点的所有子节点。
/&从根节点选取。
//&从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.&选取当前节点。
..&选取当前节点的父节点。
@&选取属性。
全部的实验结果如下，In[i]表示第i次实验的输入，Out[i]表示第i次结果的输出（建议大家参照：W3C教程）：
In [1]: sel.xpath('//title')&
Out[1]: [&Selector xpath='//title' data=u'&title&Open Directory - Computers: Progr'&]&
In [2]: sel.xpath('//title').extract()&
Out[2]: [u'&title&Open Directory - Computers: Programming: Languages: Python: Books&/title&']&
In [3]: sel.xpath('//title/text()')&
Out[3]: [&Selector xpath='//title/text()' data=u'Open Directory - Computers: Programming:'&]&
In [4]: sel.xpath('//title/text()').extract()&
Out[4]: [u'Open Directory - Computers: Programming: Languages: Python: Books']&
In [5]: sel.xpath('//title/text()').re('(\w+):')&
Out[5]: [u'Computers', u'Programming', u'Languages', u'Python']&
当然title这个标签对我们来说没有太多的价值，下面我们就来真正抓取一些有意义的东西。
使用火狐的审查元素我们可以清楚地看到，我们需要的东西如下：
我们可以用如下代码来抓取这个&li&标签：
sel.xpath('//ul/li')&
从&li&标签中，可以这样获取网站的描述：
sel.xpath('//ul/li/text()').extract()&
可以这样获取网站的标题：
sel.xpath('//ul/li/a/text()').extract()&
可以这样获取网站的超链接：
sel.xpath(()&
当然，前面的这些例子是直接获取属性的方法。
我们注意到xpath返回了一个对象列表，
那么我们也可以直接调用这个列表中对象的属性挖掘更深的节点
（参考：Nesting selectors andWorking with relative XPaths in the Selectors）：
sites = sel.xpath('//ul/li')
for site in sites:
&&& title = site.xpath('a/text()').extract()
&&& link = site.xpath(()
&&& desc = site.xpath('text()').extract()
&&& print title, link, desc
3.4xpath实战
我们用shell做了这么久的实战，最后我们可以把前面学习到的内容应用到dmoz_spider这个爬虫中。
在原爬虫的parse函数中做如下修改：
from scrapy.spider import Spider&
from scrapy.selector import Selector&
class DmozSpider(Spider):&
&&& name = "dmoz"&
&&& allowed_domains = ["dmoz.org"]&
&&& start_urls = [&
&&&&&&& "",&
&&&&&&& ""&
&&& def parse(self, response):&
&&&&&&& sel = Selector(response)&
&&&&&&& sites = sel.xpath('//ul/li')&
&&&&&&& for site in sites:&
&&&&&&&&&&& title = site.xpath('a/text()').extract()&
&&&&&&&&&&& link = site.xpath(()&
&&&&&&&&&&& desc = site.xpath('text()').extract()&
&&&&&&&&&&& print title&
注意，我们从scrapy.selector中导入了Selector类，并且实例化了一个新的Selector对象。这样我们就可以像Shell中一样操作xpath了。
我们来试着输入一下命令运行爬虫（在tutorial根目录里面）：
scrapy crawl dmoz
运行结果如下：
果然，成功的抓到了所有的标题。但是好像不太对啊，怎么Top，Python这种导航栏也抓取出来了呢？
我们只需要红圈中的内容：
看来是我们的xpath语句有点问题，没有仅仅把我们需要的项目名称抓取出来，也抓了一些无辜的但是xpath语法相同的元素。
审查元素我们发现我们需要的&ul&具有class='directory-url'的属性，
那么只要把xpath语句改成sel.xpath('//ul[@class="directory-url"]/li')即可
将xpath语句做如下调整：
from scrapy.spider import Spider&
from scrapy.selector import Selector&
class DmozSpider(Spider):&
&&& name = "dmoz"&
&&& allowed_domains = ["dmoz.org"]&
&&& start_urls = [&
&&&&&&& "",&
&&&&&&& ""&
&&& def parse(self, response):&
&&&&&&& sel = Selector(response)&
&&&&&&& sites = sel.xpath('//ul[@class="directory-url"]/li')&
&&&&&&& for site in sites:&
&&&&&&&&&&& title = site.xpath('a/text()').extract()&
&&&&&&&&&&& link = site.xpath(()&
&&&&&&&&&&& desc = site.xpath('text()').extract()&
&&&&&&&&&&& print title&
成功抓出了所有的标题，绝对没有滥杀无辜：
3.5使用Item
接下来我们来看一看如何使用Item。
前面我们说过，Item 对象是自定义的python字典，可以使用标准字典语法获取某个属性的值：
&&& item = DmozItem()&
&&& item['title'] = 'Example title'&
&&& item['title']&
'Example title'&
作为一只爬虫，Spiders希望能将其抓取的数据存放到Item对象中。为了返回我们抓取数据，spider的最终代码应当是这样:
from scrapy.spider import Spider&
from scrapy.selector import Selector&
from tutorial.items import DmozItem&
class DmozSpider(Spider):&
&&& name = "dmoz"&
&&& allowed_domains = ["dmoz.org"]&
&&& start_urls = [&
&&&&&&& "",&
&&&&&&& ""&
&&& def parse(self, response):&
&&&&&&& sel = Selector(response)&
&&&&&&& sites = sel.xpath('//ul[@class="directory-url"]/li')&
&&&&&&& items = []&
&&&&&&& for site in sites:&
&&&&&&&&&&& item = DmozItem()&
&&&&&&&&&&& item['title'] = site.xpath('a/text()').extract()&
&&&&&&&&&&& item['link'] = site.xpath(()&
&&&&&&&&&&& item['desc'] = site.xpath('text()').extract()&
&&&&&&&&&&& items.append(item)&
&&&&&&& return items&
4.存储内容（Pipeline）
保存信息的最简单的方法是通过Feed exports，主要有四种：JSON，JSON lines，CSV，XML。
我们将结果用最常用的JSON导出，命令如下：
scrapy crawl dmoz -o items.json -t json&
-o 后面是导出文件名，-t 后面是导出类型。
然后来看一下导出的结果，用文本编辑器打开json文件即可（为了方便显示，在item中删去了除了title之外的属性）：
因为这个只是一个小型的例子，所以这样简单的处理就可以了。
如果你想用抓取的items做更复杂的事情，你可以写一个 Item Pipeline(条目管道)。
这个我们以后再慢慢玩^_^
以上便是python爬虫框架Scrapy制作爬虫抓取网站内容的全部过程了，非常的详尽吧，希望能够对大家有所帮助，有需要的话也可以和我联系，一起进步
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具Scrapy模拟登陆豆瓣的问题，请大家帮忙看一下
o &nbsp,&nbsp&nbsp,&nbsp
我用scrapy模拟登陆豆瓣，但是返回应该是没有登陆成功。
日志打印如下，显示豆邮的url响应是404，豆瓣的url都是https，抓包也看不到裸数据。请帮忙看下原因，或者有没有什么调试的方法。
15:12:17 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
15:12:18 [scrapy] DEBUG: Crawled (200) &GET /login& (referer: None)
post login
15:12:18 [scrapy] DEBUG: Crawled (200) &POST /login& (referer: /login)
after login
15:12:18 [scrapy] DEBUG: Crawled (404) &GET /doumail/& (referer: /login)
15:12:18 [scrapy] DEBUG: Ignoring response &404 /doumail/&: HTTP status code is not handled or not allowed
15:12:18 [scrapy] INFO: Closing spider (finished)
15:12:18 [scrapy] INFO: Dumping Scrapy stats:
2016-08-20 15:12:17 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)2016-08-20 15:12:18 [scrapy] DEBUG: Crawled (200) &GET https:///login& (referer: None)post login2016-08-20 15:12:18 [scrapy] DEBUG: Crawled (200) &POST https:///login& (referer: /login)after login2016-08-20 15:12:18 [scrapy] DEBUG: Crawled (404) &GET https:///doumail/& (referer: /login)2016-08-20 15:12:18 [scrapy] DEBUG: Ignoring response &404 https:///doumail/&: HTTP status code is not handled or not allowed2016-08-20 15:12:18 [scrapy] INFO: Closing spider (finished)2016-08-20 15:12:18 [scrapy] INFO: Dumping Scrapy stats:
爬虫主要代码如下：
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.http import Request, FormRequest
from douban.items import DoubanItem
from douban.items import DouyouItem
class DoubansSpider(CrawlSpider):
name = 'doubans'
allowed_domains = ['']
start_urls = ['/doumail/']
Rule(LinkExtractor(allow='/doumail/.+'), callback='parse_item', follow=True),
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:40.0) Gecko/ Firefox/40.0',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,q=0.8,en-US;q=0.5,q=0.3',
'Connection':'keep-alive'
from_data = {
'source':'index_nav',
#'redir':'/',
'form_email':'',
'form_password':'12345',
#'captcha-solution':'basket'
#'captcha-id':'uWRX2BEQrMmdAsVavgeWUEQU:en'
#'login':'登录'
login_url = "/login"
def start_requests(self):
return [Request(self.login_url, meta = {'cookiejar' : 1}, headers = self.headers, callback = self.post_login)]
def post_login(self, response):
print 'post login'
return [FormRequest.from_response(response, meta = {'cookiejar' : response.meta['cookiejar']}, headers = self.headers,
formdata = self.from_data, callback = self.after_login, dont_filter = True)]
def after_login(self, response):
print 'after login'
for url in self.start_urls :
yield FormRequest(url,meta = {'cookiejar':response.meta['cookiejar']},
headers = self.headers,
callback = self.parse_item
def parse_item(self, response):
sel = Selector(response)
item = DouyouItem()
item['username'] = sel.xpath('//div[@id="status-unread-anchor"]/div[@class="content"]/div/text()').extract()[0]
item['content'] = sel.xpath('//div[@id="status-unread-anchor"]/div[@class="content"]/p/text()').extract()[0]
i.append(item)
print(item)
#i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()
#i['name'] = response.xpath('//div[@id="name"]').extract()
#i['description'] = response.xpath('//div[@id="description"]').extract()
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667
# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom scrapy.selector import Selectorfrom scrapy.http import Request, FormRequest&from douban.items import DoubanItemfrom douban.items import DouyouItem&class DoubansSpider(CrawlSpider):&&&&name = 'doubans'&&&&allowed_domains = ['']&&&&start_urls = ['/doumail/']&&&&&rules = (&&&&&&&&Rule(LinkExtractor(allow='/doumail/.+'), callback='parse_item', follow=True),&&&&)&&&&&headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:40.0) Gecko/ Firefox/40.0',&&&&&&&&'Accept-Encoding':'gzip, deflate',&&&&&&&&'Accept-Language':'zh-CN,q=0.8,en-US;q=0.5,q=0.3',&&&&&&&&'Connection':'keep-alive'&&&&&&&&}&&&&&from_data = {&&&&&&&&'source':'index_nav',&&&&&&&&#'redir':'/',&&&&&&&&'form_email':'',&&&&&&&&'form_password':'12345',&&&&&&&&#'captcha-solution':'basket'&&&&&&&&#'captcha-id':'uWRX2BEQrMmdAsVavgeWUEQU:en'&&&&&&&&#'login':'登录'&&&&}&&&&&login_url = "/login"&&&&&def start_requests(self):&&&&&&&&return [Request(self.login_url, meta = {'cookiejar' : 1}, headers = self.headers, callback = self.post_login)]&&&&&def post_login(self, response):&&&&&&&&print 'post login'&&&&&&&&return [FormRequest.from_response(response, meta = {'cookiejar' : response.meta['cookiejar']}, headers = self.headers,&&&&&&&&&&&&formdata = self.from_data, callback = self.after_login, dont_filter = True)]&&&&&def after_login(self, response):&&&&&&&&print 'after login'&&&&&&&&for url in self.start_urls :&&&&&&&&&&&&yield FormRequest(url,meta = {'cookiejar':response.meta['cookiejar']},&&&&&&&&&&&&&&&&&&&&&&&&&&&&headers = self.headers,&&&&&&&&&&&&&&&&&&&&&&&&&&&&callback = self.parse_item&&&&&&&&&&&&&&&&&&&&&&&&&&&&)&&&&&def parse_item(self, response):&&&&&&&&sel = Selector(response)&&&&&&&&i = []&&&&&&&&item = DouyouItem()&&&&&&&&&item['username'] = sel.xpath('//div[@id="status-unread-anchor"]/div[@class="content"]/div/text()').extract()[0]&&&&&&&&item['content'] = sel.xpath('//div[@id="status-unread-anchor"]/div[@class="content"]/p/text()').extract()[0]&&&&&&&&i.append(item)&&&&&&&&&print(item)&&&&&&&&#i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()&&&&&&&&#i['name'] = response.xpath('//div[@id="name"]').extract()&&&&&&&&#i['description'] = response.xpath('//div[@id="description"]').extract()&&&&&&&&return i
之前遇到过，被豆瓣ban掉了，参考下面方法解决掉了
关于伯乐小组
这里有好的话题，有启发的回复和值得信任的圈子。
新浪微博：
推荐微信号
（加好友请注明来意）
- 好的话题、有启发的回复、值得信赖的圈子
- 分享和发现有价值的内容与观点
- 为IT单身男女服务的征婚传播平台
- 优秀的工具资源导航
- 翻译传播优秀的外文文章
- 国内外的精选博客文章
- UI,网页，交互和用户体验
- 专注iOS技术分享
- 专注Android技术分享
- JavaScript, HTML5, CSS
- 专注Java技术分享
- 专注Python技术分享
& 2017 伯乐在线}