Scrapy爬虫笔记【3-XPaths】

1 XPaths

1.1节点（Node）

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

请看下面这个 XML 文档：

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="en">Harry Potter</title>
  <author>J K. Rowling</author> 
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

上面的XML文档中的节点例子：

<bookstore> （文档节点）
<author>J K. Rowling</author> （元素节点）
lang="en" （属性节点）

基本值（或称原子值，Atomic value）

基本值是无父或无子的节点。

基本值的例子：

J K. Rowling
"en"

项目（Item）

项目是基本值或者节点。

1.2 选取节点

XML 实例文档

我们将在下面的例子中使用这个 XML 文档。

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

下面列出了最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

实例

在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

实例

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
//book/title \| //book/price	选取 book 元素的所有 title 和 price 元素。
//title \| //price	选取文档中的所有 title 和 price 元素。
/bookstore/book/title \| //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

一些例子：

表达式	引用
./author	当前上下文中的所有 <author> 元素。注意，此表达式等效于下一行中的表达式。
author	当前上下文中的所有 <author> 元素。
first.name	当前上下文中的所有 <first.name> 元素。
/bookstore	此文档的文档元素 (<bookstore>)。
//author	文档中的所有 <author> 元素。
book[/bookstore/@specialty=@style]	style 属性值等于文档根处 <bookstore> 元素的 specialty 属性值的所有 <book> 元素。
author/first-name	作为 <author> 元素子级的所有 <first-name> 元素。
bookstore//title	<bookstore> 元素中一级或多级深度的所有 <title> 元素（任意后代）。注意，此表达式不同于下一行中的表达式。
bookstore/*/title	作为 <bookstore> 元素的孙代的所有 <title> 元素。
bookstore//book/excerpt//emph	位于 <book> 元素的 <excerpt> 子级内任意位置和位于 <bookstore> 元素内任意位置的所有 <emph> 元素。
.//title	当前上下文中一级或多级深度的所有 <title> 元素。注意，本质上只有这种情况需要句点表示法。
author/*	作为 <author> 元素子级的所有元素。
book/*/last-name	作为 <book> 元素孙级的 <last-name> 所有元素。
/	当前上下文的所有孙级元素。
*[@specialty]	具有 specialty 属性的所有元素。
@style	当前上下文的 style 属性。
price/@exchange	当前上下文中 <price> 元素上的 exchange 属性。
price/@exchange/total	返回空节点集，因为属性不包含元素子级。 XML 路径语言 (XPath) 语法允许使用此表达式，但是严格意义上讲无效。
book[@style]	当前上下文的具有 style 属性的 <book> 所有元素。
book/@style	当前上下文的所有 <book> 元素的 style 属性。
@*	当前元素上下文的所有属性。
./first-name	当前上下文节点中的所有 <first-name> 元素。请注意，这等效于下一行中的表达式。
first-name	当前上下文节点中的所有 <first-name> 元素。
author[1]	当前上下文节点中的第一个 <author> 元素。
author[first-name][3]	具有 <first-name> 子级的第三个 <author> 元素。
my:book	my 命名空间中的 <book> 元素。
my:*	my 命名空间中的所有元素。
@my:*	my 命名空间中的所有属性（不包括 my 命名空间中的元素的未限定属性）。

另外补充：

1、要直接使用Selector返回的数据，需要以“.”开头

例子： divs = sel.xpath(’//div’)

要查找<div>中的<p>

错误的写法：

for p in divs.xpath(’//p’) # this is wrong - gets all <p> from the whole document
print p.extract()

正确的写法

for p in divs.xpath(’.//p’) # extracts all <p> inside
print p.extract()

另外一种情况是直接获取所有的子 <p>

for p in divs.xpath(’p’)
print p.extract()

<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>

in[1]: sel = Selector(text=doc, type="html")

in[2]: sel.xpath(’//li//@href’).extract()

out[1]: [u’link1.html’, u’link2.html’, u’link3.html’, u’link4.html’, u’link5.html’]

in[3]: sel.xpath(’//li[re:test(@class, "item-\d$")]//@href’).extract()

out[2]:[u’link1.html’, u’link2.html’, u’link4.html’, u’link5.html’]

在Scrapy中的命令行中的selector常常会用到这个Xpath 来检验爬到网页数据

/html/head/title: 选择HTML文档<head>元素下面的<title> 标签。
/html/head/title/text(): 选择前面提到的<title> 元素下面的文本内容
//td: 选择所有 <td> 元素
//div[@class="mine"]: 选择所有包含 class="mine" 属性的div 标签元素

为了方便使用XPaths，Scrapy提供XPathSelector 类，有两种口味可以选择， HtmlXPathSelector (HTML数据解析) 和XmlXPathSelector (XML数据解析)。为了使用他们你必须通过一个 Response 对象对他们进行实例化操作。你会发现Selector对象展示了文档的节点结构。因此，第一个实例化的selector必与根节点或者是整个目录有关。

Selectors 有三种方法

path()：返回selectors列表, 每一个select表示一个xpath参数表达式选择的节点.
extract()：返回一个unicode字符串，该字符串为XPath选择器返回的数据
re()：返回unicode字符串列表，字符串作为参数由正则表达式提取出来

By the way :

刚开始用Xpath，觉得不怎么方便，似乎还没有正则表达式来得快，后来才记起

//title[@lang='eng']选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

有了这个，效率提高不少

另外extract()这个方法是返回Unicode，所以看不到中文，用Unicode转换器对比一下，就知道我们是否爬到了我们想要的蚊子

下面是爬糗事百科上面的文字：

Scrapy爬虫札记【3-XPaths】

参考：

1、http://www.w3school.com.cn/xpath/xpath_syntax.asp

2、http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html