Python爬虫——Xpath和lxml

Xpath，全称 XML Path Language ，及XML路径语言，是一门在XML文档中查找信息的语言，最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

1.2 常用规则

• 获取文本

  表达式	描述
  a/text()	获取 a 下的文本
  a//text()	获取 a 下所有元素的文本
  //a[text()='下一页']	获取文本为下一页的 a 元素

• 获取属性

  表达式	描述
  nodename	选取此节点的所有子节点
  /	从当前节点选取直接子节点
  //	从当前节点选取子孙节点
  .	选取当前节点
  ..	选取当前节点的父节点
  @	选取属性
  *	匹配任何元素节点
  @*	匹配任何属性节点
  node()	匹配任何类型的节点

1.3示例

2. lxml的使用

2.1 使用注意点

• lxml 能够修正 HTML 代码，但是可能会改错了，解决方法：

  • 使用 etree.tostring 观察修改之后的html的样子，根据修改之后的html字符串写xpath

• 提取页面数据的思路

  • 先分组，取到一个包含分组标签的列表
  • 遍历，取其中每一组进行数据的提取，不会造成数据的对应错乱

• lxml 能够接受bytes和str的字符串

2.2 简单示例

from lxml import etree

text = ''' <div> <ul> 
            <li class="item-1"><a href="link1.html">first item</a></li> 
            <li class="item-1"><a href="link2.html">second item</a></li> 
            <li class="item-inactive"><a href="link3.html">third item</a></li> 
            <li class="item-1"><a href="link4.html">fourth item</a></li> 
            <li class="item-0"><a href="link5.html">fifth item</a> 
            </ul> </div> '''

html = etree.HTML(text)

print(html) # <Element html at 0x1f1007c9d08>
print(etree.tostring(html).decode())

# 获取 class 为 item-1 li 下的 a 的 href
ret1 = html.xpath('//li[@class="item-1"]/a/@href')
print(ret1)

# 获取 class 为 item-1 li 下的文本
ret2 = html.xpath("//li[@class='item-1']/a/text()")
print(ret2)

# 把 url 和 文本组成字典
# 如果其中一个获取失败或者没有数据，则url 和 title 就不是原来对应的结果
for i in ret1:
    item = {}
    item['url'] = i
    item['title'] = ret2[ret1.index(i)]
    print(item)

# 改进
ret3 = html.xpath('//li[@class="item-1"]')
for i in ret3:
    item = {}
    item['url'] = i.xpath('./a/@href')[0] if len(i.xpath('./a/@href')) else None  # ./a/@href 表示当前节点下的
    item['title'] = i.xpath('./a/text()')[0] if len(i.xpath('./a/text()')) else None
    print(item)
复制代码