您的位置: 首页  >  IT文章  >  Python_lxml解析HTML

Python_lxml解析HTML

分类: IT文章 • 2023-10-29 21:52:23

1.Python解析XML的常用方法有以下几种：

1、DOM解析, xml.dom.*模块。
2、SAX解析, xml.sax.*模块。
3、ET解析,  xml.etree.ElementTree模块。
4、lxml解析,并结合XPath提取元素。

01.说明：

lxml有两大部分，分别支持XML和HTML的解析：
    lxml.etree 解析 XML
    lxml.html  解析 html
from lxml import etree, html

02.lxml解析

#01.导入相关标准库
   from lxml import etree
#02.定义解析器
    parser = etree.XMLParser(encoding = "utf-8")
#03.使用解析器parser解析XML文件
   tree = etree.parse(r"my.xml",parser = parser)
#04.结合xpath提取XML文件中的信息-即使用 xpath 语法提取网页元素
   mytext = tree.xpath('//loc/text()')

2.Python解析HTML

lxml 
    自2.0版本起有了专门用于处理html的模块 lxml.html, 
      模块中包含几种解析html的方式, :

      from lxml.html import fromstring, soupparser, html5lib
        fromstring   Parse the html, returning a single element/document.:解析字符串
        soupparser  """External interface to the BeautifulSoup HTML parser.
		             lxml can make use of BeautifulSoup as a parser backend, 
					    just like BeautifulSoup can employ lxml as a parser.
    #解析器
        lxml.html     中的 解析器  
        BeautifulSoup4中的 解析器

#提取工具
可以使用 find 、findall 或者 XPath 来搜索Element包含的标签对象
XPath,全称XML Path Language，即XML路径语言
	标签定位   从根节点选取  任意位置的某个节点  选取属性
	           使用@符号即可获取节点的属性  某个属性的值有多个时，我们可以使用contains()函数来获取
			   text()方法获取节点中的文本
	序列定位   利用中括号引入索引的方法获取特定次序的节点 第一个元素  所有lang='en'的元素
	轴定位     XPath提供了很多节点选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等
	XPath中的运算符

Bs4：from bs4 import BeautifulSoup
   BeautifulSoup(markup, "html.parser")
   BeautifulSoup(markup, "lxml") BeautifulSoup(markup, ["lxml-xml"])  BeautifulSoup(markup, "xml")
   BeautifulSoup(markup, "html5lib")
   
   Tag，它有两个重要的属性，是 name 和 attrs

3.HTML

 <!DOCTYPE html> 声明为 HTML5 文档
 <html> 	元素是 HTML 页面的根元素
 <head> 	元素包含了文档的元（meta）数据，如 <meta charset="utf-8"> 定义网页编码格式为 utf-8。
 <title> 	元素描述了文档的标题
 <body> 	元素包含了可见的页面内容
 <h1> 		元素定义一个大标题  HTML 标题（Heading）是通过<h1> - <h6> 标签来定义的。
 <p> 		元素定义一个段落    HTML 段落是通过标签 <p> 来定义的
 <a>  		HTML 链接是通过标签 <a> 来定义的 ref 属性中指定链接的地址。
 <br>	换行
 HTML 分组标签
  <div>	定义了文档的区域，块级 (block-level)  div 元素来创建多列布局
  <span>用来组合文档中的行内元素， 内联元素(inline)
 
 表格： 表格由 <table> 标签来定义。
         <tbody>	定义表格的主体
         每个表格均有若干行（由 <tr> 标签定义），
		 每行被分割为若干单元格（由 <td> 标签定义）。字母 td 指表格数据（table data），即数据单元格的内容
 
 
  HTML 标签 (HTML tag) 开始标签与结束标签
  属性：总是以名称/值对的形式出现，比如：name="value" 
         class  id  style  title
		 style	规定元素的行内样式（inline style）
 <style type="text/css">

4.代码示例

#!/usr/bin/env python3
# -*- coding: UTF-8 -*-

import requests
from lxml import etree

if __name__ == "__main__":
    pass
    url = r"https://www.9145"
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                             "Chrome/51.0.2704.103 Safari/537.36"}
	# 下载数据
    response = requests.get(url_01, headers=headers)
	#HTML parse 解析器
    html = etree.HTML(response.content.decode('utf-8'))

    # 解析HTML，筛选数据
    # XPath使用路径表达式来选取XML文档中的节点或者节点集
    df = html.xpath('//table[contains(@class, "")]/tbody/tr//td//text()')
    mid_deal_ls = []
    for data in df:
        field_string = "".join(data.strip().split())
        if field_string != '':
            mid_deal_ls.append(field_string)
    info = ["项目", "用途"]
    for want_dat in info:
        for own_data in mid_deal_ls:
            if own_data == want_dat:
                print(want_dat, mid_deal_ls[mid_deal_ls.index(want_dat)+1])
    # get name and location
    house_info_df = html.xpath('//div[contains(@class, "spf_del_title clearfix")]//h2//text()')
    name_location = []
    for location_data in house_info_df:
        field_string = "".join(location_data.strip().split())
        if field_string not in ('', "[", "]"):
            name_location.append(field_string)
    print("name", name_location[0])
    print("location", name_location[1])

5.参考

  https://beautifulsoup.readthedocs.io/zh_CN

相关推荐