python xpath爬虫有哪些实用案例

Python的XPath爬虫在数据抓取和网页解析中非常有用。以下是一些实用的案例：

爬取猪八戒网站信息

• 案例描述：使用XPath从猪八戒网站抓取服务商信息。
• 实现方法：通过解析HTML页面，使用XPath选择器定位并提取所需信息。
• 关键代码：

  import requests
  from lxml import etree
  
  url = "https://www.zbj.com/fw/?k=saas"
  resp = requests.get(url)
  html = etree.HTML(resp.text)
  divs = html.xpath('//*[@id="__layout"]/div/div[3]/div/div[4]/div/div[2]/div[1]/div')
  for div in divs:
      title = div.xpath('./div/div[3]/div[2]/a/text()')[0]
      price = div.xpath("./div/div[3]/div[1]/span/text()")
      com_name = div.xpath('./div/a/text()')
  

爬取58同城二手房信息

• 案例描述：从58同城抓取二手房信息。
• 实现方法：发送HTTP请求获取页面内容，然后使用XPath提取所需数据。
• 关键代码：

  import requests
  from lxml import etree
  
  url = "https://xa.58.com/ershoufang/"
  headers = {'User-Agent':'Mozilla/5.0'}
  resp = requests.get(url, headers=headers)
  tree = etree.HTML(resp.text)
  div_list = tree.xpath('//section[@class="list"]/div')
  with open('./58同城二手房.txt','w',encoding='utf-8') as fp:
      for div in div_list:
          title = div.xpath('.//div[@class="property-content-title"]/h3/text()')[0]
          fp.write(title+'\n')
  

爬取图片并下载

• 案例描述：从某个网站爬取图片并下载到本地。
• 实现方法：发送HTTP请求获取图片链接，然后使用XPath提取图片URL，并下载图片。
• 关键代码：

  import requests
  from lxml import etree
  import os
  
  url = "https://pic.netbian.com/4kmeinv/"
  headers = {'User-Agent':'Mozilla/5.0'}
  resp = requests.get(url, headers=headers)
  tree = etree.HTML(resp.text)
  li_list = tree.xpath('//div[@class="slist"]/ul/li/a')
  if not os.path.exists('./piclibs'):
      os.mkdir('./piclibs')
  for li in li_list:
      detail_url = li.xpath('./img/@src')[0]
      detail_name = li.xpath('./img/@alt')[0]+'.jpg'
      detail_path = './piclibs/'+ detail_name
      detail_data = requests.get(detail_url, headers=headers).content
      with open(detail_path,'wb') as fp:
          fp.write(detail_data)
  

这些案例展示了XPath在Python爬虫中的强大功能和广泛应用。通过学习和实践这些案例，可以提高你的爬虫开发技能。