python

import requests 
from lxml import etree

抓取网站

1. 模拟浏览器访问指定网站[通过requests模块,发送get或post请求]
   1. response=requests.get(url=,params=,headers=)
2. 抓取指定内容[通过etree.HTML(response.text)得到一个可用xpath语法解析的obj,然后解析其中的数据]
   1. e_obj=etree.HTML(response.text)
   2. e_obj.xpath(xpath表达式)
3. 将抓取的数据本地化存储e_obj