基于面向对象的Python爬虫

每日一记

基于面向对象的Python爬虫

import urllib.request
import re

class GetHtml(object):
    def __init__(self,URL,HEAD):      //初始化
        self.url=URL
        self.head=HEAD
    
    def get_index(self):              //获取主页信息
        self.request=urllib.request.Request(self.url)
        self.request.add_header('user-agent',self.request)
        self.response=urllib.request.urlopen(self.request)
        return self.response.read()
    
    def get_list(self):               //获取符合条件的列表
        self.strimglist=[]
        self.imglist=re.findall(b'匹配条件',self.get_index())
        for i in self.imglist:
            self.strimglist.append(self.url+str(i,encoding='utf8'))
        return self.strimglist
    
    def get_image(self):              //下载资源
        num=0
        for self.url in self.get_list():
            num+=1
            with open(str(num)+'后缀','wb') as file:
                file.write(self.get_index())

html=GetHtml('目标地址','请求头')
html.get_list()

每日一句

有阳光、还感觉冷。如果我忍住这个秘密、温暖冬天就会遥遥而无期。