最简单的爬虫

# -*- coding: utf-8 -*-

import urllib.request
import re

#该函数用于获取html内容
#使用到urlopen的函数
def getHtml(url):
    page = urllib.request.urlopen(url)
    #3.0直接使用read()函数会出现报错，提示是编码有问题。在后面加上编码就ok了。
    html = page.read().decode("utf-8")
    return html

def getImg(html):
    #reg为正则替换，这边是根据贴吧的帖子的图片在html中的状态拼的，只适用于贴吧帖子下图
    #正则的详细教程见：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html
    reg = r'href="(.+?\.css)"'
    #compile比较简单的解释是制作一个漏斗，规则如reg，只有符合的才能够通过。
    imgre = re.compile(reg)
    imgList = re.findall(imgre, html)
    x = 0
    for imgurl in imgList:
        #print ("for test %s" % x) 查看是否走到循环用的print
        #urlretrieve() 方法直接将远程数据下载到本地
        urllib.request.urlretrieve(imgurl,'%s.css' % x)
        x += 1

#html变量定义一个需要读取的网址，这边选择的是某个贴吧的帖子。
html = getHtml("https://mac.macxf.com/ftlist/1_1.html")
#执行操作
getImg(html)

print("all over!")