最新公告
  • 欢迎您光临网站无忧模板网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入钻石VIP
  • python数据爬下来保存在哪里

    正文概述    2020-06-21   384

    python数据爬下来保存在哪里

    python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己写爬虫玩,可以用文件形式来保存数据。

    #coding=utf-8
    import urllib.request
    import re
    import os
      
    '''
    Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据
    urlopen 方法用来打开一个url
    read方法 用于读取Url上的数据
    '''
      
    def getHtml(url):
        page = urllib.request.urlopen(url);
        html = page.read();
        return html;
      
    def getImg(html):
        imglist = re.findall('img src="(http.*?)"',html
        return imglist
      
    html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
    imagesUrl = getImg(html);
      
    if os.path.exists("D:/imags") == False:
        os.mkdir("D:/imags");
         
    count = 0;
    for url in imagesUrl:
        print(url)
        if(url.find('.') != -1):
            name = url[url.find('.',len(url) - 5):];
            bytes = urllib.request.urlopen(url);
            f = open("D:/imags/"+str(count)+name, 'wb');
            f.write(bytes.read());
            f.flush();
            f.close();
            count+=1

    经测试,基本功能还是可以实现的。花的较多的时间就是正则匹配哪里,因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。

    更多相关学习推荐,敬请访问python教程栏目~


    下载网 » python数据爬下来保存在哪里

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    模板不会安装或需要功能定制以及二次开发?
    请QQ联系我们

    发表评论

    还没有评论,快来抢沙发吧!

    如需帝国cms功能定制以及二次开发请联系我们

    联系作者

    请选择支付方式

    ×
    迅虎支付宝
    迅虎微信
    支付宝当面付
    余额支付
    ×
    微信扫码支付 0 元