python urlopen使用代理 -凯发k8国际

`
qepwqnp
  • 浏览: 102696 次
  • 性别:
  • 来自: 成都
最近访客
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
  • 社区版块
    • ( 0)
    • ( 65)
    • ( 47)
    存档分类
    最新评论

    python urlopen使用代理

    利用urllib包
    import urllib
    proxyconfig = 'http://%s:%s@%s' % ('username', 'password', 'proxy')
    information = urllib.urlopen("http://tianya.cn", proxies={'http':proxyconfig})     
    print information.read()
    

    username:用户名
    password:密码
    proxy: 代理加端口
    利用urllib2包
    import urllib2
    proxyconfig = 'http://%s:%s@%s' % ('username', 'password', 'proxy')
    opener = urllib2.build_opener( urllib2.proxyhandler({'http':proxyconfig}))        
    urllib2.install_opener(opener)
    information = urllib2.urlopen("http://tianya.cn")   
    print information.read()
    

    eg
    import urllib
    def geturlinfo(weburl):   
            proxyconfig = 'http://%s:%s@%s' % ('sig00459', '256bea3', '129.20.0.156:8080')
            information = urllib.urlopen(weburl, proxies={'http':proxyconfig}) 
            return information.read();
    if __name__ == "__main__":         
        print geturlinfo('http://tianya.cn');
    
    1
    0
    分享到:
    |
    评论
    1 楼 diyunpeng 2012-10-16  
    学习了,写的不错。

    相关推荐

      好了,废话少说,我们先看看几个示例吧 一、打开一个网页获取所有的内容 复制代码 代码如下:from urllib import urlopendoc = urlopen(“http://www.baidu.com...三、使用代理 1. 查看环境变量 复制代码 代码如下:print

      一、打开一个网页获取所有的内容 from urllib import urlopendoc = urlopen(“http://www.baidu.com”).read()print doc... 三、使用代理  1. 查看环境变量 print “”n”.join([“%s=%s” % (k, v) for k, v in os.e

      urllib2.install_opener(opener) # 安装opener,此后调用urlopen()时都会使用安装过的opener对象 response = urllib2.urlopen(url) 3.2 时间设置 适用情况:限制频率情况。 requests,urllib2都可以使用time库...

      1.urlopen()方法urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url...参数proxies用于设置代理。urlopen返回 一个类文件对象,它提供了如下方法:read() , readline() , readlines() , fileno() , close()

      我们可以利用urllib来抓取远程的数据进行保存哦,以下是python3 抓取...2、使用 request import urllib.request req = urllib.request.request('http://python.org/') response = urllib.request.urlopen(req) the_p

      文章目录python爬虫:基本库(一)urllib使用urllib发送请求1.urlopen()添加data(附加数据)参数添加timeout(超时时间)参数2.request()request参数高级用法1.验证2.代理3.cookies从网站中获取cookies保存cookies处理...

      这是具有利用不同协议获取urls的能力,他同样提供...对于简单的应用,urlopen是非常容易使用的。但当你在打开http的urls时遇到错误或异常,你将需要一些超文本传输协议(http)的理解。最权威的http文档当然是rfc 2616(ht

      我们之前一直都在使用的urlopen,这是一个特殊的opener(也就是模块帮我们构建好的)。 但是基本的urlopen()方法不支持代理、cookie等其他的http/https高级功能。所以要支持这些功能:  1.使用相差的handler处理器...

      urllib是python的一个获取了,可以利用它来抓取远程的数据进行保存,本文整理了一些关于urllib使用中的一些关于header,代理,超时,认证,异常处理处理方法。 1.基本方法...

      使用代理ip解决防止反爬 设置超时提高爬虫效率 解析url的方法 本次将会对这些内容进行详细的分析和讲解。 post请求 post是http协议的请求方法之一,也是比较常用到的一种方法,用于向服务器提交数据。博主先介绍...

      2.使用代理服务器 这在某些情况下比较有用,比如ip被封了,或者比如ip访问的次数受到限制等等。 import urllib2 proxy_support = urllib2.proxyhandler({'http':'http://xx.xx.xx.xx:xxxx'}) opener = url

      什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它...2.使用代理服务器 这在某些情况下比较有用,比如ip被封了,或者比如i

      文章目录一、urllib模块介绍二、urllib功能三、常用模块3.1 request.urlopen() 函数详解3.2 urlretrieve() 函数详解3.3 urlencode、parse_qs、和parse.quote函数使用实例3.4 urlparse()详解3.5 request.request类3.6...

    global site tag (gtag.js) - google analytics
    网站地图