How do you send a HEAD HTTP request in Python 2?
我在这里要做的是获取给定URL的头,以便确定mime类型。例如,我想知道
URLLIB2可用于执行头请求。这比使用httplib要好一点,因为urllib2为您解析URL,而不是要求您将该URL拆分为主机名和路径。
1 2 3 4 5 6 | >>> import urllib2 >>> class HeadRequest(urllib2.Request): ... def get_method(self): ... return"HEAD" ... >>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html")) |
和以前一样,头可以通过response.info()获得。有趣的是,您可以找到重定向到的URL:
1 2 | >>> print response.geturl() http://www.google.com.au/index.html |
。
编辑:这个答案是有效的,但是现在你应该使用下面其他答案提到的请求库。
使用httplib。
1 2 3 4 5 6 7 8 | >>> import httplib >>> conn = httplib.HTTPConnection("www.google.com") >>> conn.request("HEAD","/index.html") >>> res = conn.getresponse() >>> print res.status, res.reason 200 OK >>> print res.getheaders() [('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')] |
还有一个
强制性
1 2 3 4 | import requests resp = requests.head("http://www.google.com") print resp.status_code, resp.text, resp.headers |
我认为请求库也应该提到。
公正:
1 2 3 4 5 6 | import urllib2 request = urllib2.Request('http://localhost:8080') request.get_method = lambda : 'HEAD' response = urllib2.urlopen(request) response.info().gettype() |
编辑:我刚刚意识到有httplib2:d
1 2 3 4 5 6 | import httplib2 h = httplib2.Http() resp = h.request("http://www.google.com", 'HEAD') assert resp[0]['status'] == 200 assert resp[0]['content-type'] == 'text/html' ... |
。
链接文本
为了完整性,使用httplib将python3的答案等效于接受的答案。
基本上是相同的代码,只是库不再被称为httplib,而是http.client。
1 2 3 4 5 6 7 | from http.client import HTTPConnection conn = HTTPConnection('www.google.com') conn.request('HEAD', '/index.html') res = conn.getresponse() print(res.status, res.reason) |
。
1 2 3 4 5 6 7 8 9 10 11 12 | import httplib import urlparse def unshorten_url(url): parsed = urlparse.urlparse(url) h = httplib.HTTPConnection(parsed.netloc) h.request('HEAD', parsed.path) response = h.getresponse() if response.status/100 == 3 and response.getheader('Location'): return response.getheader('Location') else: return url |
。
我发现httplib比urllib2稍快。我定时了两个程序——一个使用httplib,另一个使用urlib2——向10000个url发送head请求。httplib一个快了几分钟。httplib的总统计数据是:真实的6m21.334s用户0m2.124s系统0 M16.372
厄利2的总统计数据是:真实的9m1.380s用户0M16.666S系统0m28.565s
其他人对此有意见吗?
作为旁白,当使用httplib(至少在2.5.2上)时,尝试读取head请求的响应将阻塞(在readline上),然后失败。如果您没有在响应上发出read,则无法在连接上发送另一个请求,则需要打开一个新的请求。或者接受请求之间的长时间延迟。
还有另一种方法(类似于pawel的答案):
1 2 3 4 5 | import urllib2 import types request = urllib2.Request('http://localhost:8080') request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__) |
只是为了避免在实例级别有未绑定的方法。
可能更容易:使用urllib或urlib2。
1 2 3 4 | >>> import urllib >>> f = urllib.urlopen('http://google.com') >>> f.info().gettype() 'text/html' |
号
f.info()是类似字典的对象,因此可以执行f.info()['content-type']等操作。
http://docs.python.org/library/urllib.htmlhttp://docs.python.org/library/urlib2.html(中文)http://docs.python.org/library/httplib.html
文档注意到httplib通常不直接使用。