data get requests from a website with unsupported browser error
我基本上已经尝试了所有的方法,但是仍然得到了不支持的浏览器错误。我使用请求模块。我尝试过头,其他模块,但还是一样。
1 2 3 4 5
| import requests
url ="https://www.ratemyagent.com.au/"
response = requests.get(url)
html_icerigi = response.text
soup = BeautifulSoup(html_icerigi,"html.parser") |
https://www.ratemyagent.com.au/这是美国存托凭证。所以,如果你有任何想法来消除这个错误,请告诉我。
提前多谢了
编辑:这是我尝试作为标题的内容:
user_agent='mozilla/5.0(windows nt 6.1;wow64)applewebkit/537.36(khtml,类似gecko)chrome/41.0.2272.101 safari/537.36'headers='user agent':user_agent response=requests.get(url,headers=headers)
版本//python 3。漂亮的soup4:4.6.0请求:2.20[这是soup.text或reponse.text的输出][1]
- 无法重现错误,从请求接收HTTP 200
- 但当您打印文本时,浏览器不受支持
- 你试过什么标题?具体来说,什么User-Agent头?
- user_agent='mozilla/5.0(windows nt 6.1;wow64)applewebkit/537.36(khtml,类似gecko)chrome/41.0.2272.101 safari/537.36'headers='user agent':user_agent response=requests.get(url,headers=headers)
- 这是我试过的
- 也许这和认证有关?
- 检查你的User-Agent,如@johngordon建议的那样。无法重现错误。我也得了200分。这与证书无关。检查用户代理。您可以使用pypi.org/project/fake-useragent轻松选择用户代理。
- 我刚在几个浏览器上尝试过,但还是一样。不支持的浏览器。@ PruthviKumar。谢谢你的帮助。
- 您使用的是什么版本的python、requests和bs4?乌斯塔德斯
- python 3.7,bs4 0.01,请求2.20@pruthvikumar
- 即使在得到URL的请求之后,我也会打印出来,并且总是收到不支持的错误。我的意思是当你尝试的时候你有不同的结果吗?我是不是错过了普鲁思维克玛?response=requests.get(url,headers=header)print(response.text),然后返回相同的结果….
- BS4版本0.0.1????听起来很奇怪。我得到的是上面相同代码的200。详细信息:PY-3,请求-2.18.4,漂亮的soup4-4.6.0
- 是的,对不起,我查错了,我的也是4.6.0。但是当你试图得到文本的时候。您是否还看到不支持的浏览器?我也得到了200,但是有了文本,我无法找到代码的来源@pruthvikumar
- 请在问题中编辑其他信息,如标题、BS4版本。
- 我的BS4-4.5.1请求-2.20.1 python35没有错误
- 但是你有什么样的产出呢?所以和我在编辑信息中分享的不一样?@我真的需要帮助,否则我会发疯)再次感谢大家的帮助…
是
not a error。当你通常通过
chrome browser搜索
https://www.ratemyagent.com.au/时,你得到的页面资源也有你所说的信息:
虽然"按请求获取"模块中的资源与Web浏览器中的资源相同,但我认为这不是错误。