爬取网站的时候 conn = Jsoup.connect(url).timeout(5000).get();直接用get方法，有些网站可以正常爬取。
但是有些网站报403错误，403是一种在网站访问的过程中，常见的错误提示。表示资源不可用，服务器理解客户对的请求，但是拒绝处理它，通常由服务器上文件或者目录的权限设置导致的web访问错误。
解决方法无非就是从这几个角度：useragent,referer,token,cokkie
所以我们给连接添加模拟浏览器的header：
conn = Jsoup.connect(url).timeout(5000);
conn.header(“Accept”, “text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8”);
conn.header(“Accept-Encoding”, “gzip, deflate, sdch”);
conn.header(“Accept-Language”, “zh-CN,zh;q=0.8”);
conn.header(“User-Agent”, “Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36”);
然后再执行conn.get()
就可以得到数据了。
推荐一款特别好用的抓包工具： fiddler
本文转自：https://blog.csdn.net/qqnbsp/article/details/78258436
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
