使用Java抓取网页数据
作者:网络转载 发布时间:[ 2016/1/11 11:49:52 ] 推荐标签:测试开发技术 Java
一、使用 HttpClient 抓取网页数据
public String getHtml(String htmlurl) throws IOException {
StringBuffer sb = new StringBuffer();
String acceptEncoding = "";
/* 1.生成 HttpClinet 对象并设置参数 */
HttpClient httpClient = new HttpClient();
GetMethod method = new GetMethod(htmlurl);
int statusCode;
try {
statusCode = httpClient.executeMethod(method);
// 判断访问的状态码
if (statusCode != HttpStatus.SC_OK) {
return null;
} else {
if (method.getResponseHeader("Content-Encoding") != null)
acceptEncoding = method.getResponseHeader(
"Content-Encoding").getValue();
if (acceptEncoding.toLowerCase().indexOf("gzip") > -1) {
// 建立gzip解压工作流
InputStream is;
is = method.getResponseBodyAsStream();
GZIPInputStream gzin = new GZIPInputStream(is);
InputStreamReader isr = new InputStreamReader(gzin, Charset.forName(CHARSET)); // 设置读取流的编码格式,自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while ((tempbf = br.readLine()) != null) {
if(StringUtils.isNotBlank(tempbf)){
sb.append(tempbf);
}
}
isr.close();
gzin.close();
System.out.println(sb);
} else {
InputStreamReader isr;
isr = new InputStreamReader(
method.getResponseBodyAsStream(), CHARSET);
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while ((tempbf = br.readLine()) != null) {
if(StringUtils.isNotBlank(tempbf)){
sb.append(tempbf);
}
}
isr.close();
}
}
} catch (HttpException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
method.abort();
method.releaseConnection();
return sb.toString();
}
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11