Code d'implémentation de contenu Web de Java Crawling

复制代码代码如下:

test de package;

Importer java.io.bufferedReader;

Importer java.io.ioException;

import java.io.inputStream;

Importer java.io.inputStreamReader;

import java.net.authenticator;

import java.net.httpurlconnection;

import java.net.passwordAuthentication;

Importer java.net.url;

import java.net.urlconnection;

import java.util.properties;

classe publique urltest {

// 一个 public 方法 ， 返回字符串 ， 错误则返回 "Erreur ouverte URL"

String statique public getContent (String Strurl) {

essayer {

Url url = nouvelle URL (strurl);

BufferedReader Br = nouveau BufferedReader (nouveau leader InputStreamRed (URL

.openStream ()));

String s = "";

StringBuffer sb = new StringBuffer ("");

while ((s = br.readline ())! = null) {

sb.append (s + "/ r / n");

}

br.close ();

return sb.toString ();

} catch (exception e) {

return "Error Open URL:" + strurl;

}

}

public static void initproxy (hôte de chaîne, port int, nom d'utilisateur final de chaîne,

Mot de passe de chaîne final) {

Authenticator.setDefault (new Authenticator () {

Protégé de PasswordAuthentication GetPasswordAuthentication () {{

Renvoie un nouveau mot de passe-PASTOWAUTHENTICATION (Nom d'utilisateur,

Nouvelle chaîne (mot de passe) .toCharArray ());

}

});

System.SetProperty ("http.proxytype", "4");

System.SetProperty ("http.proxyport", Integer.ToString (port));

System.SetProperty ("http.proxyhost", hôte);

System.SetProperty ("http.proxyset", "true");

}

public static void main (String [] args) lance ioException {

String url = "//www.vevb.com";

String proxy = "http://192.168.22.81";

int port = 80;

String username = "username";

Chaîne mot de passe = "mot de passe";

String curline = "";

String contenu = "";

URL Server = nouvelle URL (URL);

initProxy (proxy, port, nom d'utilisateur, mot de passe);

HttpurlConnection Connection = (httpurlConnection) Server

.OpenConnection ();

connection.connect ();

InputStream est = connection.getInputStream ();

BufferedReader Reader = new BufferedReader (nouveau

InputStreamReader (IS));

while ((curline = reader.readline ())! = null) {

Content = Content + CURLINE + "/ R / N";

}

System.out.println ("Content =" + Content);

is.close ();

System.out.println (getContent (URL));

}

}