C#完整的获取网页内容 (考虑编码GZIP问题)

长歌依楼.≈

之前看了很多获取网页源码的写法，要么有乱码，要么没考虑到gzip等压缩，比如有些网页这个HttpWebResponse 对象的CharacterSet是iso-8859-1,那么这种情况

我们根据它的charset读取。

   还有个将流转成byte[] 数组的。。。发现GetResponseStream() 的流不能获取length属性

   以下是全部源码

1.         /// <summary>
   
2.         /// 将 Stream 转成 byte[]
   
3.         /// </summary>
   
4.         private static byte[] StreamToBytes(Stream stream)
   
5.         {
   
6.             MemoryStream stmMemory = new MemoryStream();
   
7.             byte[] buffer = new byte[4096];
   
8.             int i;
   
9.             while ((i = stream.Read(buffer, 0, buffer.Length)) > 0)
   
10.             {
    
11.                 stmMemory.Write(buffer, 0, i);
    
12.             }
    
13.             byte[] arraryByte = stmMemory.ToArray();
    
14.             stmMemory.Close();
    
15. 
    
16. 
    
17.             // 设置当前流的位置为流的开始
    
18.             if (stream.CanSeek)
    
19.             {
    
20.                 stream.Seek(0, SeekOrigin.Begin);
    
21.             }
    
22.             return arraryByte;
    
23.         }
    
24.         /**  
    
25. * 用getBytes(encoding)：返回字符串的一个byte数组  
    
26. * 当b[0]为 63时，应该是转码错误  
    
27. * A、不乱码的汉字字符串：  
    
28. * 1、encoding用GB2312时，每byte是负数；  
    
29. * 2、encoding用ISO8859_1时，b[i]全是63。  
    
30. * B、乱码的汉字字符串：  
    
31. * 1、encoding用ISO8859_1时，每byte也是负数；  
    
32. * 2、encoding用GB2312时，b[i]大部分是63。  
    
33. * C、英文字符串  
    
34. * 1、encoding用ISO8859_1和GB2312时，每byte都大于0；  
    
35. * <p/>  
    
36. * 总结：给定一个字符串，用getBytes("iso8859_1")  
    
37. * 1、如果b[i]有63，不用转码； A-2  
    
38. * 2、如果b[i]全大于0，那么为英文字符串，不用转码； B-1  
    
39. * 3、如果b[i]有小于0的，那么已经乱码，要转码。 C-1  
    
40. */
    
41.         /// <summary>
    
42.         /// //url是要访问的网站地址，charSet是目标网页的编码，如果传入的是null或者""，那就自动分析网页的编码
    
43.         /// </summary>
    
44.         /// <param name="url"></param>
    
45.         /// <returns></returns>
    
46.         public static string DoGet(string url, string charSet = null, string aspnetSessionID = null)
    
47.         {
    
48.             HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
    
49.             if (!String.IsNullOrEmpty(aspnetSessionID))
    
50.             {
    
51.                 CookieContainer cookies = new CookieContainer();
    
52.                 req.CookieContainer = cookies;
    
53.                 Cookie appCookie = new Cookie("ASP.NET_SessionId", aspnetSessionID);//注意ASP.NET验证sessionID的名:ASP.NET_SessionId   
    
54.                 req.CookieContainer.Add(new Uri(url), appCookie);
    
55.             }
    
56.             // 需要注意的：
    
57.             //有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
    
58.             //这是就要具体问题具体分析比如在头部加入cookie
    
59.             // req.Headers.Add("Cookie", cookie);
    
60.             //这样可能需要一些重载方法。根据需要写就可以了
    
61. 
    
62.             //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
    
63.             req.Credentials = CredentialCache.DefaultCredentials;
    
64.             //如果服务器要验证用户名,密码
    
65.             //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    
66.             //myWebClient.Credentials = mycred;
    
67.             //从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
    
68. 
    
69.             req.Method = "GET";
    
70.             req.ContentType = "application/x-www-form-urlencoded";
    
71.             HttpWebResponse res = (HttpWebResponse)req.GetResponse();
    
72.             Stream receiveStream = res.GetResponseStream();
    
73.             if (res.ContentEncoding.ToLower().Contains("gzip"))
    
74.             {
    
75.                 receiveStream = new GZipStream(receiveStream, CompressionMode.Decompress);
    
76.             }
    
77.             else
    
78.                 if (res.ContentEncoding.ToLower().Contains("deflate"))
    
79.                 {
    
80.                     receiveStream = new DeflateStream(receiveStream, CompressionMode.Decompress);
    
81.                 }
    
82. 
    
83.             //获取网页字符编码描述信息
    
84.             //Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    
85.             //string webCharSet = charSetMatch.Groups[2].Value.Trim('"');
    
86.             byte[] buffer = StreamToBytes(receiveStream);
    
87.             Encoding encode = Encoding.UTF8;
    
88.             if (String.IsNullOrEmpty(charSet))
    
89.             {
    
90.                 if (res.CharacterSet != null && res.CharacterSet != "" && (res.CharacterSet.ToLower() == "gbk" || res.CharacterSet.ToLower() == "gb2312"))
    
91.                 {
    
92.                     encode = Encoding.GetEncoding("gb2312");
    
93.                 }
    
94.             }
    
95.             else
    
96.             {
    
97.                 encode = Encoding.GetEncoding(charSet);
    
98.             }
    
99. 
    
100.             string result = encode.GetString(buffer);
     
101. 
     
102.             if (res.CharacterSet.ToLower() == "iso-8859-1")
     
103.             {
     
104.                 Match charSetMatch = Regex.Match(result, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
     
105.                 if (charSetMatch.Success)
     
106.                 {
     
107.                     string webCharSet = charSetMatch.Groups[2].Value.Trim('"');
     
108.                     if (Encoding.GetEncoding(webCharSet) != encode)
     
109.                     {
     
110.                         result = Encoding.GetEncoding(webCharSet).GetString(buffer);
     
111.                     }
     
112.                 }
     
113.             }
     
114. 
     
115.             receiveStream.Close();
     
116.             buffer = null;
     
117.             return result;
     
118.         }

复制代码

[size=1em]

龙

我发现我的代码要比这个短好多  所以执行效率也高好多= =

长歌依楼.≈

飞龙 发表于 2013-2-25 17:26
我发现我的代码要比这个短好多  所以执行效率也高好多= =

= =这个比较好理解

龙

醉颜儿 发表于 2013-2-25 17:27
= =这个比较好理解

而且我记得stream到byte[] 不是只要用.toarray()就行了么= =

wqnmlgjbd

我要给你回复  

wqnmlgjbd

我要升级啊给你回复  

wqnmlgjbd

你们这些无聊的人呢   

wqnmlgjbd

im好啊哈   啊啊啊啊啊

woshishui

反正我又看不懂