在《IP位址->地理位置轉換的評估》一文中提到用ip2addr函數直接讀取IP資料庫檔案是效率最高的，相較於用MySQL資料庫儲存IP數據，用SQL查詢是效率最低的。但是IP資料庫檔案QQWry.dat是GB2312編碼的。現在我需要UTF-8編碼的地理位置結果。如果用MySQL方法，可以在資料存入資料庫時就轉換為UTF-8編碼，一勞永逸。但是QQWry.dat檔案又無法修改，只能把ip2addr函數的輸出結果再進行動態轉換。
動態轉換GB->UTF-8編碼至少有四種方法：
用PHP的iconv擴充轉換
用PHP的mb_string擴充轉換
用對換錶轉換，對換錶儲存在MySQL資料庫
中用
對換表轉換，對換錶儲存在文字檔案中
前兩種方法要伺服器作了對應設定（編譯安裝了對應擴充功能）才能使用。我的虛擬主機沒有這兩個擴展，只好考慮後兩種方法。前兩個方法本文也不進行評量。
評量程式如下（func_ip.php參見《IP位址->地理位置轉換的評測》一文）：
<?php
require_once ("func_ip.php");
function u2utf8($c) {
$str = "";
if ($c < 0x80) {
$str .= $c;
} elseif ($c < 0x800) {
$str .= chr(0xC0 | $c >> 6);
$str .= chr(0x80 | $c & 0x3F);
} elseif ($c < 0x10000) {
$str .= chr(0xE0 | $c >> 12);
$str .= chr(0x80 | $c >> 6 & 0x3F);
$str .= chr(0x80 | $c & 0x3F);
} elseif ($c < 0x200000) {
$str .= chr(0xF0 | $c >> 18);
$str .= chr(0x80 | $c >> 12 & 0x3F);
$str .= chr(0x80 | $c >> 6 & 0x3F);
$str .= chr(0x80 | $c & 0x3F);
}
return $str;
}
function GB2UTF8_SQL($strGB) {
if (!trim($strGB)) return $strGB;
$strRet = "";
$intLen = strlen($strGB);
for ($i = 0; $i < $intLen; $i++) {
if (ord($strGB{$i}) > 127) {
$strCurr = substr($strGB, $i, 2);
$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
$strSql = "SELECT code_unicode FROM nnstats_gb_unicode
WHERE code_gb = ".$intGB." LIMIT 1"
;
$resResult = mysql_query($strSql);
if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);
else $strRet .= "??";
$i++;
} else {
$strRet .= $strGB{$i};
}
}
return $strRet;
}
function GB2UTF8_FILE($strGB) {
if (!trim($strGB)) return $strGB;
$arrLines = file("gb_unicode.txt");
foreach ($arrLines as $strLine) {
$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
}
$strRet = "";
$intLen = strlen($strGB);
for ($i = 0; $i < $intLen; $i++) {
if (ord($strGB{$i}) > 127) {
$strCurr = substr($strGB, $i, 2);
$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);
else $strRet .= "??";
$i++;
} else {
$strRet .= $strGB{$i};
}
}
return $strRet;
}
function EncodeIp($strDotquadIp) {
$arrIpSep = explode('.', $strDotquadIp);
if (count($arrIpSep) != 4) return 0;
$intIp = 0;
foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);
return $intIp;
//return sprintf('%02x%02x%02x%02x', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);
}
function GetMicroTime() {
list($msec, $sec) = explode(" ", microtime());
return ((double)$msec + (double)$sec);
}
for ($i = 0; $i < 100; $i++) { // 隨機產生100個ip位址
$strIp = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);
$arrAddr[$i] = ip2addr(EncodeIp($strIp));
}
$resConn = mysql_connect("localhost", "netnest", "netnest");
mysql_select_db("test");
// 評估MySQL查詢的編碼轉換
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
$strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["region"]);
$strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 測評結束並輸出結果
echo $dblTimeDuration; echo "rn";
// 評量文字檔案查詢的編碼轉換
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
$strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["region"]);
$strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 測評結束並輸出結果
echo $dblTimeDuration; echo "rn";
?>
評量兩次結果（精確到3位小數，單位是秒）：
MySQL查詢轉換：0.112
文字查詢轉換：10.590
MySQL查詢轉換：0.099
文字查詢轉換：10.623
可見這次是MySQL方法遙遙領先檔案查詢法。但現在還不急於使用MySQL方法，因為文字檔案方法之所以如此耗時，主要因為它每次轉換都要把整個gb_unicode.txt讀入內存，而gb_unicode.txt又是文字文件，格式如下：
0x2121 0x3000 # IDEOGRAPHIC SPACE
0x2122 0x3001 # IDEOGRAPHIC COMMA
0x2123 0x3002 # IDEOGRAPHIC FULL STOP
0x2124 0x30FB # KATAKANA MIDDLE DOT
0x2125 0x02C9 # MODIFIER LETTER MACRON (Mandarin Chinese first tone)
……
0x552A 0x6458 # <CJK>
0x552B 0x658B # <CJK>
0x552C 0x5B85 # <CJK>
0x552D 0x7A84 # <CJK>
……
0x777B 0x9F37 # <CJK>
0x777C 0x9F3D # <CJK>
0x777D 0x9F3E # <CJK>
0x777E 0x9F44 # <CJK>
文字文件效率較低，於是考慮把文字文件轉換為二進位文件，然後用折半法查找這個文件，而不需要把整個文件讀入記憶體。文件格式為：文件頭2字節，儲存記錄數；接著一則記錄存入文件，每筆記錄4字節，前2字節對應GB代碼，後2字節對應Unicode代碼。轉換程式如下：
<?php
$arrLines = file("gb_unicode.txt");
foreach ($arrLines as $strLine) {
$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
}
ksort($arrCodeTable);
$intCount = count($arrCodeTable);
$strCount = chr($intCount % 256) . chr(floor($intCount / 256));
$fileGBU = fopen("gbu.dat", "wb");
fwrite($fileGBU, $strCount);
foreach ($arrCodeTable as $k => $v) {
$strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));
fwrite($fileGBU, $strData);
}
fclose($fileGBU);
?>
執行程序後就獲得了二進制的GB->Unicode對照表gbu.dat，並且數據記錄按GB代碼排了序，便於折半法查找。使用gbu.dat進行轉碼的函數如下：
function GB2UTF8_FILE1($strGB) {
if (!trim($strGB)) return $strGB;
$fileGBU = fopen("gbu.dat", "rb");
$strBuf = fread($fileGBU, 2);
$intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});
$strRet = "";
$intLen = strlen($strGB);
for ($i = 0; $i < $intLen; $i++) {
if (ord($strGB{$i}) > 127) {
$strCurr = substr($strGB, $i, 2);
$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
$intStart = 1;
$intEnd = $intCount;
while ($intStart < $intEnd - 1) { // 折半法找
$intMid = floor(($intStart + $intEnd) / 2);
$intOffset = 2 + 4 * ($intMid - 1);
fseek($fileGBU, $intOffset);
$strBuf = fread($fileGBU, 2);
$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
if ($intGB == $intCode) {
$intStart = $intMid;
break;
}
if ($intGB > $intCode) $intStart = $intMid;
else $intEnd = $intMid;
}
$intOffset = 2 + 4 * ($intStart - 1);
fseek($fileGBU, $intOffset);
$strBuf = fread($fileGBU, 2);
$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
if ($intGB == $intCode) {
$strBuf = fread($fileGBU, 2);
$intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});
$strRet .= u2utf8($intCodeU);
} else {
$strRet .= "??";
}
$i++;
} else {
$strRet .= $strGB{$i};
}
}
return $strRet;
}
把其加到原來的評量程序，對三種方法同時評估2次得到數據（精確到3位小數，單位：秒）：
MySQL方法：0.125
文字檔案方法：10.873
二進位檔案折半法：0.106
MySQL方法：0.102
文字檔方法：10.677
二進位檔案折半法：0.092
可見二進位檔案折半法也比MySQL法略有優勢。但上述測評都是對短的地理位置進行轉碼，如果對較長的文字轉碼又如何呢？我找來5個Blog的RSS 2.0文件，都是GB2312編碼。評量三種方法對5個檔案編碼耗費的時間，2次測量資料如下（精確到3位小數，單位：秒）：
MySQL方法：7.206
文字檔案方法：0.772
二進位檔案折半法：5.022
MySQL方法：7.440
文字檔方法：0.766
二進位檔案折半法：5.055
可見對長的文字是用文字檔的方法最優，因為轉碼對照表讀入記憶體後，轉碼就可以很有效率了。既然如此，我們還可以嘗試改進一下，把文字檔方法改為：轉碼對照表從二進位檔案gbu.dat讀入內存，而不是文字檔。測評資料如下（精確度和單位同上）：
從文字檔讀入對照表：0.766
從二進位檔案讀入對照表：0.831
從文本檔讀入對照表：0.774
從二進位檔案讀入對照表：0.833
顯示這次改進失敗了，從文本檔讀入轉碼對照表更有效率。
總結：用PHP對GB編碼到UTF-8編碼的動態轉換，如果每次轉換的文字很小，適宜用二進位檔案結合折半法轉換；如果每次轉換的文字較大，適宜用文字檔案儲存轉碼對照表，並在轉換前一次性把對照表讀入記憶體。