การประเมินวิธีการหลายวิธีในการแปลงการเข้ารหัส GB เป็นการเข้ารหัส UTF-8 ใน PHP แบบไดนามิก

ในบทความ "การประเมินที่อยู่ IP->การแปลงตำแหน่งทางภูมิศาสตร์" มีการกล่าวถึงว่าการใช้ฟังก์ชัน ip2addr เพื่ออ่านไฟล์ฐานข้อมูล IP โดยตรงนั้นมีประสิทธิภาพมากที่สุด เมื่อเทียบกับการใช้ฐานข้อมูล MySQL เพื่อจัดเก็บข้อมูล IP การใช้แบบสอบถาม SQL คือ มีประสิทธิภาพน้อยที่สุด แต่ไฟล์ฐานข้อมูล IP QQWry.dat มีการเข้ารหัส GB2312 ตอนนี้ฉันต้องการผลลัพธ์การระบุตำแหน่งทางภูมิศาสตร์ที่เข้ารหัส UTF-8 หากคุณใช้วิธี MySQL คุณสามารถแปลงข้อมูลเป็นการเข้ารหัส UTF-8 ได้เมื่อข้อมูลนั้นถูกจัดเก็บไว้ในฐานข้อมูลทันที อย่างไรก็ตาม ไฟล์ QQWry.dat ไม่สามารถแก้ไขได้ และผลลัพธ์เอาต์พุตของฟังก์ชัน ip2addr สามารถแปลงได้แบบไดนามิกเท่านั้น

มีอย่างน้อยสี่วิธีในการแปลงการเข้ารหัส GB->UTF-8 แบบไดนามิก:

ใช้ส่วนขยาย iconv ของ PHP เพื่อแปลง

ใช้ส่วนขยาย mb_string ของ PHP เพื่อแปลง

ใช้การแปลงตารางสลับ และตารางสลับจะถูกจัดเก็บไว้

ใน

ในการจัดเก็บในไฟล์ข้อความ

สามารถใช้ได้ก็ต่อเมื่อเซิร์ฟเวอร์ได้รับการตั้งค่าตามนั้นเท่านั้น (ส่วนขยายที่เกี่ยวข้องได้รับการคอมไพล์และติดตั้งแล้ว) โฮสต์เสมือนของฉันไม่มีส่วนขยายทั้งสองนี้ ดังนั้นฉันต้องพิจารณาสองวิธีหลัง สองวิธีแรกไม่ได้รับการประเมินในบทความนี้

ขั้นตอนการประเมินมีดังนี้ (สำหรับ func_ip.php โปรดดูบทความ "การประเมินที่อยู่ IP->การแปลงตำแหน่งทางภูมิศาสตร์"):

<?php
need_once ("func_ip.php");
ฟังก์ชั่น u2utf8($c) {
$str = "";
ถ้า ($c < 0x80) {
$str .= $c;
} elseif ($c < 0x800) {
$str .= chr(0xC0 | $c >> 6);
$str .= chr(0x80 | $c & 0x3F);
} elseif ($c < 0x10000) {
$str .= chr(0xE0 | $c >> 12);
$str .= chr(0x80 | $c >> 6 & 0x3F);
$str .= chr(0x80 | $c & 0x3F);
} elseif ($c < 0x200000) {
$str .= chr(0xF0 | $c >> 18);
$str .= chr(0x80 | $c >> 12 & 0x3F);
$str .= chr(0x80 | $c >> 6 & 0x3F);
$str .= chr(0x80 | $c & 0x3F);
-
กลับ $str;
-
ฟังก์ชั่น GB2UTF8_SQL($strGB) {
ถ้า (!trim($strGB)) ส่งคืน $strGB;
$strRet = "";
$intLen = strlen($strGB);
สำหรับ ($i = 0; $i < $intLen; $i++) {
ถ้า (อ๊อด($strGB{$i}) > 127) {
$strCurr = substr($strGB, $i, 2);
$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
$strSql = "เลือก code_unicode จาก nnstats_gb_unicode
โดยที่ code_gb = ".$intGB"
-
$resResult = mysql_query($strSql);
if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);
อย่างอื่น $strRet .= "??";
$i++;
} อื่น {
$strRet .= $strGB{$i};
-
-
ส่งคืน $strRet;
-
ฟังก์ชั่น GB2UTF8_FILE($strGB) {
ถ้า (!trim($strGB)) ส่งคืน $strGB;
$arrLines = file("gb_unicode.txt");
foreach ($arrLines เป็น $strLine) {
$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
-
$strRet = "";
$intLen = strlen($strGB);
สำหรับ ($i = 0; $i < $intLen; $i++) {
ถ้า (อ๊อด($strGB{$i}) > 127) {
$strCurr = substr($strGB, $i, 2);
$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
ถ้า ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);
อย่างอื่น $strRet .= "??";
$i++;
} อื่น {
$strRet .= $strGB{$i};
-
-
ส่งคืน $strRet;
-
ฟังก์ชั่น EncodeIp($strDotquadIp) {
$arrIpSep = explode('.', $strDotquadIp);
ถ้า (นับ($arrIpSep) != 4) กลับ 0;
$intIp = 0;
foreach ($arrIpSep เป็น $k => $v) $intIp += (int)$v * pow(256, 3 - $k);
ส่งคืน $intIp;
//return sprintf('%02x%02x%02x%02x', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);
-
ฟังก์ชัน GetMicroTime() {
list($msec, $sec) = explode(" ", microtime());
กลับ ((สองเท่า)$msec + (สองเท่า)$วินาที);
-
for ($i = 0; $i < 100; $i++) { // สุ่มสร้างที่อยู่ IP 100 รายการ
$strIp = mt_rand(0, 255).".".mt_rand(0, 255)".".mt_rand(0, 255)".".mt_rand(0, 255);
$arrAddr[$i] = ip2addr(EncodeIp($strIp));
-
$resConn = mysql_connect("localhost", "netnest", "netnest");
mysql_select_db("ทดสอบ");
// ประเมินการแปลงการเข้ารหัสของการสืบค้น MySQL
$dblTimeStart = GetMicroTime();
สำหรับ ($i = 0; $i < 100; $i++) {
$strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["ภูมิภาค"]);
$strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["ที่อยู่"]);
-
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
//การประเมินสิ้นสุดลงและผลลัพธ์ก็ออกมา
echo $dblTimeDuration; เสียงสะท้อน "rn";
// การเข้ารหัสการแปลงแบบสอบถามไฟล์ข้อความการประเมินผล
$dblTimeStart = GetMicroTime();
สำหรับ ($i = 0; $i < 100; $i++) {
$strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["ภูมิภาค"]);
$strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["ที่อยู่"]);
-
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
//การประเมินสิ้นสุดลงและผลลัพธ์ก็ออกมา
echo $dblTimeDuration; เสียงสะท้อน "rn";
-
ผลลัพธ์ของการประเมินสองครั้ง (แม่นยำถึงทศนิยม 3 ตำแหน่ง หน่วยเป็นวินาที):

การแปลงแบบสอบถาม MySQL: 0.112
การแปลงแบบสอบถามข้อความ: 10.590

การแปลงแบบสอบถาม MySQL: 0.099
การแปลงแบบสอบถามข้อความ: 10.623

จะเห็นได้ว่าคราวนี้วิธีการ MySQL นั้นล้ำหน้ากว่าวิธีการสืบค้นไฟล์มาก แต่ขณะนี้ยังไม่ต้องใช้วิธีเร่งด่วนเนื่องจากวิธีไฟล์ข้อความใช้เวลานานมาก เนื่องจากต้องอ่าน gb_unicode.txt ทั้งหมดลงในหน่วยความจำสำหรับการแปลงแต่ละครั้ง และ gb_unicode.txt เป็นไฟล์ข้อความที่มี รูปแบบต่อไปนี้:

0x2121 0x3000 #IDEOGRAPHICSPACE
0x2122 0x3001 #เครื่องหมายจุลภาคอุดมคติ
0x2123 0x3002 #IDEOGRAPHIC หยุดเต็มรูปแบบ
0x2124 0x30FB # KATAKANA MIDDLE DOT
0x2125 0x02C9 # MODIFIER LETTER MACRON (โทนเสียงแรกของภาษาจีนกลาง)
-
0x552A 0x6458 # <CJK>
0x552B 0x658B # <CJK>
0x552C 0x5B85 # <CJK>
0x552D 0x7A84 # <CJK>
-
0x777B 0x9F37 # <CJK>
0x777C 0x9F3D # <CJK>
0x777D 0x9F3E # <CJK>
0x777E 0x9F44 # <CJK>

ไฟล์ข้อความไม่มีประสิทธิภาพ ดังนั้นให้พิจารณาแปลงไฟล์ข้อความให้เป็นไฟล์ไบนารี จากนั้นใช้วิธีครึ่งทางเพื่อค้นหาไฟล์โดยไม่ต้องอ่านไฟล์ทั้งหมดลงในหน่วยความจำ รูปแบบไฟล์คือ: ส่วนหัวของไฟล์คือ 2 ไบต์ โดยจัดเก็บจำนวนบันทึก จากนั้นบันทึกจะถูกจัดเก็บไว้ในไฟล์ทีละรายการ แต่ละบันทึกมีขนาด 4 ไบต์ 2 ไบต์แรกตรงกับรหัส GB และ 2 ไบต์สุดท้าย สอดคล้องกับรหัส Unicode ขั้นตอนการแปลงเป็นดังนี้:

<?php
$arrLines = file("gb_unicode.txt");
foreach ($arrLines เป็น $strLine) {
$arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
-
ksort($arrCodeTable);
$intCount = จำนวน($arrCodeTable);
$strCount = chr($intCount % 256) . chr(ชั้น($intCount / 256));
$fileGBU = fopen("gbu.dat", "wb");
fwrite($fileGBU, $strCount);
foreach ($arrCodeTable เป็น $k => $v) {
$strData = chr($k % 256) . chr(ชั้น($k / 256)) .
fwrite($fileGBU, $strData);
-
fclose($fileGBU);
-
หลังจากรันโปรแกรมแล้ว จะได้ตารางเปรียบเทียบไบนารี GB->Unicode gbu.dat และบันทึกข้อมูลจะถูกจัดเรียงตามรหัส GB ซึ่งสะดวกสำหรับการค้นหาด้วยวิธีครึ่งหนึ่ง ฟังก์ชันสำหรับการแปลงรหัสโดยใช้ gbu.dat มีดังนี้:

ฟังก์ชัน GB2UTF8_FILE1($strGB) {
ถ้า (!trim($strGB)) ส่งคืน $strGB;
$fileGBU = fopen("gbu.dat", "rb");
$strBuf = fread($fileGBU, 2);
$intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});
$strRet = "";
$intLen = strlen($strGB);
สำหรับ ($i = 0; $i < $intLen; $i++) {
ถ้า (อ๊อด($strGB{$i}) > 127) {
$strCurr = substr($strGB, $i, 2);
$intGB = hexdec(bin2hex($strCurr)) - 0x8080;
$intStart = 1;
$intEnd = $intCount;
ในขณะที่ ($intStart < $intEnd - 1) { // ค้นหาทีละครึ่งวิธี
$intMid = floor(($intStart + $intEnd) / 2);
$intOffset = 2 + 4 * ($intMid - 1);
fseek($fileGBU, $intOffset);
$strBuf = fread($fileGBU, 2);
$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
ถ้า ($intGB == $intCode) {
$intStart = $intMid;
หยุดพัก;
-
ถ้า ($intGB > $intCode) $intStart = $intMid;
อย่างอื่น $intEnd = $intMid;
-
$intOffset = 2 + 4 * ($intStart - 1);
fseek($fileGBU, $intOffset);
$strBuf = fread($fileGBU, 2);
$intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
ถ้า ($intGB == $intCode) {
$strBuf = fread($fileGBU, 2);
$intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});
$strRet .= u2utf8($intCodeU);
} อื่น {
$strRet .= "??";
-
$i++;
} อื่น {
$strRet .= $strGB{$i};
-
-
ส่งคืน $strRet;
-
เพิ่มลงในโปรแกรมประเมินผลดั้งเดิม และประเมินทั้งสามวิธีสองครั้งพร้อมกันเพื่อให้ได้ข้อมูล (แม่นยำถึงทศนิยม 3 ตำแหน่ง หน่วย: วินาที):

วิธี MySQL: 0.125
วิธีไฟล์ข้อความ: 10.873
วิธีการแบ่งครึ่งไฟล์ไบนารี: 0.106

วิธี MySQL: 0.102
วิธีไฟล์ข้อความ: 10.677
วิธีการลดไฟล์ไบนารี่: 0.092

จะเห็นได้ว่าวิธีการลดไฟล์ไบนารี่มีข้อได้เปรียบเหนือวิธี MySQL เล็กน้อย อย่างไรก็ตาม การประเมินข้างต้นจะแปลงรหัสสถานที่ตั้งทางภูมิศาสตร์แบบสั้นทั้งหมดจะเป็นอย่างไรหากแปลงข้อความที่ยาวกว่านี้ ฉันพบไฟล์ Blog RSS 2.0 จำนวน 5 ไฟล์ ซึ่งทั้งหมดเข้ารหัสเป็น GB2312 ประเมินเวลาที่ใช้ในการเข้ารหัส 5 ไฟล์โดยใช้สามวิธี ข้อมูลการวัดทั้งสองมีดังต่อไปนี้ (แม่นยำถึงทศนิยม 3 ตำแหน่ง หน่วย: วินาที):

วิธี MySQL: 7.206
วิธีไฟล์ข้อความ: 0.772
วิธีการแบ่งครึ่งไฟล์ไบนารี: 5.022

วิธี MySQL: 7.440
วิธีไฟล์ข้อความ: 0.766
วิธีการแบ่งครึ่งไฟล์ไบนารี: 5.055

จะเห็นได้ว่าวิธีไฟล์ข้อความเหมาะสมที่สุดสำหรับข้อความขนาดยาว เนื่องจากหลังจากอ่านตารางเปรียบเทียบการแปลงรหัสในหน่วยความจำแล้ว การแปลงรหัสจะมีประสิทธิภาพมาก ในกรณีนี้ เราสามารถลองปรับปรุงและเปลี่ยนวิธีไฟล์ข้อความเป็น: ตารางเปรียบเทียบการแปลงรหัสจะถูกอ่านในหน่วยความจำจากไฟล์ไบนารี gbu.dat แทนที่จะเป็นไฟล์ข้อความ ข้อมูลการประเมินมีดังนี้ (ความแม่นยำและหน่วยเหมือนกับด้านบน):

อ่านตารางเปรียบเทียบจากไฟล์ข้อความ: 0.766
อ่านตารางค้นหาจากไฟล์ไบนารี: 0.831

อ่านตารางค้นหาจากไฟล์ข้อความ: 0.774
การอ่านตารางเปรียบเทียบจากไฟล์ไบนารี: 0.833

บ่งชี้ว่าการปรับปรุงนี้ล้มเหลว และการอ่านตารางเปรียบเทียบการแปลงรหัสจากไฟล์ข้อความจะมีประสิทธิภาพมากกว่า

สรุป: ใช้ PHP เพื่อแปลงการเข้ารหัส GB เป็นการเข้ารหัส UTF-8 แบบไดนามิก หากข้อความที่แปลงในแต่ละครั้งมีขนาดเล็ก จะเหมาะสมที่จะใช้ไฟล์ไบนารีร่วมกับวิธีการแปลงแบบครึ่งทาง หากข้อความที่แปลงในแต่ละครั้งมีขนาดใหญ่ เหมาะที่จะใช้ไฟล์ข้อความเพื่อจัดเก็บตารางการค้นหาและอ่านตารางการค้นหาลงในหน่วยความจำหนึ่งครั้งก่อนการแปลง