如今,開發人員不斷開發和部署使用LAMP(Linux®、Apache、MySQL 和PHP/Perl)架構的應用程式。但是,伺服器管理員常常對應用程式本身沒有什麼控制能力,因為應用程式是別人寫的。這份共三部分的系列文章將討論許多伺服器配置問題,這些配置會影響應用程式的效能。本文是本系列文章的第三部分,也是最後一部分,將重點放在為實現最高效率而對資料庫層進行的調優。
關於MySQL 調優
有3 種方法可以加快MySQL 伺服器的運作速度,效率從低到高依序為:
取代有問題的硬體。 對MySQL 進程的設定進行調優。 對查詢進行最佳化。
替換有問題的硬體通常是我們的第一個考慮,主要原因是資料庫會佔用大量資源。不過這種解決方案也就僅限於此了。實際上,您通常可以讓中央處理器(CPU)或磁碟速度加倍,也可以讓記憶體增加4 到8 倍。
第二種方法是對MySQL 伺服器(也稱為mysqld)進行調優。對這個進程進行調優意味著適當地分配內存,並讓mysqld 了解將會承受何種類型的負載。加快磁碟運行速度不如減少所需的磁碟存取次數。類似地,確保MySQL 進程正確操作就意味著它花費在服務查詢上的時間要多於花費在處理後台任務(如處理臨時磁碟表或開啟和關閉檔案)上的時間。對mysqld 進行調優是本文的重點。
最好的方法是確保查詢已經進行了最佳化。這意味著對錶應用了適當的索引,查詢是按照可以充分利用MySQL 功能的方式來編寫的。儘管本文並沒有包含查詢調校方面的內容(許多著作中已經針對這個主題進行了探討),不過它會配置mysqld 來報告可能需要進行調優的查詢。
雖然已經為這些任務指派了次序,但仍要注意硬體和mysqld 的設定以利於適當地調優查詢。機器速度慢也就罷了,我曾經見過速度很快的機器在運行設計良好的查詢時由於負載過重而失敗,因為mysqld 被大量繁忙的工作所佔用而不能服務查詢。
記錄慢速查詢
在一個SQL 伺服器中,資料表都是保存在磁碟上的。索引為伺服器提供了一種在表中尋找特定資料行的方法,而不用搜尋整個表。當必須要搜尋整個表時,就稱為表掃描。通常來說,您可能只希望獲得表中資料的子集,因此全表掃描會浪費大量的磁碟I/O,因此也會浪費大量時間。當必須連接資料時,這個問題就更加複雜了,因為必須對連接兩端的多行資料進行比較。
當然,表格掃描並不總是會帶來問題;有時讀取整個表格反而會比從中挑選出一部分資料更有效(伺服器進程中查詢規劃器用來做出這些決定)。如果索引的使用效率很低,或者根本無法使用索引,則會減慢查詢速度,而且隨著伺服器上的負載和表大小的增加,這個問題會變得更加顯著。執行時間超過給定時間範圍的查詢稱為慢速查詢。
您可以設定mysqld 將這些慢速查詢記錄到適當命名的慢速查詢日誌中。管理員接著會查看這個日誌來幫助他們確定應用程式中有哪些部分需要進一步調查。清單1 給出了要啟用慢速查詢日誌需要在my.cnf 中所做的配置。
清單1. 啟用MySQL 慢速查詢日誌
[mysqld]; queries-not-using-indexes
這三個設定一起使用,可以記錄執行時間超過5 秒和沒有使用索引的查詢。請注意有關log-queries-not-using-indexes 的警告:您必須使用MySQL 4.1 或更高版本。慢速查詢日誌都保存在MySQL 資料目錄中,名為hostname-slow.log。如果希望使用不同的名字或路徑,可以在my.cnf 中使用log-slow-queries = /new/path/to/file 來實現此目的。
閱讀慢速查詢日誌最好是透過mysqldumpslow 指令進行。指定日誌檔案的路徑,就可以看到一個慢速查詢的排序後的列表,並且也顯示了它們在日誌檔案中出現的次數。一個非常有用的特性是mysqldumpslow 在比較結果之前,會刪除任何使用者指定的數據,因此對同一個查詢的不同呼叫被計為一次;這可以幫助找出需要工作量最多的查詢。
對查詢進行快取
許多LAMP 應用程式都嚴重依賴資料庫,但卻會重複執行相同的查詢。每次執行查詢時,資料庫都必須要執行相同的工作- 對查詢進行分析,確定如何執行查詢,從磁碟中載入信息,然後將結果傳回給客戶機。 MySQL 有一個特性稱為查詢緩存,它將(後面會用到的)查詢結果保存在記憶體中。在很多情況下,這會大大提高效能。不過,問題是查詢快取在預設情況下是禁用的。
將query_cache_size = 32M 新增至/etc/my.conf 中可以啟用32MB 的查詢快取。
監視查詢快取
在啟用查詢快取之後,重要的是要理解它是否得到了有效的使用。 MySQL 有幾個可以查看的變量,可以用來了解快取中的情況。清單2 給出了快取的狀態。
清單2. 顯示查詢快取的統計信息
mysql> SHOW STATUS LIKE 'qcache%';+-------------------------+------------+ | Variable_name | Value |+-------------------------+------------+| Qcache_free_blocks | 5216 | | Qcache_free_memory | 14640664 || Qcache_hits | 2581646882 || Qcache_inserts | 360210964 || Qcache_lowmem_prunes | 281680433 || Qcache_lowmem_prunes | 281680433 ||cache_not 27 || Qcache_total_blocks | 47042 |+-------------- -----------+------------+8 rows in set (0.00 sec)
這些項的解釋如表1 所示。
表1. MySQL 查詢快取變數變數名說明
Qcache_free_blocks 快取中相鄰記憶體區塊的個數。數目大說明可能有碎片。 FLUSH QUERY CACHE 會對快取中的碎片進行整理,從而得到一個空閒區塊。
Qcache_free_memory 快取中的空閒記憶體。
Qcache_hits 每次查詢在快取中命中時就會增大。
Qcache_inserts 每次插入一個查詢時就會增大。命中次數除以插入次數就是不中比值;用1 減去這個值就是命中率。在上面這個例子中,大約有87% 的查詢都在快取中命中。
Qcache_lowmem_prunes 快取出現記憶體不足且必須要進行清理以便為更多查詢提供空間的次數。這個數字最好長時間來看;如果這個數字不斷成長,就表示可能碎片非常嚴重,或記憶體很少。 (上面的free_blocks 和free_memory 可以告訴您屬於哪種情況)。
Qcache_not_cached 不適合用於進行快取的查詢的數量,通常是由於這些查詢不是SELECT 語句。
Qcache_queries_in_cache 目前快取的查詢(和回應)的數量。
Qcache_total_blocks 快取中區塊的數量。
通常,間隔幾秒鐘顯示這些變數就可以看出區別,這可以幫助確定快取是否有效地使用。運行FLUSH STATUS 可以重置一些計數器,如果伺服器已經運行了一段時間,這會非常有幫助。
使用非常大的查詢緩存,期望可以緩存所有東西,這種想法非常誘人。由於mysqld 必須要對快取進行維護,例如當記憶體變得很低時執行剪除,因此伺服器可能會在試圖管理快取時而陷入困境。作為一條規則,如果FLUSH QUERY CACHE 佔用了很長時間,那就表示快取太大了。
強制限制
您可以在mysqld 中強制一些限制來確保系統負載不會導致資源耗盡的情況出現。清單3 給出了my.cnf 中與資源有關的一些重要設定。
清單3. MySQL 資源設置
set-variable=max_connections=500set-variable=wait_timeout=10max_connect_errors = 100
連接最大個數是在第一行中進行管理的。與Apache 中的MaxClients 類似,其想法是確保只建立服務允許數目的連線。若要確定伺服器上目前已建立過的最大連線數,請執行SHOW STATUS LIKE 'max_used_connections'。
第2 行告訴mysqld 終止所有空閒時間超過10 秒的連線。在LAMP 應用程式中,連接資料庫的時間通常就是Web 伺服器處理請求所花費的時間。有時候,如果負載過重,連線會掛起,並且會佔用連線表空間。如果有多個互動使用者或使用了到資料庫的持久連接,那麼將這個值設低一點並不可取!
最後一行是安全的方法。如果一個主機在連接到伺服器時有問題,並重試很多次後放棄,那麼這個主機就會被鎖定,直到FLUSH HOSTS 之後才能運作。預設情況下,10 次失敗就足以導致鎖定了。將這個值修改為100 會給伺服器足夠的時間來從問題中恢復。如果重試100 次都無法建立連接,那麼使用再高的值也不會有太多幫助,可能它根本無法連接。
緩衝區和快取
MySQL 支援超過100 個的可調節設定;但幸運的是,掌握少數幾個就可以滿足大部分需求。尋找這些設定的正確值可以透過SHOW STATUS 指令查看狀態變量,從中可以確定mysqld 的運作情況是否符合我們的預期。給緩衝區和快取分配的記憶體不能超過系統中的現有內存,因此調優通常都需要進行一些妥協。
MySQL 可調節設定可以應用於整個mysqld 進程,也可以應用於單一客戶機會話。
伺服器端的設定
每個表都可以表示為磁碟上的一個文件,必須先打開,然後再讀取。為了加快從檔案讀取資料的過程,mysqld 對這些開啟檔案進行了緩存,其最大數目由/etc/mysqld.conf 中的table_cache 指定。清單4 給出了顯示與開啟表格相關的活動的方式。
清單4. 顯示開啟表格的活動
mysql> SHOW STATUS LIKE 'open%tables';+---------------+-------+| Variable_name | Value |+-------- -------+-------+| Open_tables | 5000 || Opened_tables | 195 |+---------------+------- +2 rows in set (0.00 sec)
清單4 說明目前有5,000 個表是打開的,有195 個表需要打開,因為現在緩存中已經沒有可用文件描述符了(由於統計信息在前面已經清除了,因此可能會存在5,000 個打開表中只有195 個開啟記錄的情況)。如果Opened_tables 隨著重新執行SHOW STATUS 指令快速增加,就表示快取命中率不夠。如果Open_tables 比table_cache 設定小很多,就表示該值太大了(不過有空間可以成長總不是壞事)。例如,使用table_cache = 5000 可以調整表的快取。
與表的快取類似,對於線程來說也有一個快取。 mysqld 在接收連線時會根據需要產生執行緒。在一個連線變化很快的繁忙伺服器上,對執行緒進行快取便於以後使用可以加快最初的連線。
清單5 顯示如何確定是否快取了足夠的執行緒。
清單5. 顯示線程使用統計訊息
mysql> SHOW STATUS LIKE 'threads%';+-------------------+--------+| Variable_name | Value |+---- ---------------+--------+| Threads_cached | 27 || Threads_connected | 15 || Threads_created | 838610 || Threads_running | 3 |+---- ---------------+--------+4 rows in set (0.00 sec)
這裡重要的值是Threads_created,每次mysqld 需要建立一個新執行緒時,這個值都會增加。如果這個數字在連續執行SHOW STATUS 指令時快速增加,就應該嘗試增加線程快取。例如,可以在my.cnf 中使用thread_cache = 40 來實現此目的。
關鍵字緩衝區保存了MyISAM 表的索引區塊。理想情況下,對於這些區塊的請求應該來自於內存,而不是來自於磁碟。清單6 顯示如何確定有多少區塊是從磁碟中讀取的,以及有多少區塊是從記憶體中讀取的。
清單6. 確定關鍵字效率
mysql> show status like '%key_read%';+-------------------+-----------+| Variable_name | Value |+ -------------------+-----------+| Key_read_requests | 163554268 || Key_reads | 98247 |+------- ------------+-----------+2 rows in set (0.00 sec)
Key_reads 代表命中磁碟的請求個數, Key_read_requests 是總數。命中磁碟的讀取請求數除以讀取請求總數就是不中比率- 在本例中每1,000 個請求,大約有0.6 個沒有命中記憶體。如果每1,000 個請求中命中磁碟的數目超過1 個,就應該考慮增大關鍵字緩衝區了。例如,key_buffer = 384M 會將緩衝區設定為384MB。
臨時表可以在更進階的查詢中使用,其中資料在進一步進行處理(例如GROUP BY 字句)之前,都必須先儲存到臨時表中;理想情況下,在記憶體中建立臨時表。但是如果臨時表變得太大,就需要寫入磁碟中。清單7 給出了與臨時表創建有關的統計資料。
清單7. 確定臨時表的使用
mysql> SHOW STATUS LIKE 'created_tmp%';+-------------------------+-------+| Variable_name | Value | +-------------------------+-------+| Created_tmp_disk_tables | 30660 || Created_tmp_files | 2 || Created_tmp_tables | 32912 | +-------------------------+-------+3 rows in set (0.00 sec)
每次使用臨時表都會增加Created_tmp_tables;基於磁碟的表也會增加Created_tmp_disk_tables。對於這個比率,並沒有什麼嚴格的規則,因為這依賴於所涉及的查詢。長時間觀察Created_tmp_disk_tables 會顯示所建立的磁碟表的比率,您可以確定設定的效率。 tmp_table_size 和max_heap_table_size 都可以控制臨時表的最大大小,因此請確保在my.cnf 中對這兩個值都進行了設定。
每個會話的設定
下面這些設定針對於每個會話。在設定這些數字時要十分謹慎,因為它們在乘以可能存在的連接數時候,這些選項表示大量的記憶體!您可以透過程式碼修改會話中的這些數字,或在my.cnf 中為所有會話修改這些設定。
當MySQL 必須要進行排序時,就會在從磁碟上讀取資料時指派一個排序緩衝區來存放這些資料行。如果要排序的資料太大,那麼資料就必須儲存到磁碟上的臨時檔案中,並再次進行排序。如果sort_merge_passes 狀態變數很大,這就指示了磁碟的活動。清單8 給了一些與排序相關的狀態計數器資訊。
清單8. 顯示排序統計訊息
mysql> SHOW STATUS LIKE "sort%";+-------------------+---------+| Variable_name | Value |+--- ----------------+---------+| Sort_merge_passes | 1 || Sort_range | 79192 || Sort_rows | 2066532 || Sort_scan | 44006 |+-- -----------------+---------+4 rows in set (0.00 sec)
如果sort_merge_passes 很大,就表示需要注意sort_buffer_size。例如, sort_buffer_size = 4M 將排序緩衝區設定為4MB。
MySQL 也會分配一些記憶體來讀取表。理想情況下,索引提供了足夠多的信息,可以只讀入所需要的行,但是有時查詢(設計不佳或資料本性使然)需要讀取表中大量資料。要理解這種行為,需要知道運行了多少個SELECT 語句,以及需要讀取表中的下一行資料的次數(而不是透過索引直接存取)。實現這種功能的命令如清單9 所示。
清單9. 確定表格掃描比率
mysql> SHOW STATUS LIKE "com_select";+---------------+--------+| Variable_name | Value |+--------- ------+--------+| Com_select | 318243 |+---------------+--------+1 row in set (0.00 sec)mysql> SHOW STATUS LIKE "handler_read_rnd_next";+-----------------------+----------- +| Variable_name | Value |+-----------------------+-----------+| Handler_read_rnd_next | 165959471 |+- ----------------------+-----------+1 row in set (0.00 sec)
Handler_read_rnd_next / Com_select 得出了表格掃描比率- 在本例中是521:1。如果數值超過4000,就應該查看read_buffer_size,例如read_buffer_size = 4M。如果這個數字超過了8M,就應該與開發人員討論一下對這些查詢進行調優了!
3 個必不可少的工具
儘管在了解具體設定時,SHOW STATUS 命令會非常有用,但是您還需要一些工具來解釋mysqld 所提供的大量資料。我發現有3 個工具是必不可少的;在參考資料一節中您可以找到相應的連結。
大部分系統管理員都非常熟悉top 指令,它為任務所消耗的CPU 和記憶體提供了一個不斷更新的視圖。 mytop 對top 進行了模擬;它為所有連接上的客戶機以及它們正在執行的查詢提供了一個視圖。 mytop 還提供了一個有關關鍵字緩衝區和查詢快取效率的即時數據和歷史數據,以及有關正在運行的查詢的統計資訊。這是一個很有用的工具,可以查看系統中(例如10 秒鐘之內)的狀況,您可以獲得有關伺服器健康資訊的視圖,並顯示導致問題的任何連線。
mysqlard 是一個連接到MySQL 伺服器上的守護程序,負責每5 分鐘蒐集一次數據,並將它們儲存到後台的一個Round Robin Database 中。有一個Web 頁面會顯示這些數據,例如表格快取的使用情況、關鍵字效率、連接上的客戶機以及臨時表的使用情況。儘管mytop 提供了伺服器健康資訊的快照,但mysqlard 則提供了長期的健康資訊。作為獎勵,mysqlard 使用自己蒐集到的一些資訊針對如何對伺服器進行調優給出一些建議。
蒐集SHOW STATUS 資訊的另一個工具是mysqlreport。其報告要遠比mysqlard 更加複雜,因為需要對伺服器的每個方面都進行分析。這是對伺服器進行調優的一個非常好的工具,因為它對狀態變數進行適當計算來幫助確定需要修正哪些問題。
結論
本文介紹了對MySQL 進行調優的一些基礎知識,並對這個針對LAMP 元件進行調優的3 部分系列文章進行了總結。調優很大程度上需要理解組件的工作原理,確定它們是否正常工作,進行一些調整,並重新評估。每個元件—— Linux、Apache、PHP 或MySQL —— 都有各種各樣的需求。分別理解各個組件可以幫助減少可能會導致應用程式速度變慢的瓶頸。