Mengapa Anda memerlukan pemantauan kinerja? Mari kita bicara tentang pemantauan kinerja Node.js

Mengapa pemantauan kinerja diperlukan

Node, sebagai runtime Javascript di sisi server, sangat memperkaya skenario aplikasi Javascript.

Namun, Node.js Runtime sendiri adalah kotak hitam. Kami tidak dapat melihat status runtime, dan sulit untuk mereproduksi masalah online.

Oleh karena itu, pemantauan kinerja adalah landasan dari "operasi normal" aplikasi Node.js. Berbagai indikator runtime tidak hanya dapat dipantau kapan saja, namun juga dapat membantu memecahkan masalah skenario abnormal.

komponen

dapat dibagi menjadi dua bagian:

• pengumpulan dan tampilan indikator kinerja

  • . Data tingkat proses: CPU, Memori, Heap, GC dan
  • data tingkat sistem lainnya: hunian disk, beban I/O, status koneksi TCP/UDP, dll.
  • Data lapisan aplikasi:

• menangkap dan menganalisis data kinerja

  seperti QPS, HTTP lambat, log tautan pemrosesan bisnis, dll.
  • Heapsnapshot: snapshot memori tumpukan
  • Cpuprofile: snapshot CPU
  • Coredump:

perbandingan solusi snapshot kerusakan aplikasi

Dari gambar di atas, Anda dapat melihat kelebihan dan kekurangan dari tiga solusi pemantauan kinerja Node.js mainstream saat ini. Berikut ini adalah pengenalan singkat tentang komposisi ketiga solusi tersebut:

• Prometheus

  • prom-client adalah implementasi nodejs dari prometheus. digunakan untuk mengumpulkan indikator kinerja.
  • Grafana adalah platform visualisasi yang digunakan untuk menampilkan berbagai grafik data. Akses ke prometheus
  • hanya mendukung pengumpulan dan tampilan indikator kinerja. Alat snapshot lain diperlukan untuk memecahkan masalah untuk membentuk

• AliNode loop tertutup.

  • Alinode adalah runtime diperpanjang yang kompatibel dengan nodejs resmi, menyediakan Beberapa fungsi tambahan:

    • pemantauan status memori runtime v8
    • pemantauan status runtime libuv
    • Fungsi diagnosis kesalahan online: heap snapshot, Profil CPU, GC Trace, dll.

  • Agenthub adalah proses tetap yang digunakan untuk mengumpulkan indikator kinerja

dan melaporkannya. Agenx terintegrasi + Alat commdx yang mudah digunakan membentuk loop tertutup dari pemantauan
• • ,

  tampilan

• • ,

    • snapshot

  • , dan analisis. Aksesnya mudah dan sederhana, tetapi masih ada risiko saat memperluas runtime

• • pengambilan sampel status runtime waktu nyata dan log kinerja keluaran (yaitu, Pengambilan data kinerja)
  • xtransit bertanggung jawab atas pengumpulan dan transmisi log kinerja.
  • Perbedaan terbesar dari AliNode adalah penggunaan Node.js Addon untuk mengimplementasikan

CPU

indikator kinerja

Data konsumsi waktu CPU dari proses saat ini dapat diperoleh melalui process.cpuUsage() Satuan nilai yang dikembalikan adalah mikrodetik

• pengguna: waktu CPU yang dikonsumsi oleh proses itu sendiri ketika proses dijalankan
• sistem: waktu CPU yang dikonsumsi oleh proses tersebut. sistem ketika proses dijalankan

Memori

Data alokasi memori dari proses saat ini dapat diperoleh melalui process.memoryUsage() . Unit nilai yang dikembalikan adalah byte

• rss: memori tetap, total ukuran memori yang dialokasikan oleh proses node
• heapTotal: ukuran memori heap yang diterapkan oleh v8
• heapUsed: heap yang digunakan oleh v8 Memory
• sizeexternal: Ukuran memori yang ditempati oleh C++ yang dikelola oleh v8
• arrayBuffers: Ukuran memori yang dialokasikan ke ArrayBuffer

Seperti dapat dilihat dari gambar di atas, rss mencakup segmen kode ( Code Segment ), memori tumpukan ( Stack ), dan memori heap ( Heap ).

• Segmen
• Kode : menyimpan segmen kode.
• Stack : menyimpan variabel lokal dan panggilan fungsi manajemen.
• menyimpan objek, penutupan, Atau semua

Heap

dapat memperoleh data analisis memori heap v8 dan ruang heap melalui v8.getHeapStatistics() dan v8.getHeapSpaceStatistics() Gambar berikut menunjukkan distribusi komposisi memori heap v8:

Ruang memori heap pertama-tama dibagi menjadi beberapa spasi, dan ruang tersebut dibagi menjadi beberapa halaman.

• Ruang Baru: Ruang generasi baru, digunakan untuk menyimpan beberapa data objek dengan siklus hidup yang relatif pendek, dibagi menjadi dua ruang (tipe ruang adalah semi space ): from space , to space

  • Kondisi promosi: masih bertahan setelah dua GC di Ruang baru

• Ruang Lama : ruang generasi lama, digunakan untuk menyimpan objek yang dipromosikan oleh New Space

• Code Space: menyimpan kode yang dapat dieksekusi yang dikompilasi oleh v8 JIT.

• Map Space: menyimpan objek penunjuk dari kelas tersembunyi yang ditunjuk oleh Object Penunjuk kelas tersembunyi dicatat oleh v8 menurut runtime. Struktur tata letak objek digunakan untuk mengakses anggota objek dengan cepat.

• Ruang Objek Besar: digunakan untuk menyimpan objek yang lebih besar dari 1MB yang tidak dapat dialokasikan ke halaman.

Algoritma pengumpulan sampah

GC

• Utama GC: menggunakan algoritma Mark-Sweep-Compact . Minor GC untuk daur ulang objek di generasi lama
• : Algoritma Scavenge digunakan untuk mendaur ulang objek di generasi baru

Scavenge

Premis: New space dibagi menjadi dua ruang objek: from dan to

Waktu pemicu: ketika New space sudah penuh.

Langkah-langkah:

• Di from space , lakukan penjelajahan luasnya terlebih dahulu

• dan temukan bahwa objek yang bertahan (dapat dijangkau)

  • telah bertahan satu kali ( mengalami Scavange), dipromosikan ke Old space dan
  • salinan lainnya ke to space

• Saat penyalinan berakhir, hanya ada objek yang bertahan di to space , from space dikosongkan,

• ditukar from space dan to space , dan memulai putaran berikutnya Scavenge

It

cocok untuk daur ulang yang sering dan memori yang tidak mencukupi. Untuk objek berukuran besar, strategi ruang-untuk-waktu yang umum memiliki kelemahan yaitu membuang ruang dua kali lebih banyak dibandingkan

Mark-Sweep-Compact.

Tiga langkah: menandai, membersihkan, dan mengatur

Waktu pemicu: ketika Old space penuh

Langkah:

• Menandai (metode penandaan tiga warna)

  • Putih: mewakili objek yang dapat didaur ulang.
  • Hitam: mewakili objek yang tidak dapat didaur ulang, dan semua referensi yang dihasilkan telah dipindai.
  • Abu-abu: mewakili objek yang tidak dapat didaur ulang, dan referensi yang dihasilkannya belum dipindai.
  • Masukkan objek yang direferensikan langsung oleh objek akar V8 ke dalam marking queue (tumpukan eksplisit), dan tandai objek ini sebagai abu-abu.
  • Mulai kedalaman dari objek-objek ini. Prioritaskan traversal. Setiap kali suatu objek diakses, pop objek dari marking queue dan tandai dengan warna hitam.
  • Kemudian
  • tandai semua objek putih yang direferensikan oleh objek tersebut sebagai abu-abu dan push ke dalam marking queue
  • semua benda di tumpukan akan dimunculkan. Sampai dijatuhkan, hanya ada dua jenis benda di generasi lama: hitam (tidak dapat didaur ulang) dan putih (dapat didaur ulang).
  • PS: Jika suatu benda terlalu besar dan tidak dapat didaur
  ulang
  • didorong ke tumpukan dengan ruang terbatas, v8 akan membiarkan objek tetap berwarna abu-abu dan melewatinya, menandai seluruh tumpukan sebagai meluap (meluap), menunggu hingga tumpukan dibersihkan, dan melintasi tanda itu lagi, yang akan memerlukan pemindaian tambahan. dari heap.

• Sapu

  • untuk menghapus objek putih
  • akan menyebabkan ruang memori menjadi terputus-putus

• .

  • Sapu Kompak akan menyebabkan ruang memori menjadi terputus-putus. Akan sangat membantu jika objek baru masuk ke GC
  • dan memindahkan objek hitam (bertahan hidup) ke satu ujung Old space , sehingga ruang kosong terus menerus dan lengkap.
  • Meskipun dapat menyelesaikan masalah fragmentasi memori, hal ini akan menambah waktu jeda (kecepatan eksekusi lambat)
  • dan tidak ada cukup ruang untuk siswa baru hanya digunakan saat mengalokasikan objek yang dipromosikan

Hentikan-The-World

Ketika v8 pertama kali melakukan pengumpulan sampah, ia perlu menghentikan program, memindai seluruh heap, dan mendapatkan kembali memori sebelum menjalankan kembali program. Perilaku ini disebut jeda penuh ( Stop-The-World ).

Meskipun objek aktif pada generasi baru berukuran kecil dan sering didaur ulang, titik penuh memiliki dampak yang kecil. Namun, objek yang bertahan pada generasi lama berjumlah banyak dan berukuran besar. dan jeda yang disebabkan oleh penandaan, pembersihan, dan penyortiran, dll. Ini akan menjadi lebih serius.

Strategi optimasi

• daur ulang tambahan (Penandaan Tambahan): Dalam fase Penandaan, ketika heap mencapai ukuran tertentu, GC tambahan dimulai setelah setiap kali sejumlah memori dialokasikan, program yang sedang berjalan dijeda dan penandaan dilakukan selama beberapa milidetik hingga puluhan milidetik, lalu lanjutkan program.

Konsep ini sebenarnya mirip dengan arsitektur Fiber dalam kerangka React. Hanya selama waktu luang browser ia akan melintasi Fiber Tree untuk melakukan tugas-tugas terkait. Jika tidak, eksekusi akan tertunda, sehingga mempengaruhi tugas-tugas thread utama sesedikit mungkin , menghindari kelambatan aplikasi, dan meningkatkan kinerja Aplikasi.

• Penyapuan Bersamaan:
• Membiarkan thread lain melakukan penyapuan secara bersamaan tanpa mengkhawatirkan konflik dengan thread utama dari program yang sedang dijalankan.

penyesuaian ruang.

Karena v8 memiliki batas default pada ruang generasi baru dan lama.

• Batas default New space : 32M untuk sistem 64-bit dan 16M untuk sistem 32-
• Old space 700M untuk sistem 32-bit.

Oleh karena itu, node Dua parameter disediakan untuk menyesuaikan batas ruang atas generasi baru dan lama

• --max-semi-space-size : Tetapkan nilai maksimum ruang New Space
• --max-old-space-size : Menetapkan nilai maksimum dari Old Space space

View Node log GC

node menyediakan tiga cara untuk melihat log GC:

• --trace_gc : Sebaris log menjelaskan secara singkat waktu, jenis, perubahan ukuran heap dan penyebab setiap GC
• --trace_gc_verbose : Menampilkan setiap heap V8 setelah setiap GC Status detail ruang
• --trace_gc_nvp : Informasi detail pasangan nilai kunci dari setiap GC, termasuk jenis GC, waktu jeda, perubahan memori, dll.

Karena log GC relatif primitif dan memerlukan

Alat snapshot

pengurai log

Heapsnapshot

mengambil snapshot dari memori heap dari program yang sedang berjalan dan dapat digunakan untuk menganalisis konsumsi memori dan mengubah

metode pembuatan

.heapsnapshot Heapsnapshot dihasilkan dengan cara berikut:

• menggunakan heapdump

• Menggunakan profil heap v8

• Gunakan api

  • v8.getHeapSnapshot()

  yang disediakan oleh modul nodejs v8 bawaan

  

  • v8.writeHeapSnapshot(fileName)

  

• Menggunakan v8-profiler-berikutnya

metode analisis

.heapsnapshot diunggah ke Memori pada toolbar Chrome devtools, dan hasilnya akan ditampilkan seperti gambar di bawah ini:

Tampilan defaultnya adalah tampilan Summary . Di sini kita perlu memperhatikan dua kolom paling kanan: Shallow Size dan Retained Size

• Retained Size
• Shallow Size ukuran objek itu sendiri yang dialokasikan dalam memori heap v8
• Shallow Size dari semua objek yang direferensikan

ketika ditemukan bahwa Retained Size sangat besar, mungkin ada kebocoran memori di dalam objek. Anda dapat memperluas lebih jauh untuk menemukan

Comparison menganalisis cuplikan heap dari dua periode berbeda. Kolom Delta dapat digunakan untuk memfilter objek dengan perubahan memori terbesar.

Cpuprofile

melakukan pengambilan sampel snapshot dari CPU yang menjalankan program, yang dapat digunakan untuk menganalisis waktu dan proporsi CPU.

Ada beberapa cara untuk menghasilkan file .cpuprofile :

v8

• -profiler (alat yang secara resmi disediakan oleh node, tetapi tidak bisa lagi

• mendukung versi node v10 atau lebih tinggi dan tidak lagi dipertahankan)
• v8-profiler-next (versi pemeliharaan China, mendukung node terbaru v18, dalam pemeliharaan berkelanjutan)

Ini adalah kumpulan sampel Profil CPU 5 menit

File .cpuprofile yang dihasilkan Javascript Profiler

metode analisis

Tampilan defaultnya adalah tampilan Heavy . Di sini kita melihat dua kolom: Self Time dan Total Time

: mewakili
• Total Time eksekusi fungsi ini
• Self Time (tidak termasuk panggilan lainnya).

)

• . Ketika ditemukan bahwa Waktu Total dan Waktu Mandiri sangat menyimpang, fungsi tersebut

mungkin

Total Time Self Time intensif CPU yang memakan banyak waktu. Anda juga dapat melakukan pemecahan masalah lebih lanjut.

sistem akan secara otomatis mencatatnya. Proses ini menghentikan informasi alokasi memori, Penghitung Program dan penunjuk tumpukan serta informasi penting lainnya pada saat itu untuk menghasilkan

metode pembuatan

. Tiga metode untuk menghasilkan file .core :

• ulimit -c unlimited membuka batas kernel
• node --abort-on-uncaught-exception Menambahkan parameter ini saat memulai node dapat menghasilkan file inti ketika terjadi pengecualian yang tidak tertangkap dalam aplikasi.
• gcore <pid> Menghasilkan

metode analisis

Setelah mendapatkan file .core , analisis dan diagnosis dapat dicapai melalui alat seperti mdb, gdb, lldb, dll. Penyebab sebenarnya dari proses crash

• llnode `which node` -c /path/to/core/dump

observasi

analisis kasus

Dari pemantauan terlihat bahwa memori heap terus bertambah, sehingga snapshot heap diperlukan untuk pemecahan masalah

dan analisis.

Berdasarkan heapsnapshot kita dapat menganalisis dan menemukan bahwa ada objek newThing yang selalu memiliki memori yang relatif besar

.

theThing newThing unused

dirilis

kasus replaceThing yang disebabkan oleh penutupan.

Kebocoran memori yang umum mencakup situasi berikut:

• variabel global,
• penutupan,
• pengatur waktu,
• cache
• mendengarkan peristiwa
.

Oleh karena itu, dalam situasi di atas, Anda harus mempertimbangkan dengan cermat apakah objek dalam memori akan didaur ulang secara otomatis tidak dapat didaur ulang secara otomatis, Anda perlu melakukan daur ulang secara manual, seperti menyetel objek secara manual ke null , menghapus pengatur waktu, melepas pengikatan peristiwa, dll.

Artikel ini telah memberikan pengenalan mendetail tentang keseluruhan sistem pemantauan kinerja

Node.js.

Pertama, bab ini memperkenalkan permasalahan yang diselesaikan melalui pemantauan kinerja, komponen-komponennya, dan perbandingan kelebihan dan kekurangan solusi umum.

Kemudian, dua bagian utama dari indikator kinerja dan alat snapshot diperkenalkan secara rinci.

• Indikator kinerja terutama berfokus pada indikator CPU, memori, ruang heap, dan GC. Pada saat yang sama, strategi GC dan rencana optimasi GC v8 diperkenalkan .
• Alat snapshot terutama mencakup heap Snapshot, snapshot CPU, dan Coredump selama crash.

Terakhir, kasus kebocoran memori sederhana direproduksi dari observasi, analisis, dan pemecahan masalah, serta situasi dan solusi kebocoran memori yang umum dirangkum.

Saya harap artikel ini dapat membantu semua orang memahami keseluruhan sistem pemantauan kinerja Node.js.