recruitment data analysis visualization
1.0.0
Sistem ini dikembangkan dengan menggunakan Python+ Program crawler Selenium mengumpulkan data rekrutmen dari situs rekrutmen langsung BOSS , menyimpan data rekrutmen yang dikumpulkan di database MySQL , dan kemudian melakukan pembersihan data pada data rekrutmen yang disimpan dalam database, termasuk deduplikasi data, penyatuan jenis dan konten bidang, Hapus data yang tidak relevan dan operasi lainnya, lalu menganalisis data yang telah dibersihkan, termasuk jumlah rekrutmen untuk jenis posisi tertentu, kualifikasi akademik, dan pengalaman kerja. Analisis dari sudut pandang pengalaman, jenis perusahaan, ukuran perusahaan, sebaran kota, dll; Menganalisis tingkat gaji suatu jenis posisi tertentu dari sudut pandang kualifikasi akademik, pengalaman kerja, jenis perusahaan, ukuran perusahaan, dll; kata-kata keterampilan frekuensi tinggi yang muncul dalam jenis posisi tertentu dan menggabungkannya Keterampilan yang harus dikuasai diperoleh dengan menganalisis hasil. Terakhir, untuk menampilkan hasil analisis secara intuitif, sistem analisis visual data rekrutmen dirancang dan diimplementasikan menampilkan hasil analisis dalam bentuk grafik visual. Secara teknis, kerangka SpringBoot digunakan untuk membangun akses backend, dan RESTful API digunakan untuk menyediakan data ke frontend. Antarmuka frontend sistem dibangun menggunakan kerangka Vue + Element-UI , dan grafik visual dihasilkan menggunakan v-charts. + perpustakaan bagan grafik .
Impor program crawler di direktori bosszp-spider ke Pycharm , buka file spiderMain , temukan fungsi utama dalam program, dan ubah kode spiderObj = spider('copywriting', city, 1) di fungsi utama untuk mengubah copywriting Ubah ke postingan yang akan dirayapi, lalu gunakan terminal untuk masuk ke direktori instalasi Google Chrome dan jalankan ./chrome.exe -remote-debugging-port=9222 perintah, lalu buka situs rekrutmen langsung BOSS di Google Chrome yang diluncurkan dan pindai kode QR untuk login. Setelah menyelesaikan langkah di atas, Anda dapat menjalankan program crawler.
找到listen 80,然后在它下面添加或替换如下配置
listen 80;
server_name localhost;
sendfile on;
keepalive_timeout 65;
charset utf-8;
#access_log logs/host.access.log main;
location / {
add_header 'Access-Control-Allow-Origin' $http_origin;
add_header 'Access-Control-Allow-Credentials' 'true';
add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
add_header 'Access-Control-Allow-Headers' 'DNT,web-token,app-token,Authorization,Accept,Origin,Keep-Alive,User-Agent,X-Mx-ReqToken,X-Data-Type,X-Auth-Token,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range';
add_header 'Access-Control-Expose-Headers' 'Content-Length,Content-Range';
if ($request_method = 'OPTIONS') {
add_header 'Access-Control-Max-Age' 1728000;
add_header 'Content-Type' 'text/plain; charset=utf-8';
add_header 'Content-Length' 0;
return 204;
}
root /upload/;
index index.html index.htm; # 需要转发的url地址
}
location ^~/apm/ {
proxy_pass http://localhost:8890/;
}
location ^~/apj/ {
proxy_pass http://localhost:8890/admin/;
}Gunakan IDEA untuk mengimpor semua kode latar belakang di direktori analisis . Setelah semua dependensi diunduh, ubah konten konfigurasi di file application.yml sesuai dengan situasi Anda. Setelah modifikasi selesai, gunakan Navicat untuk membuat database bernama bosszp dan impor ke tingkat yang sama dengan file konfigurasi bosszp.sql , setelah mengimpor tabel database, dikumpulkan Data rekrutmen diimpor ke tabel pekerjaan dari database yang dibuat menggunakan Navicat . Sebelum menjalankan kode latar belakang, data dalam database perlu dibersihkan terlebih dahulu, data tersebut dihapus duplikatnya dan data yang tidak relevan dihapus, lalu kata kunci yang muncul di dalamnya nama pekerjaan yang digunakan. Klasifikasikan setiap informasi posisi, dan terakhir satukan jenis atau isi bidang. Dua contoh data yang diproses diberikan di bawah ini: (Hanya informasi bidang yang akan diproses yang ditampilkan)
| alamat | ditanganiAlamat | transformAddress | jenis | tipe yang ditangani | dist |
|---|---|---|---|---|---|
| Beijing | Distrik Beijing-Shunyi | Beijing | Insinyur operasi dan pemeliharaan | Insinyur operasi | Distrik Shunyi |
| Shenzhen | Distrik Shenzhen-Longgang | Shenzhen | Insinyur operasi dan pemeliharaan | Insinyur operasi | Distrik Longgang |
| tag kerja | ditanganiWorkTag | gaji | ditangani Gaji | Gaji rata-rata | gajiBulan |
|---|---|---|---|---|---|
| ["Konfigurasi Server", "Beberapa Proses", "Beberapa Thread", "Linux", "Dasar Algoritma", "Struktur Data", ""] | Konfigurasi server struktur data dasar algoritma Linux multi-proses multi-thread | [9000, 11000] | 9-11K/bulan | 10.000 | 0 gaji |
| ["Python", "Java", "Go", "TypeScript", "Teknologi Terdistribusi", "Teknologi Kontainer", "", ""] | Teknologi kontainer teknologi terdistribusi Python Java Go TypeScript | [15.000, 25.000] | 15-25K/bulan·13 gaji | 20.000 | 13 gaji |
| perusahaanTag | ditanganiCompanyTags | perusahaanOrang-orang | ditanganiPerusahaanOrang |
|---|---|---|---|
| tidak ada | [0, 20] | 0-20 orang | |
| ["Pemeriksaan fisik rutin", "Asuransi kesehatan tambahan", "Makanan ringan dan teh sore", "Perjalanan karyawan", "Tunjangan lembur", "Opsi saham", "Tunjangan makan", "Tunjangan liburan", "Bonus akhir tahun ", "Lima Asuransi dan emas"] | Pemeriksaan fisik rutin, asuransi kesehatan tambahan, makanan ringan, teh sore, tunjangan perjalanan dan lembur karyawan, opsi saham, suplemen makanan, tunjangan hari raya, bonus akhir tahun, lima asuransi dan satu dana | [0, 10.000] | Lebih dari 10.000 orang |
Setelah pemrosesan data selesai, pekerjaan persiapan data latar belakang selesai. Terakhir, program utama kode latar belakang dimulai. Jika tidak terjadi kesalahan abnormal, operasi latar belakang berhasil.
Pertama, gunakan perintah npm untuk menginstal manajer paket benang secara global. Kemudian gunakan WebStorm untuk mengimpor semua kode front-end di direktori analisis data rekrutmen . Setelah impor selesai, gunakan perintah Yarn Install untuk menginstal modul yang diperlukan .Setelah instalasi modul selesai, jalankan perintah Yarn Run Build untuk menginstal proyek. Setelah pengemasan selesai , folder dist akan dibuat selesai, alamat akses lokal meja depan di Windows 11 adalah: http://localhost/
