recruitment data analysis visualization
1.0.0
Dieses System wird unter Verwendung von Python + entwickelt Das Selenium- Crawler-Programm sammelt Rekrutierungsdaten von der BOSS- Direktrekrutierungswebsite, speichert die gesammelten Rekrutierungsdaten in der MySQL- Datenbank und führt dann eine Datenbereinigung für die in der Datenbank gespeicherten Rekrutierungsdaten durch, einschließlich Datendeduplizierung, Vereinheitlichung von Feldtypen und Inhalten sowie Löschen irrelevante Daten und andere Vorgänge und analysieren dann die bereinigten Daten, einschließlich der Anzahl der Einstellungen für eine bestimmte Art von Position, akademischer Qualifikationen und Berufserfahrung. Analyse unter den Gesichtspunkten Erfahrung, Unternehmenstyp, Unternehmensgröße, Stadtverteilung usw.; Analysieren Sie das Gehaltsniveau einer bestimmten Art von Position unter den Gesichtspunkten akademischer Qualifikationen, Berufserfahrung, Unternehmenstyp, Unternehmensgröße usw.; Hochfrequente Fähigkeitswörter, die in einer bestimmten Position erscheinen und diese kombinieren. Die zu beherrschenden Fähigkeiten wurden durch Analyse der Ergebnisse ermittelt. Um die Analyseergebnisse intuitiv anzuzeigen, wurde schließlich ein visuelles Analysesystem für Rekrutierungsdaten entworfen und implementiert Zeigen Sie die Analyseergebnisse in Form visueller Diagramme an. Technisch gesehen wird das SpringBoot- Framework verwendet, um den Backend-Zugriff zu erstellen, und eine RESTful -API wird verwendet, um Daten für das Frontend bereitzustellen. Die System-Frontend-Schnittstelle wird mithilfe des Vue + Element-UI- Frameworks erstellt und die visuellen Diagramme werden mithilfe von V-Charts generiert + Echarts -Diagrammbibliothek.
Importieren Sie das Crawler-Programm im Verzeichnis „bosszp-spider“ in Pycharm , öffnen Sie die Datei „spiderMain“ , suchen Sie die Hauptfunktion im Programm und ändern Sie den Code „spiderObj = Spider('copywriting', city, 1)“ in der Hauptfunktion , um das Copywriting zu ändern Ändern Sie es in den zu crawlenden Beitrag, geben Sie dann über das Terminal das Installationsverzeichnis von Google Chrome ein und führen Sie ./chrome.exe aus -remote-debugging-port=9222 Befehl, öffnen Sie dann die BOSS- Direktrekrutierungswebsite im gestarteten Google Chrome und scannen Sie den QR-Code, um sich anzumelden. Nachdem Sie die obigen Schritte ausgeführt haben, können Sie das Crawler-Programm ausführen.
找到listen 80,然后在它下面添加或替换如下配置
listen 80;
server_name localhost;
sendfile on;
keepalive_timeout 65;
charset utf-8;
#access_log logs/host.access.log main;
location / {
add_header 'Access-Control-Allow-Origin' $http_origin;
add_header 'Access-Control-Allow-Credentials' 'true';
add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
add_header 'Access-Control-Allow-Headers' 'DNT,web-token,app-token,Authorization,Accept,Origin,Keep-Alive,User-Agent,X-Mx-ReqToken,X-Data-Type,X-Auth-Token,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range';
add_header 'Access-Control-Expose-Headers' 'Content-Length,Content-Range';
if ($request_method = 'OPTIONS') {
add_header 'Access-Control-Max-Age' 1728000;
add_header 'Content-Type' 'text/plain; charset=utf-8';
add_header 'Content-Length' 0;
return 204;
}
root /upload/;
index index.html index.htm; # 需要转发的url地址
}
location ^~/apm/ {
proxy_pass http://localhost:8890/;
}
location ^~/apj/ {
proxy_pass http://localhost:8890/admin/;
}Verwenden Sie IDEA , um den gesamten Hintergrundcode in das Analyseverzeichnis zu importieren. Ändern Sie nach Abschluss der Änderung den Konfigurationsinhalt in der Datei application.yml , um eine Datenbank mit dem Namen „bosszp“ zu erstellen Importieren Sie es auf die gleiche Ebene wie die Datei „bosszp.sql“ , nachdem Sie die Datenbanktabelle importiert haben Rekrutierungsdaten werden mithilfe von Navicat in die Jobtabelle der erstellten Datenbank importiert. Bevor der Hintergrundcode ausgeführt wird, müssen die Daten in der Datenbank zunächst dedupliziert und irrelevante Daten gelöscht werden. Anschließend werden die darin enthaltenen Schlüsselwörter gelöscht Der Jobname wird verwendet, um die einzelnen Positionsinformationen zu klassifizieren und schließlich die Art oder den Inhalt der Felder zu vereinheitlichen. Nachfolgend werden zwei verarbeitete Beispieldaten angegeben: (Es werden nur die zu verarbeitenden Feldinformationen angezeigt.)
| Adresse | behandelte Adresse | transformAddress | Typ | handledType | dist |
|---|---|---|---|---|---|
| Peking | Bezirk Peking-Shunyi | Peking | Betriebs- und Wartungsingenieur | OperationsEngineer | Bezirk Shunyi |
| Shenzhen | Bezirk Shenzhen-Longgang | Shenzhen | Betriebs- und Wartungsingenieur | OperationsEngineer | Bezirk Longgang |
| workTag | handledWorkTag | Gehalt | behandeltGehalt | avgSalary | GehaltMonat |
|---|---|---|---|---|---|
| [„Serverkonfiguration“, „Mehrere Prozesse“, „Mehrere Threads“, „Linux“, „Grundlagen des Algorithmus“, „Datenstruktur“, „“] | Grundlegende Datenstruktur des Multiprozess-Multithread-Linux-Algorithmus für die Serverkonfiguration | [9000, 11000] | 9-11.000/Monat | 10000 | 0 Gehalt |
| [„Python“, „Java“, „Go“, „TypeScript“, „Distributed Technology“, „Container Technology“, „“, „“] | Python Java Go TypeScript verteilte Technologie-Container-Technologie | [15000, 25000] | 15-25.000/Monat·13 Gehalt | 20000 | 13 Gehalt |
| FirmenTags | handledCompanyTags | UnternehmenMenschen | behandeltCompanyPeople |
|---|---|---|---|
| keiner | [0, 20] | 0-20 Personen | |
| [„Regelmäßige körperliche Untersuchung“, „Zusatzkrankenversicherung“, „Snacks und Nachmittagstee“, „Mitarbeiterreisen“, „Überstundenzuschuss“, „Aktienoptionen“, „Essenszuschuss“, „Urlaubsgeld“, „Jahresendbonus“. ", "Fünf Versicherungen und Gold"] | Regelmäßige körperliche Untersuchung, zusätzliche Krankenversicherung, Snacks, Nachmittagstee, Reise- und Überstundenzuschuss für Mitarbeiter, Aktienoptionen, Essenszuschlag, Urlaubsgeld, Jahresendbonus, fünf Versicherungen und ein Fonds | [0, 10000] | Mehr als 10.000 Menschen |
Nachdem die Datenverarbeitung abgeschlossen ist, ist die Hintergrunddatenvorbereitung abgeschlossen. Wenn keine ungewöhnlichen Fehler auftreten, ist der Hintergrundvorgang erfolgreich.
Verwenden Sie zunächst den Befehl npm , um den Garnpaketmanager global zu installieren. Verwenden Sie dann WebStorm , um den gesamten Front-End-Code in das Verzeichnis „recruitment-data-analysis“ zu importieren. Verwenden Sie nach Abschluss des Imports den Befehl „garn install“ , um die erforderlichen Module zu installieren Nachdem die Modulinstallation abgeschlossen ist, führen Sie den Befehl „garn run build“ aus , um das Projekt zu packen. Anschließend werden alle Dateien in diesem Ordner erstellt Nach Abschluss lautet die lokale Zugangsadresse der Rezeption in Windows 11 : http://localhost/
