tensorflow ml nlp tf2

Unter dem folgenden Link finden Sie das erste Buch zur Verarbeitung natürlicher Sprache, beginnend mit TensorFlow und maschinellem Lernen.

Erster Buchlink: https://github.com/NLP-kr/tensorflow-ml-nlp

* Hinweis: Das GPT2-Modell wird von Dropbox nicht mehr unterstützt. Um das Modell herunterzuladen, befolgen Sie bitte die folgenden Schritte.

 wget https://github.com/NLP-kr/tensorflow-ml-nlp-tf2/releases/download/v1.0/gpt_ckpt.zip -O gpt_ckpt.zip

NLPBUCH

Verarbeitung natürlicher Sprache beginnend mit TensorFlow 2 und maschinellem Lernen (von der logistischen Regression bis zu BERT und GPT3)

Einführung

Dies ist eine Sammlung von Beispielen zur Verarbeitung natürlicher Sprache, die im Buch enthalten sind.

Dieses Repository ist hilfreicher, wenn Sie es in Verbindung mit einem Buch zur Verarbeitung natürlicher Sprache verwenden, das mit TensorFlow und maschinellem Lernen beginnt.

Installationsmethode (Umgebungen)

Ein Docker-Leitfaden wurde hinzugefügt, um verschiedene Entwicklungsumgebungen für das Beispiel zur Verarbeitung natürlicher Sprache zu unterstützen.

Wir empfehlen die Verwendung von Docker, um für zukünftige Beispiele auf Änderungen in Laborpaketaktualisierungen zu reagieren.

Jupyter Docker ausführen (empfohlen)

Bei Verwendung einer Docker-Umgebung empfehlen wir die Verwendung von Version 19.03 oder höher.

• Durch Ausführen bash build_jupyter_for_cpu.sh oder bash build_jupyter_for_gpu.sh wird ein Docker-Image erstellt.
• Wenn Sie bash exec_jupyter_for_cpu.sh oder bash exec_jupyter_for_gpu.sh wird jupyter in der Docker-Umgebung ausgeführt.
• Die Jupyter-Ausführungsportnummer ist 8889, daher muss diese Portnummer verfügbar sein.

Anaconda-Installation

Wenn Sie die Anaconda-Installationsdatei nicht finden können, suchen Sie die nächste Version und laden Sie sie über den folgenden Link herunter.

 https://repo.anaconda.com/archive
# windows 권장 버전: Anaconda3-5.3.0-Windows-x86_64.exe
# linux 권장 버전: Anaconda3-5.3.0-Linux-x86_64.sh
# MacOS 권장 버전: Anaconda3-5.3.0-MacOSX-x86_64.pkg
# 해당 버전을 받지 않아도 환경 구성을 하는데 큰 문제는 없습니다.

• Konfiguration der virtuellen Anaconda Python-Umgebung

 conda create -n {사용할 환경 이름} python=3.6
conda activate {사용할 환경 이름} # 경우에 따라 동작이 안될 수 있습니다. 아래의 명령어를 입력해보세요.
# source activate {사용할 환경 이름} 
pip install -r requirements.txt

Wenn die Installation nicht ordnungsgemäß verläuft, installieren Sie bitte Python 3.6 und fahren Sie fort.

 conda install python=3.6

Inhaltsverzeichnis

Vorbereitungsphase – Dieses Kapitel bietet Hintergrundinformationen zur Verarbeitung natürlicher Sprache und zur Vorbereitung auf die Entwicklung.

1. Eintreten
2. Vorbereitung auf die Entwicklung der Verarbeitung natürlicher Sprache
3. Übersicht über die Verarbeitung natürlicher Sprache

Grundlagen der Verarbeitung natürlicher Sprache – Dies ist ein Übungskapitel zu grundlegenden Modellen der Verarbeitung natürlicher Sprache.

4. Textklassifizierung
5. Textähnlichkeit

Erweiterte Verarbeitung natürlicher Sprache – Dies ist ein Übungskapitel zur fortgeschritteneren Verarbeitung natürlicher Sprache durch Chatbot-Modelle.

6. Erstellen Sie einen Chatbot
7. Feinabstimmung des Lernens
8. GPT3

Colab-Praxis

Für die Colab-Übung wurde nur für die Kapitel 7 und 8 ein separates Repository freigegeben.

• Repository-Link

Anfragen

Pull-Anfragen sind jederzeit willkommen. Wenn Sie Probleme, Fehler oder Fragen haben, hinterlassen Sie bitte eine Nachricht in der Ausgabe.

**Bevor Sie das Problem prüfen, schauen Sie sich bitte zuerst das Dokument im Wiki an und hinterlassen Sie einen Kommentar zum Problem!

Autoren

ChangWookJun / @changwookjun ([email protected])
Taekyoon / @taekyoon ([email protected])
JungHyun Cho / @JungHyunCho ([email protected])
Ryan S. Shin / @aiscientist ([email protected])