tensorflow ml nlp tf2

テンソルフローと機械学習で始まる自然言語処理の最初の本は以下のリンクを参照してください。

最初の本リンク：https://github.com/NLP-jp/tensorflow-ml-nlp

*お知らせ：GPT2モデルはDropboxではサポートされなくなりました。モデルのダウンロードは次のようにしてください。

 wget https://github.com/NLP-kr/tensorflow-ml-nlp-tf2/releases/download/v1.0/gpt_ckpt.zip -O gpt_ckpt.zip

NLPBOOK

テンサフロー2と機械学習で始まる自然言語処理（ロジスティック回帰からBERTとGPT3まで）

はじめに(Introduction)

本に収録されている自然言語処理の例をまとめたリポジトリです。

このリポジトリは、テンソルフローや機械学習で始まる自然言語処理の本のように活用して勉強すればさらに役立つでしょう。

設置方法（Environments）

自然言語処理の例に対するさまざまな開発環境をサポートするためのDockerガイドを追加しました。

今後の例の練習パッケージの更新の変化に対応するためにドッカーを使用することをお勧めします。

Jupyter Dockerの実行（推奨）

Docker環境を使用する場合は、19.03以降のバージョンを使用することをお勧めします。

• bash build_jupyter_for_cpu.shまたはbash build_jupyter_for_gpu.shを実行すると docker image が生成されます。
• bash exec_jupyter_for_cpu.shまたはbash exec_jupyter_for_gpu.shを実行すると、docker環境でjupyterが実行されます。
• jupyter 実行ポート番号は 8889 なので、そのポート番号に対して使用可能でなければなりません。

アナコンダの設置

Anacondaのインストールファイルが見つからない場合は、次のリンクから次のバージョンを見つけてダウンロードしてください。

 https://repo.anaconda.com/archive
# windows 권장 버전: Anaconda3-5.3.0-Windows-x86_64.exe
# linux 권장 버전: Anaconda3-5.3.0-Linux-x86_64.sh
# MacOS 권장 버전: Anaconda3-5.3.0-MacOSX-x86_64.pkg
# 해당 버전을 받지 않아도 환경 구성을 하는데 큰 문제는 없습니다.

• Anaconda Python仮想環境の設定

 conda create -n {사용할 환경 이름} python=3.6
conda activate {사용할 환경 이름} # 경우에 따라 동작이 안될 수 있습니다. 아래의 명령어를 입력해보세요.
# source activate {사용할 환경 이름} 
pip install -r requirements.txt

インストールが正常に行われない場合は、python 3.6をインストールして進めてください。

 conda install python=3.6

目次 (Table of Contents)

準備段階- 自然言語処理の背景と開発の準備のための章。

1. 入る
2. 自然言語処理開発の準備
3. 自然言語処理の概要

自然言語処理の基本 - 自然言語処理の基本的なモデルの練習の章。

4. テキスト分類
5. テキスト類似度

自然言語処理の深化- チャットボットモデルによるより深化された自然言語処理の練習の章。

6. チャットボットを作る
7. 微調整学習
8. GPT3

Colabの練習

Colabの実習は7、8章に限り別々のリポジトリを公開しました。

• ストレージリンク

お問い合わせ（Inquiries）

プルリクエストはいつでも歓迎です。問題やバグ、または質問がある場合は、問題に投稿してください。

**問題を確認する前にWikiに書類を最初に見て、問題に記事を残してください！

著者 (Authors)

ChangWookJun/@changwookjun([email protected])
タクヨン/@taekyoon([email protected])
JungHyunCho/@JungHyunCho([email protected])
Ryan S. Shin / @aiscientist ([email protected])