Peringkasan GPT Reddit

25/06/2024:

Diperbarui ke LiteLLM untuk konektor yang kompatibel dengan openai, memudahkan penambahan dukungan untuk berbagai model, sekarang kami menggunakan satu file json model untuk konfigurasi kami. Pastikan Anda memiliki kunci API yang sesuai untuk menggunakan Google Gemini AI Studio. GPT 4o, dukungan Soneta 3.5.

15/03/2024:

Dukungan untuk model Claude baru, beberapa penyesuaian.

23/11/2023:

Python diperbarui ke 3.11. Kami juga menambahkan dukungan untuk GPT-4 128k dan Claude 2.1 + Claude Instant v1.2. Pastikan untuk memperbarui dependensi Anda sebagaimana mestinya.

12/07/2023: menambahkan dukungan untuk Claude v2

Lihat: Antropik/ Claude 2

Juga memperbarui beberapa dependensi (Anthropic, OpenAI, PRAW, Streamlit)

13/6/2023: menambahkan dukungan untuk model ChatGPT baru (model 16k + 0613)

Ikhtisar video pembaruan @YouTube

Artikel Baru @ Pemrograman/Media yang Lebih Baik: Mengubah Peringkasan Reddit Dengan Claude 100k dan GPT 16k

22/5/2023: dukungan tambahan untuk model Antropik termasuk Claude 100k + Model Instruktur OpenAI yang lebih lama

Perluas pengaturan untuk menggunakan model Antropik; juga menambahkan dukungan untuk model instruksi OpenAI lama-- sebagian besar menghasilkan keluaran sampah tetapi berguna untuk diuji, meskipun demikian, Text Davinci 003 secara subyektif menghasilkan beberapa keluaran dengan kualitas tertinggi. Model 100k yang baru sering kali dapat menggunakan seluruh thread reddit tanpa rekursi.

Jangan lupa untuk menambahkan kunci API Antropik Anda ke file .env Anda. (ANTHROPIC_API_KEY)

https://www.anthropic.com/index/100k-context-windows

17/3/2023: menambahkan dukungan untuk model GPT-4

Jika Anda memiliki akses ke API, Anda dapat menggunakan jendela konteks yang lebih panjang sekarang. Lihat dokumen. https://platform.openai.com/docs/models/gpt-4 Daftar untuk daftar tunggu di sini: https://openai.com/waitlist/gpt-4

16/3/2023: artikel

Artikel @ Pemrograman Lebih Baik/Media Membangun Peringkas Utas Reddit Dengan API ChatGPT

1/3/2023: menambahkan dukungan untuk API dan model ChatGPT resmi

Ini adalah peringkas thread Reddit berbasis Python yang menggunakan GPT-3 untuk menghasilkan ringkasan komentar thread.

Skrip ini digunakan untuk menghasilkan ringkasan thread Reddit dengan menggunakan OpenAI API untuk menyelesaikan potongan teks berdasarkan prompt dengan ringkasan rekursif. Ini dimulai dengan membuat permintaan ke thread Reddit tertentu, mengekstrak judul dan teks diri, lalu menemukan semua komentar di thread tersebut.

Komentar-komentar ini kemudian digabungkan ke dalam grup-grup dengan jumlah token tertentu, dan ringkasan dibuat untuk setiap grup dengan meminta OpenAI API dengan teks grup serta judul dan teks mandiri dari thread Reddit. Ringkasan tersebut kemudian disimpan ke file di folder outputs di direktori kerja saat ini.

Peringkasan GPT Reddit

Instalasi

Untuk menginstal dependensi, Anda dapat menggunakan poetry :

poetry install

Anda juga harus memberikan kredensial OpenAI/Reddit/Anthropic API. Buat file .env dan tambahkan yang berikut ini:

 OPENAI_ORG_ID = YOUR_ORG_ID
OPENAI_API_KEY = YOUR_API_KEY
REDDIT_CLIENT_ID = YOUR_CLIENT_ID
REDDIT_CLIENT_SECRET = YOUR_CLIENT_SECRET
REDDIT_USERNAME = YOUR_USERNAME
REDDIT_PASSWORD = YOUR_PASSWORD
REDDIT_USER_AGENT = linux:com.youragent.reddit-gpt-summarizer:v1.0.0 (by /u/yourusername)
ANTHROPIC_API_KEY = YOUR_ANTHROPIC_KEY

Perkembangan

Untuk menginstal dependensi pengembangan, jalankan:

 poetry install --extras dev

Proyek ini menggunakan pytest untuk pengujian dan mypy untuk pemeriksaan tipe.

Untuk menjalankan pengujian dan pengecekan tipe, gunakan perintah berikut:

 poetry run pytest
poetry run mypy .

Proyek ini juga menggunakan warna hitam untuk pemformatan kode dan pylint untuk linting.

Untuk memformat kode dan memeriksa kesalahan linting, gunakan perintah berikut:

 poetry run black .
poetry run pylint .

Penggunaan

Untuk menjalankan aplikasi, gunakan perintah berikut:

streamlit run app/main.py

Ini akan memulai aplikasi web yang memungkinkan Anda memasukkan URL thread Reddit dan menghasilkan ringkasan. Aplikasi akan secara otomatis menghasilkan perintah untuk GPT-3 berdasarkan konten thread dan menghasilkan ringkasan berdasarkan perintah tersebut.

Konfigurasi

Anda dapat menyesuaikan perilaku aplikasi menggunakan file config.py . Opsi konfigurasi berikut tersedia:

ATTACH_DEBUGGER : Apakah akan melampirkan debugger ke aplikasi.
WAIT_FOR_CLIENT : Apakah menunggu klien terhubung sebelum memulai aplikasi.
DEFAULT_DEBUG_PORT : Port default yang digunakan untuk debugger.
DEBUGPY_HOST : Host yang digunakan untuk debugger.
DEFAULT_CHUNK_TOKEN_LENGTH : Panjang default dari sejumlah komentar.
DEFAULT_NUMBER_OF_SUMMARIES : Jumlah ringkasan default yang akan dibuat.
DEFAULT_MAX_TOKEN_LENGTH : Panjang ringkasan maksimum default.
LOG_FILE_PATH : Jalur ke file log.
LOG_COLORS : Kamus warna untuk log.
REDDIT_URL : URL thread Reddit untuk diringkas.
TODAYS_DATE : Tanggal hari ini.
LOG_NAME : Nama file log.
APP_TITLE : Judul aplikasi.
MAX_BODY_TOKEN_SIZE : Jumlah maksimum token untuk isi komentar.
DEFAULT_QUERY_TEXT : Teks default yang digunakan untuk perintah GPT-3.
HELP_TEXT : Teks yang ditampilkan saat pengguna mengarahkan kursor ke ikon bantuan.