bens bites ai search

Pencarian Tautan Gigitan Ben

Telusuri seluruh tautan terkait AI di buletin Ben's Bites – menggunakan penelusuran semantik yang didukung AI.

• Pendahuluan
• Bagaimana cara kerjanya
  • Pencarian Semantik
• TODO
• Lisensi

Pendahuluan

Tujuan dari aplikasi ini adalah untuk menyediakan pencarian yang sangat terkurasi agar tetap mendapatkan informasi dan berita terkini tentang AI.

Semua hasil pencarian diambil dari Ben's Bites AI Newsletter, yang digunakan sebagai sumber data yang sangat terkurasi.

Bagaimana cara kerjanya

Tugas cron dijalankan setiap 24 jam untuk memperbarui database.

Langkah-langkah yang terlibat meliputi:

1. Merayapi sumber buletin Beehiiv
2. Mengubah setiap posting menjadi penurunan harga
3. Mengekstraksi dan menyelesaikan tautan unik
4. Mengambil metadata opengraph untuk setiap tautan
5. Mengambil metadata khusus penyedia untuk beberapa tautan (misalnya teks tweet)
6. Menghasilkan penyematan vektor untuk setiap tautan menggunakan OpenAI
7. Memasukkan semua link ke database vektor Pinecone

Kami menggunakan IFramely untuk mengekstrak metadata opengraph untuk setiap tautan, dan kami juga menggunakan tautan tweet kasus khusus untuk mengekstrak teks tweet.

Setelah kami memiliki semua tautan secara lokal, kami memasukkannya ke dalam database vektor Pinecone untuk pencarian semantik.

Pencarian Semantik

Pencarian semantik didukung oleh model penyematan `text-embedding-ada-002` OpenAI dan database vektor yang dihosting Pinecone.

TODO

• pencarian UX yang lebih baik sehingga tombol kembali berfungsi
• menampilkan jumlah postingan/link pada halaman beranda sehingga jelas kapan terakhir diperbarui
• sebenarnya mengurutkan berdasarkan kekinian, bukan berpura-pura
• atur cron untuk memperbarui DB setiap hari
• tes di safari/firefox
• tampilkan di buletin mana postingan pertama kali muncul
• jelajahi pencarian hibrid
• gulir tak terbatas sehingga Anda dapat terus menggulirkan hasil

Lisensi

MIT © Travis Fischer

Semua data tautan diambil dari Buletin AI Ben's Bites dan dilisensikan di bawah CC BY-NC-ND 4.0.

Jika menurut Anda proyek ini menarik, mohon pertimbangkan untuk mensponsori saya atau mengikuti saya di Twitter