Anda memiliki mikrocore

AI MicroCore: Landasan Minimalis untuk Aplikasi AI

MicroCore adalah kumpulan adaptor python untuk Model Bahasa Besar dan API Pencarian Semantik yang memungkinkan untuk berkomunikasi dengan layanan ini dengan cara yang nyaman, membuatnya mudah dialihkan dan memisahkan logika bisnis dari detail implementasi.

Ini mendefinisikan antarmuka untuk fitur yang biasanya digunakan dalam aplikasi AI, yang memungkinkan Anda membuat aplikasi sesederhana mungkin dan mencoba berbagai model & layanan tanpa perlu mengubah kode aplikasi Anda.

Anda bahkan dapat beralih antara model penyelesaian teks dan penyelesaian obrolan hanya menggunakan konfigurasi.

Contoh dasar penggunaannya adalah sebagai berikut:

 from microcore import llm

while user_msg := input ( 'Enter message: ' ):
    print ( 'AI: ' + llm ( user_msg ))

? Tautan

• Referensi API
• Paket PyPi
• Repositori GitHub

Instalasi

Instal sebagai paket PyPi:

 pip install ai-microcore

Alternatifnya, Anda cukup menyalin folder microcore ke root sumber proyek Anda.

git clone [email protected]:Nayjest/ai-microcore.git && mv ai-microcore/microcore ./ && rm -rf ai-microcore

? Persyaratan

Python 3.10 / 3.11 / 3.12

Versi paket OpenAI v0.28+ dan v1.X didukung.

Konfigurasi

Konfigurasi Minimal

Memiliki OPENAI_API_KEY dalam variabel lingkungan OS sudah cukup untuk penggunaan dasar.

Fitur pencarian kesamaan akan langsung berfungsi jika Anda menginstal paket pip chromadb .

Metode Konfigurasi

Ada beberapa opsi yang tersedia untuk mengonfigurasi microcore:

• Gunakan microcore.configure(**params)
  Semua opsi konfigurasi harus tersedia di tooltip pelengkapan otomatis IDE
• Buat file .env di root proyek Anda; contoh: basic.env, Mistral Large.env, Anthropic Claude 3 Opus.env, Gemini di Vertex AI.env, Gemini di AI Studio.env
• Gunakan file konfigurasi khusus: mc.configure(DOT_ENV_FILE='dev-config.ini')
• Tentukan variabel lingkungan OS

Untuk daftar lengkap opsi konfigurasi yang tersedia, Anda juga dapat memeriksa microcore/config.py .

Menginstal paket khusus vendor

Untuk model yang tidak bekerja melalui OpenAI API, Anda mungkin perlu menginstal paket tambahan:

Claude antropis 3

pip install anthropic

Google Gemini melalui AI Studio

pip install google-generativeai

Google Gemini melalui Vertex AI

pip install vertexai

?Selain itu untuk bekerja melalui Vertex AI, Anda perlu menginstal Google Cloud CLI dan mengonfigurasi otorisasi.

Model bahasa lokal melalui Hugging Face Transformers

Anda perlu menginstal transformator dan perpustakaan pembelajaran mendalam pilihan Anda (PyTorch, TensorFlow, Flax, dll).

Lihat pemasangan trafo.

Prioritas Sumber Konfigurasi

1. Opsi konfigurasi yang diteruskan sebagai argumen ke microcore.configure() memiliki prioritas tertinggi.
2. Prioritas opsi file konfigurasi ( .env secara default atau nilai DOT_ENV_FILE ) lebih tinggi daripada variabel lingkungan OS.
   Menyetel USE_DOT_ENV ke false akan menonaktifkan pembacaan file konfigurasi.
3. Variabel lingkungan OS memiliki prioritas terendah.

? Fungsi Inti

llm(prompt: str, **kwargs) → str

Melakukan permintaan ke model bahasa besar (LLM).

Varian asinkron: allm(prompt: str, **kwargs)

 from microcore import *

# Will print all requests and responses to console
use_logging ()

# Basic usage
ai_response = llm ( 'What is your model name?' )

# You also may pass a list of strings as prompt
# - For chat completion models elements are treated as separate messages
# - For completion LLMs elements are treated as text lines
llm ([ '1+2' , '=' ])
llm ( '1+2=' , model = 'gpt-4' )

# To specify a message role, you can use dictionary or classes
llm ( dict ( role = 'system' , content = '1+2=' ))
# equivalent
llm ( SysMsg ( '1+2=' ))

# The returned value is a string
assert '7' == llm ([
 SysMsg ( 'You are a calculator' ),
 UserMsg ( '1+2=' ),
 AssistantMsg ( '3' ),
 UserMsg ( '3+4=' )]
). strip ()

# But it contains all fields of the LLM response in additional attributes
for i in llm ( '1+2=?' , n = 3 , temperature = 2 ). choices :
    print ( 'RESPONSE:' , i . message . content )

# To use response streaming you may specify the callback function:
llm ( 'Hi there' , callback = lambda x : print ( x , end = '' ))

# Or multiple callbacks:
output = []
llm ( 'Hi there' , callbacks = [
    lambda x : print ( x , end = '' ),
    lambda x : output . append ( x ),
])

tpl(jalur_file, **params) → str

Merender templat prompt dengan params.

Templat Jinja2 berfitur lengkap digunakan secara default.

Opsi konfigurasi terkait:

 from microcore import configure
configure (
    # 'tpl' folder in current working directory by default
    PROMPT_TEMPLATES_PATH = 'my_templates_folder'
)

texts.search(koleksi: str, query: str | daftar, n_results: int = 5, dimana: dict = Tidak ada, **kwargs) → daftar[str]

Pencarian kesamaan

texts.find_one(self, collection: str, query: str | list) → str | Tidak ada

Temukan teks yang paling mirip

teks.get_all(mandiri, koleksi: str) -> daftar[str]

Kembalikan koleksi teks

teks.simpan(koleksi: str, teks: str, metadata: dict = Tidak Ada))

Simpan teks dan metadata terkait dalam database embeddings

teks.save_many(koleksi: str, item: daftar[tuple[str, dict] | str])

Simpan banyak teks dan metadata terkait di database embeddings

teks.clear(koleksi: str):

Hapus koleksi

Dukungan penyedia dan model API

LLM Microcore mendukung semua model & penyedia API yang memiliki OpenAI API.

Daftar penyedia dan model API yang diuji dengan LLM Microcore:

Penyedia API	Model
OpenAI	Semua model GPT-4 dan GTP-3.5-Turbo semua model penyelesaian teks (davinci, gpt-3.5-turbo-instruct, dll)
Microsoft Azure	Semua model OpenAI, Mistral Besar
Antropis	Model Claude 3
MistralAI	Semua model Mistral
Google AI Studio	Model Google Gemini
Google Vertex AI	Gemini Pro & model lainnya
Infra dalam	deepinfra/airoboros-70b jondurbin/airoboros-l2-70b-gpt4-1.4.1 meta-llama/Llama-2-70b-chat-hf dan model lain yang memiliki OpenAI API
Skala apa pun	meta-llama/Llama-2-70b-chat-hf meta-llama/Llama-2-13b-chat-hf meta-llama/Llama-7b-chat-hf
Bagus	LLaMA2 70b Campuran 8x7b Permata 7b
Kembang api	Lebih dari 50 model bahasa sumber terbuka

API model bahasa lokal yang didukung:

• HuggingFace Transformers (lihat contoh konfigurasi di sini).
• Model lokal khusus dengan menyediakan fungsi sendiri untuk penyelesaian obrolan/teks, sinkronisasi/inferensi asinkron.

?️ Contoh

Alat peninjau kode

Melakukan peninjauan kode oleh LLM untuk perubahan pada file git .patch dalam bahasa pemrograman apa pun.

Analisis gambar (Google Colab)

Tentukan jumlah kelopak dan warna bunga dari foto (gpt-4-turbo)

Banchmark LLM tentang masalah matematika (Kaggle Notebook)

Akurasi tolok ukur 20+ model canggih dalam menyelesaikan soal matematika olimpiade. Menyimpulkan model bahasa lokal melalui HuggingFace Transformers, inferensi paralel.

Contoh lainnya

Python berfungsi sebagai alat AI

@TODO

? Modul AI

Ini adalah fitur eksperimental.

Mengubah sistem impor Python untuk menyediakan pengaturan otomatis lingkungan MicroCore berdasarkan metadata dalam dokumen modul.

Penggunaan:

 import microcore . ai_modules

Fitur:

• Secara otomatis mendaftarkan folder templat modul AI di lingkungan Jinja2

Berkontribusi

Silakan lihat KONTRIBUSI untuk rinciannya.

Lisensi

Berlisensi di bawah Lisensi MIT © 2023 Vitalii Stepanenko