Unduhan PropertyExtractor - Unduhan kode sumber PropertyExtractor

PropertyExtractor

Kode sumber lainnya

v1.0

Unduh

PropertyExtractor: Alat Berbasis LLM Percakapan Sumber Terbuka

Perkenalan

Munculnya pemrosesan bahasa alami dan model bahasa besar (LLM) telah merevolusi ekstraksi data dari makalah ilmiah yang tidak terstruktur. Namun, memastikan keandalan data masih merupakan tantangan besar. PropertyExtractor adalah alat sumber terbuka yang memanfaatkan LLM percakapan tingkat lanjut seperti Google Gemini Pro dan OpenAI GPT-4 , memadukan pembelajaran zero-shot dan beberapa-shot dalam konteks, dan menggunakan petunjuk rekayasa untuk penyempurnaan dinamis hierarki informasi terstruktur untuk memungkinkan otonomi Identifikasi, ekstraksi, dan verifikasi data properti material yang efisien, terukur, dan akurat untuk menghasilkan database properti material.

Fitur

Integrasi LLM Tingkat Lanjut : Mendukung Google Gemini Pro dan OpenAI GPT-4.
Pembelajaran Zero-shot dan Few-shot : Memadukan pembelajaran dalam konteks untuk akurasi ekstraksi yang lebih baik.
Anjuran yang Direkayasa : Penyempurnaan dinamis dari hierarki informasi terstruktur.
Ekstraksi Otonom : Identifikasi dan ekstraksi sifat material yang efisien dan terukur.
Presisi dan Perolehan Tinggi : Mencapai presisi dan perolehan lebih dari 90% dengan tingkat kesalahan sekitar 10%.

Instalasi

PropertyExtractor menawarkan opsi instalasi mudah yang sesuai untuk berbagai preferensi pengguna seperti dijelaskan di bawah. Kami mencatat bahwa semua perpustakaan dan dependable secara otomatis ditentukan dan diinstal bersama "propertyextract" yang dapat dieksekusi PropertyExtractor di semua opsi instalasi.

Menggunakan pip : Cara yang kami rekomendasikan untuk menginstal paket PropertyExtractor adalah menggunakan pip.
- Instal versi terbaru paket PropertyExtractor dengan cepat dengan pip dengan menjalankan:
```
 pip install -U propertyextract
```
Dari Kode Sumber :
- Alternatifnya, pengguna dapat mengunduh kode sumber dengan:
```
 git clone [[email protected]:gmp007/PropertyExtractor.git]
```
- Kemudian, instal PropertyExtractor dengan menavigasi ke direktori master dan menjalankan:
```
 pip install .
```
Instalasi melalui setup.py :
- PropertyExtractor juga dapat diinstal menggunakan skrip setup.py :
```
 python setup.py install [--prefix=/path/to/install/]
```
- Argumen opsional --prefix berguna untuk instalasi di lingkungan seperti sistem Komputasi Kinerja Tinggi (HPC) bersama, di mana hak administratif mungkin dibatasi.
- Harap dicatat bahwa meskipun metode ini tetap didukung, penggunaannya secara bertahap menurun demi praktik instalasi yang lebih modern. Kami hanya merekomendasikan opsi instalasi ini jika metode instalasi standar seperti pip tidak berlaku.

Penggunaan

Konfigurasi

Harap jangan mengekspos kunci API Anda. Sebelum menjalankan PropertyExtractor , konfigurasikan kunci API untuk Google Gemini Pro dan OpenAI GPT-4 sebagai variabel lingkungan.

Di Linux/macOS

 export GPT4_API_KEY= ' your_gpt4_api_key_here '
export GEMINI_PRO_API_KEY= ' your_gemini_pro_api_key_here '

Di Windows

 set GPT4_API_KEY= ' your_gpt4_api_key_here '
set GEMINI_PRO_API_KEY= ' your_gemini_pro_api_key_here '

Penggunaan dan Menjalankan PropertyExtractor

PropertyExtractor mudah dijalankan. Langkah-langkah penting untuk menginisialisasi PropertyExtractor adalah sebagai berikut:

Pembuatan data tidak terstruktur *: Gunakan API untuk mendapatkan properti material yang ingin Anda hasilkan databasenya dari penerbit pilihan Anda. Kami telah menulis fungsi API untuk ScienceDirect API Elsevier, CrossRef REST API, dan PubMed API. Kami dapat membagikan beberapa di antaranya jika diperlukan.

Buat Direktori Perhitungan :

Mulailah dengan membuat direktori untuk perhitungan Anda.
Jalankan propextract -0 untuk menghasilkan templat masukan utama PropertyExtractor , yaitu extract.in . Ubah dengan mengikuti instruksi terperinci yang disertakan.

File opsional seperti additionalprompt.txt' for augmenting additional custom prompts and kata kunci.json' untuk kata kunci tambahan khusus untuk mendukung kata kunci utama juga dibuat. Ubah agar sesuai dengan properti material yang diekstraksi. Templat masukan utama `extract.in' terlihat seperti di bawah ini:

 ###############################################################################
 ### The input file to control the calculation details of PropertyExtract    ###
 ###############################################################################
 # Type of LLM model: gemini/chatgpt 
 model_type = gemini
 # LLM model name: gemini-pro/gpt-4
 model_name = gemini-pro
 # Property to extract from texts
 property = thickness
 # Harmonized unit for the property to be extracted
 property_unit = Angstrom
 # temperature to max_output_tokens are LLM model parameters
 temperature = 0.0
 top_p = 0.95
 max_output_tokens = 80
 # You can supply additional keywords to be used in conjunction with the property: modify the file keywords.json
 use_keywords = True
 # You can add additional custom prompts: modify the file additionalprompt.txt
 additional_prompts = additionalprompt.txt
 # Name of input file to be processed: csv/excel format
 inputfile_name = 2Dthickness_Elsevier.csv
 # Column name in the input file to be processed
 column_name = Text
 # Name of output file
 outputfile_name = ppt_test

Inisialisasi Pekerjaan :
- Jalankan propextract untuk memulai proses perhitungan.
Memahami Opsi PropertyExtractor :
- File masukan utama extract.in menyertakan teks deskriptif untuk setiap tanda, sehingga mudah digunakan.

Mengutip PropertyExtractor

Jika Anda telah menggunakan paket PropertyExtractor dalam penelitian Anda, harap kutip:

Pembelajaran Dalam Konteks Dinamis dengan Model Percakapan untuk Ekstraksi Data dan Prediksi Properti Material -

@article{Ekuma2024,
  title = {Dynamic In-context Learning with Conversational Models for Data Extraction and Materials Property Prediction},
  journal = {XXX},
  volume = {xx},
  pages = {xx},
  year = {xx},
  doi = {xx},
  url = {xx},
  author = {Chinedu Ekuma}
}

@misc{PropertyExtractor,
  author = {Chinedu Ekuma},
  title = {PropertyExtractor -- LLM-based model to extract material property from unstructured dataset},
  year = {2024},
  howpublished = { url {https://github.com/gmp007/PropertyExtractor}},
  note = {Open-source tool leveraging LLMs like Google Gemini Pro and OpenAI GPT-4 for material property extraction},
}