sycamore

Sycamore adalah mesin pemrosesan dokumen sumber terbuka yang didukung AI untuk aplikasi berbasis ETL, RAG, LLM, dan analitik pada data tidak terstruktur. Sycamore dapat mempartisi dan memperkaya berbagai jenis dokumen termasuk laporan, presentasi, transkrip, manual, dan banyak lagi. Itu dapat menganalisis dan memotong dokumen kompleks seperti PDF dan gambar dengan tabel, gambar, grafik, dan infografis lainnya yang tertanam. Lihat contoh buku catatan.

Untuk memproses dokumen, Sycamore memanfaatkan Aryn DocParse (sebelumnya dikenal sebagai Aryn Partitioning Service), API tanpa server yang didukung GPU untuk melakukan segmentasi dan pelabelan dokumen, melakukan OCR, mengekstraksi tabel dan gambar, dan banyak lagi. Sistem ini memanfaatkan model deep learning DETR AI Aryn yang canggih dan open source yang dilatih pada lebih dari 80 ribu dokumen perusahaan, dan dapat menghasilkan pengelompokan data 6x lebih akurat dan peningkatan ingatan 2x pada penelusuran hibrid atau RAG jika dibandingkan dengan sistem alternatif. Anda dapat mendaftar secara gratis di sini, atau memilih untuk menjalankan Aryn Partitioner secara lokal.

Aryn DocParse mengambil dokumen dan mengembalikan output yang dipartisi dalam JSON, dan Anda dapat menggunakan Sycamore untuk ekstraksi data tambahan, pengayaan, transformasi, pembersihan, dan pemuatan ke database hilir. Anda dapat memilih LLM untuk digunakan dengan transformasi ini.

Sycamore dengan andal memuat database vektor dan mesin pencari hibrid Anda, termasuk OpenSearch, ElasticSearch, Pinecone, DuckDB, Qdrant, dan Weaviate, dengan data berkualitas lebih tinggi.

Kerangka kerja Sycamore dibangun berdasarkan abstraksi yang dapat diskalakan dan kuat untuk pemrosesan dokumen yang disebut DocSet, dan mencakup transformasi tingkat tinggi yang kuat dengan Python untuk pemrosesan, pengayaan, dan pembersihan data. DocSets juga merangkum teknik pemrosesan data yang dapat diskalakan yang menghilangkan beban berat yang tidak terdiferensiasi dari potongan pemuatan yang andal. Pendekatan pemrograman fungsional DocSets memungkinkan Anda menyesuaikan dan bereksperimen dengan chunking dengan cepat untuk mendapatkan hasil RAG dengan kualitas lebih baik.

Fitur

• Terintegrasi dengan Aryn DocParse, menggunakan model AI vision yang canggih untuk segmentasi dan menjaga struktur semantik dokumen
• Abstraksi DocSet untuk mengubah dan memanipulasi dokumen tidak terstruktur secara terukur dan andal
• Ekstraksi tabel berkualitas tinggi, OCR, ringkasan visual, UDF yang didukung LLM, dan transformasi data Python berkinerja lainnya
• Buat penyematan vektor dengan cepat menggunakan model AI pilihan Anda
• Fitur bermanfaat seperti perayap data otomatis (Amazon S3 dan HTTP), notebook Jupyter untuk menulis dan mengulangi pekerjaan, serta pencarian hibrid OpenSearch dan mesin RAG untuk pengujian
• Backend Ray yang dapat diskalakan

Demo

Pengantar Aryn DocParse (sebelumnya dikenal sebagai Layanan Partisi Aryn)

Memulai

Sycamore saat ini berjalan di Linux dan Mac OS. Untuk menginstal, jalankan:

pip install sycamore-ai

Sycamore menyediakan konektor ke database vektor melalui tambahan Python. Untuk memasang konektor, sertakan sebagai tambahan dengan pemasangan pip Anda. Misalnya,

pip install sycamore-ai[duckdb]

Konektor yang didukung meliputi duckdb , elasticsearch , opensearch , pinecone , qdrant , dan weaviate .

Untuk menggunakan Aryn DocParse, daftar gratis di sini dan gunakan kunci API.

Sumber daya

• Dokumentasi: https://sycamore.readthedocs.io
• Contoh buku catatan: https://github.com/aryn-ai/sycamore/blob/main/notebooks/sycamore-tutorial-intermediate-etl.ipynb
• Kendur: https://join.slack.com/t/sycamore-ulj8912/shared_invite/zt-23sv0yhgy-MywV5dkVQ~F98Aoejo48Jg
• Perpustakaan persiapan data (PyPi): https://pypi.org/project/sycamore-ai/
• Hubungi kami: [email protected]

Berkontribusi

Lihat Panduan Berkontribusi kami untuk informasi lebih lanjut tentang cara berkontribusi pada Sycamore dan menyiapkan lingkungan Anda untuk pengembangan.

Kontributor

Sejarah Bintang

↑ Kembali ke Atas ↑