pathway
v0.16.0
البداية | النشر | التوثيق والدعم | مدونة | رخصة
Pathway هو إطار عمل Python ETL لمعالجة التدفق والتحليلات في الوقت الفعلي وخطوط أنابيب LLM وRAG.
يأتي Pathway مزودًا بواجهة برمجة تطبيقات Python سهلة الاستخدام ، مما يسمح لك بدمج مكتبات Python ML المفضلة لديك بسلاسة. رمز المسار متعدد الاستخدامات وقوي: يمكنك استخدامه في كل من بيئات التطوير والإنتاج، والتعامل مع كل من البيانات المجمعة والمتدفقة بشكل فعال . يمكن استخدام نفس الكود للتطوير المحلي، واختبارات CI/CD، وتشغيل المهام المجمعة، والتعامل مع عمليات إعادة البث، ومعالجة تدفقات البيانات.
يتم تشغيل Pathway بواسطة محرك Rust قابل للتطوير استنادًا إلى تدفق البيانات التفاضلي ويقوم بإجراء عمليات حسابية تزايدية. يتم تشغيل رمز المسار الخاص بك، على الرغم من كتابته بلغة Python، بواسطة محرك Rust، مما يتيح تعدد مؤشرات الترابط والمعالجة المتعددة والحسابات الموزعة. يتم الاحتفاظ بكل خطوط الأنابيب في الذاكرة ويمكن نشرها بسهولة باستخدام Docker وKubernetes .
يمكنك تثبيت Pathway باستخدام النقطة:
pip install -U pathway
لأية أسئلة، ستجد المجتمع والفريق الذي يقف وراء المشروع على Discord.
هل أنت مستعد لرؤية ما يمكن أن يفعله Pathway؟
جرب أحد الأمثلة سهلة التشغيل لدينا!
تتوفر هذه الأمثلة الجاهزة للتشغيل بتنسيقات دفتر الملاحظات ووحدة الإرساء ببضع نقرات فقط. اختر واحدًا وابدأ تجربتك العملية مع Pathway اليوم!
بفضل محركه الموحد للدفعات والبث وتوافقه الكامل مع لغة Python، يجعل Pathway عملية معالجة البيانات سهلة قدر الإمكان. إنه الحل المثالي لمجموعة واسعة من خطوط معالجة البيانات، بما في ذلك:
يوفر Pathway أدوات LLM مخصصة لإنشاء خطوط أنابيب LLM وRAG مباشرة. تم تضمين أغلفة خدمات وأدوات LLM الأكثر شيوعًا، مما يجعل العمل مع خطوط أنابيب LLM وRAGs أمرًا سهلاً للغاية. تحقق من وثائق LLM xpack الخاصة بنا.
لا تتردد في تجربة أحد الأمثلة القابلة للتشغيل لدينا والتي تتميز بأدوات LLM. يمكنك العثور على مثل هذه الأمثلة هنا.
يتطلب المسار إصدار Python 3.10 أو أعلى.
يمكنك تثبيت الإصدار الحالي من Pathway باستخدام pip :
$ pip install -U pathway
import pathway as pw
# Define the schema of your data (Optional)
class InputSchema ( pw . Schema ):
value : int
# Connect to your data using connectors
input_table = pw . io . csv . read (
"./input/" ,
schema = InputSchema
)
#Define your operations on the data
filtered_table = input_table . filter ( input_table . value >= 0 )
result_table = filtered_table . reduce (
sum_value = pw . reducers . sum ( filtered_table . value )
)
# Load your results to external systems
pw . io . jsonlines . write ( result_table , "output.jsonl" )
# Run the computation
pw . run ()قم بتشغيل Pathway في Google Colab.
يمكنك العثور على المزيد من الأمثلة هنا.
لاستخدام Pathway، ما عليك سوى استيراده:
import pathway as pwالآن، يمكنك بسهولة إنشاء مسار المعالجة الخاص بك، والسماح لـ Pathway بمعالجة التحديثات. بمجرد إنشاء خط الأنابيب الخاص بك، يمكنك بدء الحساب على تدفق البيانات باستخدام أمر من سطر واحد:
pw . run () يمكنك بعد ذلك تشغيل مشروع Pathway الخاص بك (على سبيل المثال، main.py ) تمامًا مثل برنامج Python النصي العادي: $ python main.py . يأتي Pathway مزودًا بلوحة معلومات مراقبة تسمح لك بتتبع عدد الرسائل المرسلة بواسطة كل موصل ووقت استجابة النظام. تتضمن لوحة المعلومات أيضًا رسائل السجل.
وبدلاً من ذلك، يمكنك استخدام إصدار Path'ish:
$ pathway spawn python main.py
يدعم Pathway أصلاً تعدد مؤشرات الترابط. لتشغيل تطبيقك بثلاثة سلاسل، يمكنك القيام بما يلي:
$ pathway spawn --threads 3 python main.py
لبدء مشروع Pathway، يمكنك استخدام قالب ملف تعريف الارتباط الخاص بنا.
يمكنك بسهولة تشغيل Pathway باستخدام عامل الإرساء.
يمكنك استخدام صورة Pathway docker، باستخدام ملف Dockerfile:
FROM pathwaycom/pathway:latest
WORKDIR /app
COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
CMD [ "python" , "./your-script.py" ]يمكنك بعد ذلك إنشاء صورة Docker وتشغيلها:
docker build -t my-pathway-app .
docker run -it --rm --name my-pathway-app my-pathway-app عند التعامل مع مشاريع ذات ملف واحد، قد يبدو إنشاء ملف Dockerfile كاملاً غير ضروري. في مثل هذه السيناريوهات، يمكنك تنفيذ برنامج Python النصي مباشرةً باستخدام صورة Pathway Docker. على سبيل المثال:
docker run -it --rm --name my-pathway-app -v "$PWD":/app pathwaycom/pathway:latest python my-pathway-app.py يمكنك أيضًا استخدام صورة Python القياسية وتثبيت Pathway باستخدام النقطة مع ملف Dockerfile:
FROM --platform=linux/x86_64 python:3.10
RUN pip install -U pathway
COPY ./pathway-script.py pathway-script.py
CMD [ "python" , "-u" , "pathway-script.py" ]تعتبر حاويات Docker مناسبة بشكل مثالي للنشر على السحابة باستخدام Kubernetes. إذا كنت ترغب في توسيع نطاق تطبيق Pathway الخاص بك، فقد تكون مهتمًا بمسارنا للمؤسسات. تم تصميم Pathway for Enterprise خصيصًا لمعالجة البيانات الشاملة والتحليلات الذكية في الوقت الفعلي. إنه يتوسع باستخدام الحوسبة الموزعة على السحابة ويدعم نشر Kubernetes الموزع، مع إعداد الثبات الخارجي.
يمكنك نشر Pathway بسهولة باستخدام خدمات مثل Render: تعرف على كيفية نشر Pathway ببضع نقرات.
إذا كنت مهتمًا، فلا تتردد في الاتصال بنا لمعرفة المزيد.
تم تصميم Pathway للتفوق على أحدث التقنيات المصممة لمهام البث ومعالجة البيانات المجمعة، بما في ذلك: Flink وSpark وKafka Streaming. كما أنه يجعل من الممكن تنفيذ الكثير من الخوارزميات/UDF في وضع الدفق والتي لا تدعمها أطر الدفق الأخرى بسهولة (خاصة: الروابط المؤقتة، وخوارزميات الرسم البياني التكراري، وإجراءات التعلم الآلي).
إذا كنت فضوليًا، فإليك بعض المعايير التي يمكنك اللعب بها.
تتوفر الوثائق الكاملة لبرنامج Pathway على موقع path.com/developers/، بما في ذلك مستندات API.
إذا كان لديك أي سؤال، فلا تتردد في فتح مشكلة على GitHub، أو انضم إلينا على Discord، أو أرسل لنا بريدًا إلكترونيًا على [email protected].
يتم توزيع Pathway بموجب ترخيص BSL 1.1 الذي يسمح بالاستخدام غير التجاري غير المحدود، بالإضافة إلى استخدام حزمة Pathway لمعظم الأغراض التجارية مجانًا. يتحول الكود الموجود في هذا المستودع تلقائيًا إلى مصدر مفتوح (ترخيص Apache 2.0) بعد 4 سنوات. بعض اتفاقيات إعادة الشراء العامة المكملة لهذا (الأمثلة والمكتبات والموصلات وما إلى ذلك) مرخصة كمصدر مفتوح بموجب ترخيص MIT.
إذا قمت بتطوير مكتبة أو موصل ترغب في دمجه مع هذا الريبو، فإننا نقترح إصداره أولاً كريبو منفصل على ترخيص MIT/Apache 2.0.
بالنسبة لجميع المخاوف المتعلقة بوظائف المسار الأساسية، يتم تشجيع المشكلات. لمزيد من المعلومات، لا تتردد في التعامل مع مجتمع Pathway's Discord.
