الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

AWS SDK للباندا (awswrangler)

الباندا على AWS

سهولة التكامل مع Athena وGlue وRedshift وTimestream وOpenSearch وNeptune وQuickSight وChime وCloudWatchLogs وDynamoDB وEMR وSecretManager وPostgreSQL وMySQL وSQLServer وS3 (Parquet وCSV وJSON وEXCEL).

AWS SDK for pandas

مبادرة مفتوحة المصدر لخدمة AWS الاحترافية | [email protected]

مصدر التنزيلات أمر التثبيت
بيبي
 pip install awswrangler
كوندا
 conda install -c conda-forge awswrangler

️ بدءاً من الإصدار 3.0، يجب تثبيت الوحدات الاختيارية بشكل صريح:
➡️ pip install 'awswrangler[redshift]'

جدول المحتويات

  • بداية سريعة

  • على نطاق واسع

  • قراءة المستندات

  • الحصول على المساعدة

  • التسجيل

بداية سريعة

أمر التثبيت: pip install awswrangler

️ بدءاً من الإصدار 3.0، يجب تثبيت الوحدات الاختيارية بشكل صريح:
➡️ pip install 'awswrangler[redshift]'

 import awswrangler as wrimport pandas as pdfrom datetime import datetimedf = pd.DataFrame({"id": [1, 2], "value": ["foo", "boo"]})# تخزين البيانات على البيانات Lakewr.s3.to_parquet(df=df,path="s3://bucket/dataset/",dataset=True,database="my_db",table="my_table")# استرداد البيانات مباشرة من Amazon S3df = wr. s3.read_parquet("s3://bucket/dataset/", dataset=True)# استرداد البيانات من Amazon Athenadf = wr.athena.read_sql_query("SELECT * FROM my_table", data="my_db")# احصل على اتصال Redshift من Glue Catalog واسترجاع البيانات من Redshift Spectrumcon = wr.redshift.connect("my-glue-connection")df = wr.redshift.read_sql_query("SELECT * FROM External_schema.my_table"، con=con)con. Close()# Amazon Timestream Writedf = pd.DataFrame({"time": [datetime.now(), datetime.now()], "my_dimension": ["foo", "boo"] "قياس": [1.0، 1.1]،
})rejected_records = wr.timestream.write(df,database = "sampleDB"، table = "sampleTable"، time_col = "time"، measure_col = "measure"،dimensions_cols = ["my_dimension"]،
)# Amazon Timestream Querywr.timestream.query("""SELECT time, Measure_value::double, my_dimensionFROM "sampleDB"."sampleTable" ORDER BY time DESC LIMIT 3""")

على نطاق واسع

يمكن لـ AWS SDK for pandas أيضًا تشغيل سير العمل الخاص بك على نطاق واسع من خلال الاستفادة من Modin وRay. يهدف كلا المشروعين إلى تسريع أعباء عمل البيانات من خلال توزيع المعالجة على مجموعة من العمال.

اقرأ مستنداتنا أو توجه إلى أحدث برامجنا التعليمية لمعرفة المزيد.

️ Ray غير متوفر حاليًا لـ Python 3.12. على الرغم من أن AWS SDK for pandas يدعم Python 3.12، إلا أنه لا يمكن استخدامه على نطاق واسع.

قراءة المستندات

  • ما هو AWS SDK للباندا؟

  • ثَبَّتَ

    • بي بي (نقطة)

    • كوندا

    • طبقة AWS لامدا

    • وظائف AWS Glue Python Shell

    • وظائف AWS الغراء PySpark

    • مفكرة أمازون سيج ميكر

    • دورة حياة الكمبيوتر الدفتري Amazon SageMaker

    • السجلات الطبية الإلكترونية

    • من المصدر

  • على نطاق واسع

    • ابدء

    • واجهات برمجة التطبيقات المدعومة

    • موارد

  • دروس

    • 001 - مقدمة

    • 002 - الجلسات

    • 003-أمازون S3

    • 004 - مجموعات بيانات الباركيه

    • 005 - كتالوج الغراء

    • 006 - أمازون أثينا

    • 007 - قواعد البيانات (Redshift وMySQL وPostgreSQL وSQL Server وOracle)

    • 008 - التحول نحو الأحمر - النسخ والتفريغ.ipynb

    • 009 - التحول نحو الأحمر - الإلحاق والكتابة الفوقية والإدخال

    • 010 - مجنزرة الباركيه

    • 011 - مجموعات بيانات CSV

    • 012 - زاحف CSV

    • 013 - دمج مجموعات البيانات في S3

    • 014 - تطور المخطط

    • 015 - إقليم شرق المتوسط

    • 016 - السجلات الطبية الإلكترونية وعامل الإرساء

    • 017 - إسقاط التقسيم

    • 018 - الرؤية السريعة

    • 019 - مخبأ أثينا

    • 020 - إمكانية التشغيل التفاعلي لجدول الشرارة

    • 021 - التكوينات العالمية

    • 022 - كتابة الأقسام بشكل متزامن

    • 023 - مرشح الأقسام المرنة

    • 024 - بيانات تعريف استعلام أثينا

    • 025 - Redshift - تحميل ملفات الباركيه باستخدام Spectrum

    • 026 - تيار الأمازون الزمني

    • 027 - أمازون تيمستريم 2

    • 028 - أمازون دينامو دي بي

    • 029 - S3 اختر

    • 030 - واجهة برمجة تطبيقات البيانات

    • 031 - البحث المفتوح

    • 033 - أمازون نبتون

    • 034 - توزيع المكالمات باستخدام الراي

    • 035 - توزيع المكالمات على مجموعة Ray Remote

    • 037 - جودة بيانات الغراء

    • 038 - بحث مفتوح بدون خادم

    • 039 - أثينا فيض

    • 040 - EMR بدون خادم

    • 041 - أباتشي سبارك على أمازون أثينا

  • مرجع واجهة برمجة التطبيقات

    • أمازون إس 3

    • كتالوج الغراء AWS

    • أمازون أثينا

    • التحول نحو الأحمر في أمازون

    • PostgreSQL

    • ماي إس كيو إل

    • خادم SQL

    • أوراكل

    • التحول الأحمر لواجهة برمجة تطبيقات البيانات

    • بيانات API RDS

    • البحث المفتوح

    • جودة بيانات AWS Glue

    • أمازون نبتون

    • دينامو دي بي

    • أمازون تيمستريم

    • أمازون إي إم آر

    • سجلات Amazon CloudWatch

    • الأمازون الرنين

    • أمازون كويك سايت

    • أوس إس تي إس

    • مدير أسرار AWS

    • التكوينات العالمية

    • وزعت - راي

  • رخصة

  • المساهمة

الحصول على المساعدة

أفضل طريقة للتفاعل مع فريقنا هي من خلال GitHub. يمكنك فتح مشكلة والاختيار من أحد النماذج الخاصة بنا لتقارير الأخطاء وطلبات الميزات... وقد تجد أيضًا مساعدة بشأن موارد المجتمع هذه:

  • قناة #aws-sdk-pandas Slack

  • اطرح سؤالاً على Stack Overflow وقم بوضع علامة عليه باستخدام awswrangler

  • دليل التشغيل لـ AWS SDK للباندا مع راي

التسجيل

تمكين أمثلة التسجيل الداخلي:

 استيراد تسجيل الدخول.basicConfig(level=logging.INFO, format="[%(name)s][%(funcName)s] %(message)s")logging.getLogger("awswrangler").setLevel(logging.DEBUG) logging.getLogger("botocore.credentials").setLevel(logging.CRITICAL)

في AWS لامدا:

 استيراد تسجيل الدخول.getLogger("awswrangler").setLevel(logging.DEBUG)
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل