parallec

[ ابدأ | المميزات | حالات الاستخدام | عينات | سجل التغيير / ما الجديد / الإصدارات | مجموعة المستخدمين | الدافع | العروض التوضيحية | الأداء | قارن | المساهمون | حول | الأخبار | البرنامج المساعد | 中文介绍 ]

[ نظرة عامة على واجهة برمجة التطبيقات | إنشاء وإرسال المهمة | تتبع الحالة وفحص الردود | التكوينات ]

تم التغريد بواسطة منشئ Akka وتم عرضه في [ هذا الأسبوع في #Scala | OSChina - أفضل 100 شركة في عام 2015 ]

ملخص

Parallec عبارة عن مكتبة جافا عميل HTTP(S)/SSH/TCP/UDP/Ping غير متزامنة سريعة ومبنية على Akka. يمكنك تجميع استجابات واجهة برمجة التطبيقات (API) والتعامل معها بشكل قابل للتطوير على أي حال وإرسالها إلى أي مكان عن طريق كتابة 20 سطرًا من التعليمات البرمجية. يتيح لك سياق الاستجابة المريح للغاية إدخال/إخراج أي كائن عند التعامل مع الاستجابات. يمكنك الآن إجراء مكالمات API قابلة للتطوير، ثم تمرير البيانات المجمعة في أي مكان دون عناء إلى البحث المرن، وkafka، وMongoDB، والجرافيت، وmemcached، وما إلى ذلك. تحكم مرن في التزامن على مستوى المهمة دون إنشاء مجموعة سلاسل رسائل مكونة من 1000 خيط. Parallec تعني Paralle l C lient (تُنطق بـ "Para-like"). قم بزيارة www.parallec.io

شاهد العرض التوضيحي : تجميع استجابة HTTP لخادم الويب لـ 8000 إلى الذاكرة في 12 ثانية / إلى ElasticSearch في 16 ثانية.

رسائل الخطأ المجمعة - تصحيح الأخطاء مع الرؤية الكاملة : هل تواجه مشكلة في تصحيح الأخطاء في البيئة المتزامنة؟ ليس بعد الآن! يتم التقاط كافة الاستثناءات والمهلة وتتبعات المكدس والطلبات المرسلة ووقت الاستجابة المستلمة وتجميعها في خريطة الاستجابة. وهو متوفر في ParallelTask ​​للاستقصاء مباشرة بعد تنفيذ المهمة بشكل غير متزامن. تضمن المهلة متعددة المستويات (العامل/المدير) عودة المهام حتى بالنسبة لـ 100000 طلب.

حالات استخدام الإنتاج : تستخدم على نطاق واسع في برامج البنية التحتية كمحرك الاقتراع والتجميع

1. نشر التطبيقات / PaaS : تم دمج Parallec في نظام نشر تطبيقات الإنتاج الرئيسي (PaaS) على موقع eBay. تقوم Parallec بتنسيق أكثر من 10 مهام لواجهة برمجة التطبيقات، حيث تستهدف كل مهمة 10 إلى 1000 خوادم وأكثر من 1000 تجمع تطبيقات في الإنتاج. تم استخدام Parallec مع محرك تدفق العمل Winder للتعامل مع تدفقات العمل الأكثر تعقيدًا ولكنها مشابهة لهذا التدفق.
2. استخراج البيانات / ETL : تم استخدام Parallec من قبل فريق استخبارات الويب التابع لشركة eBay Israel لتنفيذ مكالمات متوازية من 10k إلى 100k API لخادم طرف ثالث واحد مع أداء محسّن بشكل كبير وموارد أقل.
3. استكشاف أخطاء الشبكة وإصلاحها عبر Probing : في فريق الشبكة/السحابة في eBay، يلعب Parallec دورًا أساسيًا في ضمان معدلات تنبيهات كاذبة منخفضة للغاية للكشف بدقة عن حالات فشل التبديل. يعمل Parallec كمحرك الاقتراع الأساسي في المكون الرئيسي للتحقق من صحة الوكيل ووضع علامة على الوكلاء للتخلص من الضوضاء بشكل فعال وفي الوقت المناسب.
4. إدارة الوكيل / الوكيل الرئيسي : في فريق تشغيل / أدوات موقع eBay، يعمل Parallec كمحرك أساسي لإدارة ومراقبة الوكيل العميل / العميل الملح / kubernetes kubelet مثل الوكيل على أكثر من 100000 خادم إنتاج لضمان عمليات قابلة للتطوير.

ابدأ

قم بتنزيل أحدث إصدار من JAR أو احصل عليه من Maven:

< dependency >
	< groupId >io.parallec</ groupId >
	< artifactId >parallec-core</ artifactId >
	< version >0.10.6</ version >
</ dependency >

تتوفر لقطات من إصدار التطوير في مستودع snapshots Sonatype.

أو جرادل:

compile 'io.parallec:parallec-core:0.10.6'

6 خط مثال

في المثال أدناه، مجرد تغيير PreparHttpGet() إلى PreparSsh() و preparTcp() و preparUdp() و preparPing() يمكّنك من إجراء SSH/TCP/Ping بشكل متوازي. التفاصيل يرجى الرجوع إلى Java Doc ومثال التعليمات البرمجية.

 import io . parallec . core .*;
import java . util . Map ;

ParallelClient pc = new ParallelClient (); 
pc . prepareHttpGet ( "" ). setTargetHostsFromString ( "www.google.com www.ebay.com www.yahoo.com" )
. execute ( new ParallecResponseHandler () {
    public void onCompleted ( ResponseOnSingleTask res ,
        Map < String , Object > responseContext ) {
        System . out . println ( res . toString () );  }
});

20 سطر مثال

الآن بعد أن تعلمت الأساسيات، تحقق من مدى سهولة تمرير عميل بحث مرن باستخدام سياق الاستجابة المناسب لتجميع البيانات في أي مكان تريده. يمكنك أيضًا تمرير خريطة تجزئة إلى responseContext ، وحفظ النتائج التي تمت معالجتها على الخريطة أثناء onCompleted ، واستخدام الخريطة في الخارج لمزيد من العمل.

...
import org . elasticsearch . client . Client ;
import static org . elasticsearch . node . NodeBuilder .*;

ParallelClient pc = new ParallelClient ();
org . elasticsearch . node . Node node = nodeBuilder (). node (); //elastic client initialize
HashMap < String , Object > responseContext = new HashMap < String , Object >();
responseContext . put ( "Client" , node . client ());
pc . prepareHttpGet ( "" )
        . setConcurrency ( 1000 ). setResponseContext ( responseContext )
        . setTargetHostsFromLineByLineText ( "http://www.parallec.io/userdata/sample_target_hosts_top100_old.txt" , HostsSourceType . URL )
        . execute ( new ParallecResponseHandler () {
            public void onCompleted ( ResponseOnSingleTask res ,
                    Map < String , Object > responseContext ) {
                Map < String , Object > metricMap = new HashMap < String , Object >();
                metricMap . put ( "StatusCode" , res . getStatusCode (). replaceAll ( " " , "_" ));
                metricMap . put ( "LastUpdated" , PcDateUtils . getNowDateTimeStrStandard ());
                metricMap . put ( "NodeGroupType" , "Web100" );
                Client client = ( Client ) responseContext . get ( "Client" );
                client . prepareIndex ( "local" , "parallec" , res . getHost ()). setSource ( metricMap ). execute ();
            }
        });
node . close (); pc . releaseExternalResources ();

طلبات مختلفة لنفس الهدف

انظر الآن إلى مدى سهولة استخدام قالب الطلب لإرسال عدة طلبات مختلفة إلى نفس الهدف. يُسمح بالاستبدال المتغير في نص النشر وعنوان URL والرؤوس. اقرأ المزيد..

 pc . prepareHttpGet ( "/userdata/sample_weather_$ZIP.txt" )
    . setReplaceVarMapToSingleTargetSingleVar ( "ZIP" ,
        Arrays . asList ( "95037" , "48824" ), "www.parallec.io" )
    . execute ( new ParallecResponseHandler () {...}...

• http://www.parallec.io/userdata/sample_weather_48824.txt
• http://www.parallec.io/userdata/sample_weather_95037.txt

ما هو الجديد

• 06/2017 إضافة ترميز الاستجابة الديناميكية حسب نوع محتوى الاستجابة.
• 09/2016 إضافة خيار لحفظ رؤوس الاستجابة في HTTP #24.
• 08/2016 دعم UDP غير المتزامن الموازي (عبر Netty) #41.
• 07/2016 دعم استبدال المنافذ المختلفة في الطلبات المختلفة.
• 06/2016 إضافة SSH الموازية لتشغيل Sudo بكلمة مرور للأوامر.

مزيد من التفاصيل يرجى مراجعة سجل التغيير.

الإصدارات

• أحدث إصدار جاهز للإنتاج هو 0.10.x ، حيث نستخدمه في الإنتاج.
• في async-http-client 2.x، إصدار Parallec.io الذي يستخدم أحدث async-http-client (يستخدم حاليًا AHC الإصدار 2.0.15 ) هو 0.20.0-SNAPSHOT . لقد اجتاز هذا الإصدار اختبارات الوحدة الشاملة ولكن لم يتم استخدامه بعد في الإنتاج. يتطلب هذا الإصدار JDK8 نظرًا لـ AHC 2.x ويمكن استخدامه مع المكونات الإضافية المتوازية بنفس الإصدار 0.20.0-SNAPSHOT ، التفاصيل يرجى التحقق من رقم 37.

المزيد من القراءات

• المزيد من الأمثلة حول إعداد السياق، أرسلها إلى Elastic Search / Kafka، والتشغيل غير المتزامن، واستقصاء التقدم التلقائي، وتتبع التقدم، وTCP/SSH/Ping. مثال UDP موجود هنا، مع المزيد في المستقبل.
• قم بتعيين المضيفين المستهدفين من القائمة، والسلسلة، والنص سطرًا تلو الآخر، ومسار json، من عناوين URL المحلية أو البعيدة.
• التوثيق الكامل
• جافادوك
• عرض Ping لخوادم Ping 8000 خلال 11.1 ثانية، اختبار الأداء مقابل FPing.

مجموعة المستخدمين

• اطرح سؤالاً، واستمر في متابعة تطورات المكتبة من خلال الانضمام إلى مجموعة المناقشة/المنتدى: Parallec.io Google Group.
• لا تتردد في إرسال مشكلة Github لأية أسئلة واقتراحات أيضًا.
• تحقق من الأسئلة الشائعة.

حالات الاستخدام

1. مراقبة وإدارة وتكوين خادم الويب القابل للتطوير والتحقق من اختبار ping.
2. اكتشاف حالة الأصول/الخادم، وتنفيذ المهام عن بعد بطريقة بدون وكيل (SSH موازية) أو طريقة تعتمد على الوكيل (HTTP/TCP موازية).
3. تجميع ومعالجة واجهة برمجة التطبيقات (API) القابلة للتطوير مع وجهة مرنة باستخدام محرك قائمة انتظار / تخزين / تنبيه الرسائل المفضلة لديك.
4. التنسيق وتدفق العمل على خوادم ويب متعددة.
5. طلبات مختلفة متوازية مع التزامن المتحكم فيه لخادم واحد: كعميل متوازي لـ REST API، تم تمكين عمليات قاعدة البيانات / خادم الويب CRUD. يُسمح بالاستبدال المتغير في نص المقالة وعنوان url والرؤوس.
6. تحميل الاختبار مع قالب الطلب.
7. مراقبة الشبكة من خلال الفحص النشط عبر UDP/Ping وما إلى ذلك.

سمات

تم بناء Parallec على ممثلين Akka و Async HTTP Client / Netty / Jsch. تركز المكتبة على HTTP بينما تتيح أيضًا الاتصال القابل للتطوير عبر SSH/Ping/TCP.

تضمن لك تغطية الاختبار بنسبة 90%+ العثور دائمًا على مثال لكل ميزة.

1. واجهة بديهية للغاية مع نمط منشئ مشابه لتلك الموجودة في Async HTTP Client، ولكنها تتعامل مع التزامن خلف الكواليس.
2. معالج الاستجابة العامة مع السياق . يتيح سياق الاستجابة الخاص الحرية الكاملة والراحة في معالجة كل استجابة بطريقتك. معالجة البيانات وتجميعها في أي مكان إلى Kafka وRedis وElastic Search وmongoDB وCMS وغيرها.
3. مرن بشأن وقت استدعاء المعالج : قبل (في مؤشر ترابط العامل) أو بعد التجميع (في مؤشر ترابط رئيسي/مدير).
4. الإدخال المرن للمضيفين المستهدفين : إدخال المضيفين المستهدفين من قائمة أو سلسلة أو مسار JSON من الملفات المحلية أو عنوان URL بعيد
5. قابلة للتطوير وسريعة ، وقابلة للتطوير بشكل لا نهائي من خلال التحكم المتزامن في التزامن .
6. استقصاء التقدم التلقائي لتمكين التزامن على مستوى المهمة مع Async API للمهام والتنسيقات الطويلة.
7. نموذج طلب للتعامل مع الطلبات غير الموحدة.
8. مكان واحد مناسب للتعامل مع حالات النجاح والفشل . التعامل مع وظيفة واحدة حيث يمكنك الحصول على الاستجابة بما في ذلك الاستجابة الفعلية في حالة النجاح؛ أو تتبع المكدس وتفاصيل الخطأ في حالة الفشل.
9. يساعدك برنامج جدولة المهام المدرك للقدرة على وضع المهام في قائمة الانتظار تلقائيًا وإطلاقها عندما تكون السعة غير كافية. (على سبيل المثال، إرسال 5 مهام متتالية تصل كل منها إلى 100 ألف موقع ويب بالتزامن الافتراضي مما يؤدي إلى ظهور قائمة انتظار)
10. يساعدك تتبع التقدم المحرز في المهام الدقيقة على تتبع التقدم المحرز في كل حالة مهمة على حدة. من بين مهمة متوازية على 1000 مضيف مستهدف، يمكنك التحقق من الحالة في أي مهمة مضيفة واحدة، ونسبة التقدم بالنسبة لعدد المهام المكتملة.
11. إلغاء المهام الدقيقة على مستوى الطلب الكلي/الفردي. من بين مهمة متوازية على 1000 مضيف مستهدف، يمكنك إلغاء مجموعة فرعية من المضيفين المستهدفين أو إلغاء المهمة المتوازية بالكامل في أي وقت.
12. يتم توفير تجميع رمز الحالة خارج الصندوق.
13. يدعم Parallel Ping كلاً من InetAddress.reachable ICMP (يتطلب الجذر) وping القائم على العملية مع إعادة المحاولات. يُظهر اختبار الأداء أن سرعة FPing هي ضعف سرعة FPing التي تم ضبطها بأفضل جهد عند اختبار ping على 1500 هدف. (2.2 مقابل 4.5 ثانية)
14. يدعم Parallel SSH كلا من تسجيل الدخول المعتمد على المفتاح وكلمة المرور وإلغاء المهام.
15. يدعم Parallel TCP/UDP إغلاق القناة بناءً على مهلة الخمول.

تحفيز

• التعامل المرن مع الاستجابة والمعالجة الفورية المضمنة في التطبيقات الأخرى.
• تعامل مع واجهات برمجة التطبيقات غير المتزامنة من خلال استقصاء التقدم التلقائي للتحكم في التزامن على مستوى المهمة.
• دعم البروتوكولات الأخرى، وأكثر من ذلك.
• يمكن لأي شخص كتابة 20 سطرًا ليصبح طلبه/طلبها قائدًا لـ REST.

بفضل التعليقات والدروس والتحسينات التي تم إجراؤها خلال العام الماضي من الاستخدام الداخلي والمصدر المفتوح لـ REST Commander ، أصبحنا الآن نواة REST Commander كمكتبة مستقلة سهلة الاستخدام. أضفنا أكثر من 15 ميزة جديدة ، وأعدنا كتابة ما يزيد عن 70% من التعليمات البرمجية، مع تغطية اختبارية تزيد عن 90% للاستخدام والمساهمة الموثوقة. هذه المرة قمنا أيضًا بهيكلتها بشكل أفضل بحيث يمكن إجراء معظم التطوير الداخلي هنا مباشرة.

شاهد باراليك أثناء العمل

[ شاهد العرض التوضيحي ](https://www.youtube.com/watch?v=QcavegPMDms"عرض Parallec - انقر للمشاهدة!"): يقوم Parallec بتجميع حالة 100 موقع ويب للبحث المرن وتصورها باستخدام 20 سطرًا من التعليمات البرمجية.

شاهد العرض التوضيحي حول مكالمات HTTP على 8000 خادم : تجميع استجابة HTTP لخادم الويب لـ 8000 إلى الذاكرة في 12 ثانية / إلى ElasticSearch في 16 ثانية.

[ شاهد عرض Ping التجريبي ](https://www.youtube.com/watch?v=9m1TFuO1Mys"عرض Parallec Ping vs FPing - انقر للمشاهدة!"): Parallec عبارة عن سرعة مضاعفة لـ FPing المضبوط بأفضل جهد مع نفس النتائج الدقيقة و تنفيذ الأمر pings على 8000 خادم خلال 11.1 ثانية، التفاصيل تحقق هنا.

أداء

لاحظ أن السرعة تختلف بناءً على سرعة الشبكة، ووقت استجابة واجهة برمجة التطبيقات (API)، وأبطأ الخوادم، والمهلة، وإعدادات التزامن.

HTTP

أجرينا واجهة برمجة تطبيقات لتنفيذ المهام عن بُعد على 3000 خادم مع استجابة مجمعة للبحث المرن، والتي تم تصورها في غضون 15 ثانية، من خلال كتابة 25 سطرًا من التعليمات البرمجية.

باستخدام واجهة برمجة تطبيقات أخرى أسرع، يمكنك الاتصال بـ 8000 خادم في نفس مركز البيانات مع تجميع الاستجابة في الذاكرة خلال 12 ثانية.

بينغ

Parallec 2.2 ثانية مقابل FPing 4.5 ثانية على 1500 خادم. Parallec هي سرعة FPing مضاعفة (بعد الضبط بأفضل جهد: -i 1 -r 0 v3.12) لإجراء اختبار ping على 1500 خادم مع الحصول على نفس نتائج ping. يقوم Parallec بإجراء اختبار الاتصال لـ 8000 خادم خلال 11.1 ثانية بسهولة.

كالعادة، لا تعتمد على هذه الأرقام وقم بإجراء معاييرك الخاصة.

قارن Parallec و REST Commander و ThreadPools+Async Client

• بالمقارنة مع الحل القائم على تجمع سلاسل رسائل Java، يمنحك Parallec التحكم في التزامن بدون قلق دون قيود على حجم مؤشر الترابط. لا تتلاءم تجمعات مؤشرات الترابط بشكل جيد عند الحاجة إلى التزامن 1000 (1000 سلسلة ..) أو عند الحاجة إلى إعداد التزامن مختلف لكل طلب.
• بالمقارنة مع حلول Node.js أحادية الترابط، يتيح Parallec التعامل مع الاستجابة المكثفة للحسابات المتوازية مع مراكز متعددة.
• هناك مشكلات مماثلة تتعلق بقفل المترجم العام لـ Python، ولاستخدام وحدات معالجة مركزية متعددة، ستحتاج إلى استخدام عمليات متعددة مكلفة. هذه أكثر ملاءمة للإدخال/الإخراج فقط ولكن لا توجد معالجة مكثفة للاستجابة لوحدة المعالجة المركزية.

في Parallec، يمكنك التعامل مع الاستجابة إما في العامل (قبل التجميع: بالتوازي) أو في المدير (بعد التجميع: خيط واحد). اقرأ المزيد..

لمزيد من مراجعة الأعمال ذات الصلة، يرجى زيارة هنا.

سمات	باراليك	قائد الراحة	تجمعات المواضيع + عميل غير متزامن
مكتبة مضمنة مع واجهة نمط منشئ بديهية
تطبيق جاهز للاستخدام مع تقديم الطلب وتجميع الاستجابة بناءً على معالج واجهة المستخدم الرسومية
تحكم بسيط في التزامن لا يقتصر على حجم الخيط
معالج الاستجابة الفورية دون انتظار إرجاع كافة الاستجابة
جدولة المهام المدركة للقدرات والتحكم في القدرات العالمية
الحرية الكاملة لمعالجة الاستجابة وتجميع واجهة برمجة التطبيقات: معالج الاستجابة العام القابل للتوصيل وسياق الاستجابة
مكون إضافي مكون من سطر واحد لتمكين مصادقة عميل SSL
تغطية الاختبار 90%
قم بتحميل المضيفين المستهدفين من استعلام CMS، ومسار JSON، والنص، والقائمة، والسلسلة من URL/المحلي
التزامن والتنسيق على مستوى المهمة لواجهات برمجة التطبيقات غير المتزامنة: تقدم مهمة الاستقصاء التلقائي
تكوين مستوى المهمة عند انتهاء المهلة واستبدال Async HTTP Client
التحكم في المهام غير المتزامنة والمزامنة مع استطلاع التقدم والإلغاء
SSH متوازي قابل للتطوير مع كلمة مرور وتسجيل دخول يعتمد على المفتاح
قابلية التوسع والسرعة المثبتة على أكثر من 100000 مضيف مستهدف في بيئة الإنتاج
قالب طلب عام مع استبدال متغير لإرسال طلبات مختلفة إلى نفس المضيفين المستهدفين/المختلفين
Ping قابل للتطوير مع إعادة المحاولة
TCP/UDP قابل للتوسيع مع انتهاء مهلة الخمول
موقع معالج مرن إما في العامل (بالتوازي) أو في مؤشر ترابط المدير
تجميع الاستجابة على مستويين خارج الصندوق على رمز الحالة
تشذيب سجل الاستجابة القابل للتكوين على فترات
إلغاء المهمة على قائمة المضيفين المستهدفين

الإضافات

البرنامج المساعد لمصادقة عميل SSL

تغيير السجل

المساهمين

ونحن نشكر بشدة جميع المساهمين على جهودهم.

• لوكاس كريجر http://stackoverflow.com/users/1240557/kryger
• com.bilzwu
• فيصل حميد
• com.fivesmallq
• براينت1410
• com.djKooks

المؤلفون

يتم تقديم Parallec لك بواسطة Yuanteng (Jeff) Pei وTeng Song، Cloud Infrastructure & Platform Services (CIPS) في eBay Inc. (المؤلفون الأصليون)

الاعتمادات والتقدير

• نشكر مديرنا آندي سانتوسا، ومدير المشروع ماركو روتيللي، والبنية التحتية السحابية وخدمات المنصات (CIPS) والقانونية على الدعم الكبير لهذا المشروع والجهود مفتوحة المصدر.
• استطلاع التقدم التلقائي مستوحى من تدفق الضوء.
• نشكر openpojo والمؤلف عثمان شكري لمساعدته في جعل الوصول إلى openpojo أكثر سهولة بالنسبة لنا لاستخدامه في مشروعنا.
• نشكر AsyncHttpClient وستيفان لانديل على التوجيه.

المساهمات

أي ردود فعل مفيدة هو أكثر من موضع ترحيب. يتضمن ذلك طلبات الميزات وتقارير الأخطاء وطلبات السحب والتعليقات البناءة وما إلى ذلك. يجب عليك الموافقة على [هذا](https://github.com/eBay/parallec/blob/master/CONTRIBUTING.md) قبل إرسال [سحب ](https://github.com/eBay/parallec/pulls) طلب.

التراخيص

الكود مرخص بموجب ترخيص Apache v2.0

© 2015-2017 مؤسسة إيباي للبرمجيات