h2o 3
1.0.0
بالنسبة لأي سؤال لم تتم الإجابة عليه في هذا الملف أو في وثائق H2O-3، يرجى استخدام:
H2O عبارة عن منصة في الذاكرة للتعلم الآلي الموزع والقابل للتطوير. تستخدم H2O واجهات مألوفة مثل R وPython وScala وJava وJSON وواجهة الويب/الكمبيوتر الدفتري Flow، وتعمل بسلاسة مع تقنيات البيانات الضخمة مثل Hadoop وSpark. يوفر H2O تطبيقات للعديد من الخوارزميات الشائعة مثل النماذج الخطية المعممة (GLM)، وآلات تعزيز التدرج (بما في ذلك XGBoost)، والغابات العشوائية، والشبكات العصبية العميقة، والمجموعات المكدسة، والخليج الساذج، والنماذج المضافة المعممة (GAM)، والمخاطر النسبية لكوكس، وK- الوسائل، PCA، Word2Vec، بالإضافة إلى خوارزمية التعلم الآلي التلقائي بالكامل (H2O AutoML).
H2O قابل للتوسيع بحيث يمكن للمطورين إضافة تحويلات البيانات والخوارزميات المخصصة التي يختارونها والوصول إليها من خلال جميع هؤلاء العملاء. يمكن تنزيل نماذج H2O وتحميلها في ذاكرة H2O للتسجيل، أو تصديرها إلى تنسيق POJO أو MOJO للتسجيل السريع للغاية في الإنتاج. يمكن العثور على مزيد من المعلومات في دليل مستخدم H2O.
H2O-3 (هذا المستودع) هو التجسيد الثالث لـ H2O، وخليفة H2O-2.
في حين أن معظم هذا الملف التمهيدي مكتوب للمطورين الذين يقومون بتصميماتهم الخاصة، فإن معظم مستخدمي H2O يقومون فقط بتنزيل واستخدام الإصدار المبني مسبقًا. إذا كنت من مستخدمي Python أو R، فإن أسهل طريقة لتثبيت H2O هي عبر PyPI أو Anaconda (لـ Python) أو CRAN (لـ R):
pip install h2oinstall.packages( " h2o " )للحصول على أحدث إصدارات Hadoop (أو Spark / Sparkling Water) المستقرة، الليلية، أو جرة H2O المستقلة، يرجى زيارة: https://h2o.ai/download
يتوفر المزيد من المعلومات حول تنزيل وتثبيت H2O في دليل مستخدم H2O.
يتفاعل معظم الأشخاص مع ثلاثة أو أربعة موارد أساسية مفتوحة المصدر: GitHub (الذي عثرت عليه بالفعل)، ومشكلات GitHub (لتقارير الأخطاء وتتبع المشكلات)، و Stack Overflow للأسئلة الخاصة بكود/برامج H2O، و h2ostream (مجموعة Google / منتدى مناقشة البريد الإلكتروني) للأسئلة غير المناسبة لـ Stack Overflow. هناك أيضًا مجموعة دردشة لمطوري Gitter H2O، ولكن لأغراض الأرشفة ولزيادة إمكانية الوصول إلى الحد الأقصى، نفضل إجراء أسئلة وأجوبة H2O القياسية على Stack Overflow.
يمكنك تصفح وإنشاء إصدارات جديدة في مستودع GitHub الخاص بنا: https://github.com/h2oai/h2o-3
Issues في أعلى الصفحةجيثب
مشكلات GitHub - قم بتقديم تقارير الأخطاء / تتبع المشكلات هنا
Stack Overflow - اطرح جميع أسئلة التعليمات البرمجية/البرامج هنا
Cross Validated (Stack Exchange) - اطرح أسئلة حول الخوارزمية/النظرية هنا
h2ostream Google Group - اطرح أسئلة غير متعلقة بالرمز هنا
دردشة مطور Gitter H2O
التوثيق
التنزيل (الحزم المعدة مسبقًا)
موقع إلكتروني
تويتر - تابعنا للحصول على التحديثات وأخبار H2O!
H2O الرائع - شارك معنا إبداعاتك التي تعمل بتقنية H2O
ينشر كل إصدار ليلي عناصر R وPython وJava وScala في مستودع خاص بالبناء. على وجه الخصوص، يمكنك العثور على عناصر Java في دليل maven/repo.
فيما يلي مثال لمقتطف لملف بناء مهد باستخدام h2o-3 باعتباره تبعية. استبدل x وy وz وnnnn بأرقام صالحة.
// h2o-3 dependency information
def h2oBranch = 'master'
def h2oBuildNumber = 'nnnn'
def h2oProjectVersion = "x.y.z.${h2oBuildNumber}"
repositories {
// h2o-3 dependencies
maven {
url "https://s3.amazonaws.com/h2o-release/h2o-3/${h2oBranch}/${h2oBuildNumber}/maven/repo/"
}
}
dependencies {
compile "ai.h2o:h2o-core:${h2oProjectVersion}"
compile "ai.h2o:h2o-algos:${h2oProjectVersion}"
compile "ai.h2o:h2o-web:${h2oProjectVersion}"
compile "ai.h2o:h2o-app:${h2oProjectVersion}"
}
ارجع إلى أحدث صفحة إنشاء H2O-3 النزفية الليلية للحصول على معلومات حول تثبيت عناصر البناء الليلية.
ارجع إلى مستودع h2o-droplets GitHub للحصول على مثال عملي لكيفية استخدام عناصر Java مع gradle.
ملحوظة: يتم نشر منتجات H2O-3 المستقرة بشكل دوري إلى Maven Central (انقر هنا للبحث) ولكنها قد تتأخر بشكل كبير عن إصدارات H2O-3 Bleeding Edge الليلية.
يتطلب البدء في تطوير H2O JDK 1.8+، وNode.js، وGradle، وPython، وR. نستخدم مجمّع Gradle (يسمى gradlew ) لضمان تثبيت الإصدارات المحلية المحدثة من Gradle والتبعيات الأخرى في دليل التطوير الخاص بك.
يتطلب بناء h2o إعداد بيئة R بشكل صحيح مع الحزم المطلوبة وبيئة Python مع الحزم التالية:
grip
tabulate
requests
wheel
لتثبيت هذه الحزم يمكنك استخدام pip أو conda. إذا كنت تواجه مشكلات في تثبيت هذه الحزم على نظام التشغيل Windows ، فيرجى اتباع قسم الإعداد على نظام التشغيل Windows في هذا الدليل.
(ملاحظة: يوصى باستخدام بعض البيئات الافتراضية مثل VirtualEnv لتثبيت كافة الحزم.)
لبناء H2O من المستودع، قم بالخطوات التالية.
# Build H2O
git clone https://github.com/h2oai/h2o-3.git
cd h2o-3
./gradlew build -x test
You may encounter problems: e.g. npm missing. Install it:
brew install npm
# Start H2O
java -jar build/h2o.jar
# Point browser to http://localhost:54321
git clone https://github.com/h2oai/h2o-3.git
cd h2o-3
./gradlew syncSmalldata
./gradlew syncRPackages
./gradlew build
ملحوظات :
- يبدأ تشغيل الاختبارات خمسة أجهزة JVM للاختبار تشكل مجموعة H2O وتتطلب ما لا يقل عن 8 جيجابايت من ذاكرة الوصول العشوائي (يفضل 16 جيجابايت من ذاكرة الوصول العشوائي).
- تشغيل
./gradlew syncRPackagesمدعوم على أنظمة التشغيل Windows وOS X وLinux، ويوصى به بشدة ولكنه غير مطلوب. يضمن./gradlew syncRPackagesبيئة كاملة ومتسقة مع الإصدارات المعتمدة مسبقًا من الحزم المطلوبة للاختبارات والإنشاءات. يمكن تثبيت الحزم يدويًا، لكننا نوصي بتعيين متغير ENV واستخدام./gradlew syncRPackages. لتعيين متغير ENV، استخدم التنسيق التالي (حيث يمكن أن يكون `${WORKSPACE} أي مسار):mkdir -p ${WORKSPACE}/Rlibrary export R_LIBS_USER=${WORKSPACE}/Rlibrary
git pull
./gradlew syncSmalldata
./gradlew syncRPackages
./gradlew clean
./gradlew build
نوصي باستخدام ./gradlew clean بعد كل git pull .
تخطي الاختبارات عن طريق إضافة -x test في نهاية سطر أوامر بناء المهد. يتم تشغيل الاختبارات عادةً لمدة تتراوح بين 7 و10 دقائق على كمبيوتر محمول Macbook Pro مزود بـ 4 وحدات معالجة مركزية (8 وحدات معالجة مركزية) وذاكرة وصول عشوائي (RAM) سعة 16 جيجابايت.
مزامنة البيانات الصغيرة ليست مطلوبة بعد كل عملية سحب، ولكن إذا فشلت الاختبارات بسبب فقدان ملفات البيانات، فحاول ./gradlew syncSmalldata كخطوة أولى لاستكشاف الأخطاء وإصلاحها. تؤدي مزامنة البيانات الصغيرة إلى تنزيل ملفات البيانات من AWS S3 إلى دليل البيانات الصغيرة في مساحة العمل الخاصة بك. المزامنة تزايدية. لا تحقق في هذه الملفات. دليل البيانات الصغيرة موجود في .gitignore. إذا لم تقم بإجراء أي اختبارات، فلن تحتاج إلى دليل البيانات الصغيرة.
تشغيل ./gradlew syncRPackages مدعوم على أنظمة التشغيل Windows وOS X وLinux، ويوصى به بشدة ولكنه غير مطلوب. يضمن ./gradlew syncRPackages بيئة كاملة ومتسقة مع الإصدارات المعتمدة مسبقًا من الحزم المطلوبة للاختبارات والإنشاءات. يمكن تثبيت الحزم يدويًا، لكننا نوصي بتعيين متغير ENV واستخدام ./gradlew syncRPackages . لتعيين متغير ENV، استخدم التنسيق التالي (حيث يمكن أن يكون ${WORKSPACE} أي مسار):
mkdir -p ${WORKSPACE}/Rlibrary
export R_LIBS_USER=${WORKSPACE}/Rlibrary
./gradlew clean && ./gradlew build -x test && (export DO_FAST=1; ./gradlew dist)
open target/docs-website/h2o-docs/index.html
يحتوي جذر مستودع git على ملف Makefile مع اختصارات ملائمة لأهداف البناء المتكررة المستخدمة في التطوير. لبناء h2o.jar أثناء تخطي الاختبارات وكذلك بناء التجميعات البديلة، قم بالتنفيذ
make
لبناء h2o.jar باستخدام الحد الأدنى من التجميع، قم بتشغيل
make minimal
الحد الأدنى من التجميع مناسب تمامًا لتطوير خوارزميات التعلم الآلي H2O. إنه لا يجمع بعض التبعيات ذات الوزن الثقيل (مثل Hadoop) واستخدامه يوفر وقت الإنشاء بالإضافة إلى الحاجة إلى تنزيل مكتبات كبيرة من مستودعات Maven.
من سطر الأوامر، التحقق من صحة python يستخدم الحزمة المثبتة حديثًا باستخدام which python (أو sudo which python ). قم بتحديث متغير البيئة باستخدام مسار WinPython.
pip install grip tabulate wheel
قم بتثبيت Java 1.8+ وأضف الدليل المناسب C:Program FilesJavajdk1.7.0_65bin مع java.exe إلى PATH في متغيرات البيئة. للتأكد من أن موجه الأوامر يكتشف إصدار Java الصحيح، قم بتشغيل:
javac -version
يجب أيضًا تعيين متغير CLASSPATH إلى المجلد الفرعي lib الخاص بـ JDK:
CLASSPATH=/<path>/<to>/<jdk>/lib
قم بتثبيت Node.js وأضف الدليل المثبت C:Program Filesnodejs ، والذي يجب أن يتضمن Node.exe وnpm.cmd إلى PATH إذا لم يكن مثبتًا مسبقًا.
قم بتثبيت R وأضف دليل bin إلى PATH الخاص بك إذا لم يكن مدرجًا بالفعل.
قم بتثبيت حزم R التالية:
لتثبيت هذه الحزم من خلال جلسة R:
pkgs <- c( " RCurl " , " jsonlite " , " statmod " , " devtools " , " roxygen2 " , " testthat " )
for ( pkg in pkgs ) {
if ( ! ( pkg %in% rownames(installed.packages()))) install.packages( pkg )
}لاحظ أن libcurl مطلوب لتثبيت حزمة RCurl R.
لاحظ أن هذه الحزم لا تغطي اختبارات التشغيل، فهي مخصصة لبناء H2O فقط.
أخيرًا، قم بتثبيت Rtools، وهي عبارة عن مجموعة من أدوات سطر الأوامر لتسهيل تطوير R على Windows.
ملاحظة : أثناء تثبيت Rtools، لا تقم بتثبيت Cygwin.dll.
ملحوظة : أثناء تثبيت Cygwin، قم بإلغاء تحديد حزم Python لتجنب التعارض مع حزمة Python.org.
إذا كان Cygwin مثبتًا بالفعل، فقم بإزالة حزم Python أو تأكد من أن Native Python موجود قبل Cygwin في متغير PATH.
إذا لم يكن لديك عميل Git بالفعل، فيرجى تثبيت واحد. يمكن العثور على الخيار الافتراضي هنا http://git-scm.com/downloads. تأكد من تمكين دعم موجه الأوامر قبل التثبيت.
تنزيل وتحديث أكواد المصدر h2o-3:
git clone https://github.com/h2oai/h2o-3
cd h2o-3
./gradlew.bat build
إذا واجهت أخطاء، فقم بتشغيل
--stacktraceمرة أخرى للحصول على مزيد من الإرشادات حول التبعيات المفقودة.
إذا لم يكن لديك Homebrew، فنوصي بتثبيته. فهو يجعل إدارة الحزم لنظام التشغيل OS X أمرًا سهلاً.
تثبيت جافا 1.8+. للتأكد من أن موجه الأوامر يكتشف إصدار Java الصحيح، قم بتشغيل:
javac -version
استخدام البيرة المنزلية:
brew install node
بخلاف ذلك، قم بالتثبيت من موقع NodeJS.
قم بتثبيت R وأضف دليل bin إلى PATH الخاص بك إذا لم يكن مدرجًا بالفعل.
قم بتثبيت حزم R التالية:
لتثبيت هذه الحزم من خلال جلسة R:
pkgs <- c( " RCurl " , " jsonlite " , " statmod " , " devtools " , " roxygen2 " , " testthat " )
for ( pkg in pkgs ) {
if ( ! ( pkg %in% rownames(installed.packages()))) install.packages( pkg )
}لاحظ أن libcurl مطلوب لتثبيت حزمة RCurl R.
لاحظ أن هذه الحزم لا تغطي اختبارات التشغيل، فهي مخصصة لبناء H2O فقط.
تثبيت بايثون:
brew install python
تثبيت مدير حزمة النقطة:
sudo easy_install pip
تثبيت الحزم المطلوبة التالية:
sudo pip install wheel requests tabulate
يجب أن يكون نظام التشغيل OS X مثبتًا عليه Git بالفعل. لتنزيل وتحديث أكواد مصدر h2o-3:
git clone https://github.com/h2oai/h2o-3
cd h2o-3
./gradlew build
ملحوظة: على الجهاز العادي، قد يستغرق الأمر وقتًا طويلاً جدًا (حوالي ساعة) لإجراء جميع الاختبارات.
إذا واجهت أخطاء، فقم بتشغيل
--stacktraceمرة أخرى للحصول على مزيد من الإرشادات حول التبعيات المفقودة.
curl -sL https://deb.nodesource.com/setup_0.12 | sudo bash -
sudo apt-get install -y nodejs
قم بتثبيت Java 8. يمكن العثور على تعليمات التثبيت هنا تثبيت JDK. للتأكد من أن موجه الأوامر يكتشف إصدار Java الصحيح، قم بتشغيل:
javac -version
يمكن العثور على تعليمات التثبيت هنا تثبيت R. انقر فوق "تنزيل R لنظام التشغيل Linux". انقر فوق "أوبونتو". اتبع التعليمات المقدمة.
لتثبيت الحزم المطلوبة، اتبع نفس التعليمات الخاصة بنظام التشغيل OS X أعلاه.
ملاحظة : إذا فشلت عملية تثبيت خادم RStudio على نظام التشغيل Linux، فقم بتشغيل أحد الإجراءات التالية:
sudo apt-get install libcurl4-openssl-devأو
sudo apt-get install libcurl4-gnutls-dev
إذا لم يكن لديك عميل Git بالفعل:
sudo apt-get install git
تنزيل وتحديث أكواد المصدر h2o-3:
git clone https://github.com/h2oai/h2o-3
cd h2o-3
./gradlew build
إذا واجهت أخطاء، فقم بتشغيلها مرة أخرى باستخدام
--stacktraceللحصول على مزيد من الإرشادات حول التبعيات المفقودة.
تأكد من أنك لا تعمل كجذر، حيث أن
bowerسوف يرفض مثل هذا التشغيل.
curl -sL https://deb.nodesource.com/setup_16.x | sudo bash -
sudo apt-get install -y nodejs
cd /opt
sudo wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
sudo tar xzf jdk-7u79-linux-x64.tar.gz
cd jdk1.7.0_79
sudo alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2
sudo alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2
sudo alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2
sudo alternatives --set jar /opt/jdk1.7.0_79/bin/jar
sudo alternatives --set javac /opt/jdk1.7.0_79/bin/javac
cd /opt
sudo wget http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
sudo rpm -ivh epel-release-7-5.noarch.rpm
sudo echo "multilib_policy=best" >> /etc/yum.conf
sudo yum -y update
sudo yum -y install R R-devel git python-pip openssl-devel libxml2-devel libcurl-devel gcc gcc-c++ make openssl-devel kernel-devel texlive texinfo texlive-latex-fonts libX11-devel mesa-libGL-devel mesa-libGL nodejs npm python-devel numpy scipy python-pandas
sudo pip install scikit-learn grip tabulate statsmodels wheel
mkdir ~/Rlibrary
export JAVA_HOME=/opt/jdk1.7.0_79
export JRE_HOME=/opt/jdk1.7.0_79/jre
export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin
export R_LIBS_USER=~/Rlibrary
# install local R packages
R -e 'install.packages(c("RCurl","jsonlite","statmod","devtools","roxygen2","testthat"), dependencies=TRUE, repos="http://cran.rstudio.com/")'
cd
git clone https://github.com/h2oai/h2o-3.git
cd h2o-3
# Build H2O
./gradlew syncSmalldata
./gradlew syncRPackages
./gradlew build -x test
لبدء مجموعة H2O محليًا، قم بتنفيذ ما يلي في سطر الأوامر:
java -jar build/h2o.jar
تتوفر قائمة بخيارات بدء التشغيل JVM وH2O المتاحة (على سبيل المثال -Xmx و -nthreads و -ip ) في دليل مستخدم H2O.
تتوفر ملفات H2O-on-Hadoop المضغوطة المعدة مسبقًا على صفحة التنزيل. يحتوي كل إصدار توزيع Hadoop على ملف مضغوط منفصل في h2o-3.
لإنشاء H2O باستخدام Hadoop، ادعم نفسك، قم أولاً بتثبيت sphinx لـ python: pip install sphinx ثم ابدأ الإنشاء بإدخال ما يلي من دليل h2o-3 عالي المستوى:
export BUILD_HADOOP=1;
./gradlew build -x test;
./gradlew dist;
سيؤدي هذا إلى إنشاء دليل يسمى "الهدف" وإنشاء ملفات مضغوطة هناك. لاحظ أن BUILD_HADOOP هو السلوك الافتراضي عندما يكون اسم المستخدم هو jenkins (راجع settings.gradle )؛ وإلا عليك أن تطلب ذلك، كما هو موضح أعلاه.
لإنشاء ملفات مضغوطة فقط للتوزيعات المحددة، استخدم متغير البيئة H2O_TARGET مع BUILD_HADOOP ، على سبيل المثال:
export BUILD_HADOOP=1;
export H2O_TARGET=hdp2.5,hdp2.6
./gradlew build -x test;
./gradlew dist;
في دليل h2o-hadoop ، يحتوي كل إصدار Hadoop على دليل بناء لبرنامج التشغيل ودليل تجميع للفتجار.
أنت بحاجة إلى:
build.gradle ) في h2o-hadooph2o-3/settings.gradleHADOOP_VERSIONS في make-dist.shh2o-dist/buildinfo.jsonيدعم Hadoop انتحال هوية المستخدم الآمن من خلال Java API الخاص به. يمكن السماح لمستخدم kerberos المصادق عليه بتوكيل أي اسم مستخدم يلبي المعايير المحددة التي تم إدخالها في ملف NameNode's core-site.xml. ينطبق هذا الانتحال فقط على التفاعلات مع Hadoop API أو واجهات برمجة التطبيقات للخدمات المرتبطة بـ Hadoop التي تدعمها (وهذا ليس مثل التبديل إلى ذلك المستخدم على الجهاز الأصلي).
إعداد انتحال شخصية المستخدم الآمن (لـ h2o):
hadoop.proxyuser.<proxyusername>.hosts : المضيفين المسموح للمستخدم الوكيل بتنفيذ إجراءات منتحل نيابة عن مستخدم صالح منهhadoop.proxyuser.<proxyusername>.groups : المجموعات التي يجب أن ينتمي إليها المستخدم المنتحل حتى يتمكن الانتحال من العمل مع هذا المستخدم الوكيلhadoop.proxyuser.<proxyusername>.users : المستخدمون الذين يُسمح لمستخدم الوكيل بانتحال هويتهم<property> <name>hadoop.proxyuser.myproxyuser.hosts</name> <value>host1,host2</value> </property> <property> <name>hadoop.proxyuser.myproxyuser.groups</name> <value>group1,group2</value> </property> <property> <name>hadoop.proxyuser.myproxyuser.users</name> <value>user1,user2</value> </property> يمكن عرض إجراءات HDFS المنتحلة في سجل تدقيق hdfs (يجب أن يظهر "auth:PROXY" في الحقل ugi= في الإدخالات التي ينطبق فيها ذلك). YARN بالمثل يجب أن يُظهر "auth:PROXY" في مكان ما في واجهة مستخدم إدارة الموارد.
لاستخدام الانتحال الآمن مع برنامج تشغيل Hadoop الخاص بـ h2o:
قبل محاولة ذلك، راجع مخاطر انتحال الشخصية أدناه
عند استخدام h2odriver (على سبيل المثال، عند التشغيل باستخدام hadoop jar ... )، حدد -principal <proxy user kerberos principal> ، -keytab <proxy user keytab path> ، و- -run_as_user <hadoop username to impersonate> ، بالإضافة إلى أي شيء آخر الحجج اللازمة. إذا كان التكوين ناجحًا، فسيقوم المستخدم الوكيل بتسجيل الدخول وانتحال شخصية -run_as_user طالما أن هذا المستخدم مسموح به إما من خلال خاصية تكوين المستخدمين أو المجموعات (التي تم تكوينها أعلاه)؛ يتم فرض ذلك بواسطة HDFS & YARN، وليس كود h2o. يقوم برنامج التشغيل بتعيين سياق الأمان الخاص به بشكل فعال كمستخدم منتحل، لذلك سيتم تنفيذ جميع إجراءات Hadoop المدعومة مثل ذلك المستخدم (على سبيل المثال، YARN، تدعم واجهات برمجة التطبيقات HDFS المستخدمين المنتحلين بشكل آمن، ولكن قد لا يدعم الآخرون ذلك).
hadoop.proxyuser.<proxyusername>.hosts كلما كان ذلك ممكنًا أو عمليًا.su ، على سبيل المثال)hadoop.proxyuser.<proxyusername>.{hosts,groups,users} إلى '*' إلى زيادة التعرض للمخاطر الأمنية بشكل كبير. $ git diff
diff --git a/h2o-app/build.gradle b/h2o-app/build.gradle
index af3b929..097af85 100644
--- a/h2o-app/build.gradle
+++ b/h2o-app/build.gradle
@@ -8,5 +8,6 @@ dependencies {
compile project(":h2o-algos")
compile project(":h2o-core")
compile project(":h2o-genmodel")
+ compile project(":h2o-persist-hdfs")
}
diff --git a/h2o-persist-hdfs/build.gradle b/h2o-persist-hdfs/build.gradle
index 41b96b2..6368ea9 100644
--- a/h2o-persist-hdfs/build.gradle
+++ b/h2o-persist-hdfs/build.gradle
@@ -2,5 +2,6 @@ description = "H2O Persist HDFS"
dependencies {
compile project(":h2o-core")
- compile("org.apache.hadoop:hadoop-client:2.0.0-cdh4.3.0")
+ compile("org.apache.hadoop:hadoop-client:2.4.1-mapr-1408")
+ compile("org.json:org.json:chargebee-1.0")
}
تجمع Sparkling Water بين تقنيتين مفتوحتي المصدر: Apache Spark ومنصة H2O Machine Learning. فهو يجعل مكتبة H2O من الخوارزميات المتقدمة، بما في ذلك Deep Learning وGLM وGBM وK-Means وDistributed Random Forest، يمكن الوصول إليها من سير عمل Spark. يمكن لمستخدمي Spark اختيار أفضل الميزات من أي من النظامين الأساسيين لتلبية احتياجات التعلم الآلي الخاصة بهم. يمكن للمستخدمين الجمع بين Spark's RDD API وSpark MLLib مع خوارزميات التعلم الآلي الخاصة بـ H2O، أو استخدام H2O بشكل مستقل عن Spark لعملية بناء النموذج ومعالجة النتائج في Spark بعد ذلك.
موارد المياه الفوارة :
وثائق H2O الرئيسية هي دليل مستخدم H2O. تفضل بزيارة http://docs.h2o.ai للحصول على مقدمة رفيعة المستوى حول التوثيق الخاص بمشروعات H2O.
لإنشاء وثائق REST API، استخدم الأوامر التالية:
cd ~/h2o-3
cd py
python ./generate_rest_api_docs.py # to generate Markdown only
python ./generate_rest_api_docs.py --generate_html --github_user GITHUB_USER --github_password GITHUB_PASSWORD # to generate Markdown and HTML
الموقع الافتراضي للوثائق التي تم إنشاؤها هو build/docs/REST .
إذا فشل البناء، حاول gradlew clean ، ثم git clean -f .
يتوفر التوثيق الخاص بكل تصميم ليلي على صفحة التصميم الليلي.
إذا كنت تستخدم H2O كجزء من سير العمل الخاص بك في أحد المنشورات، فيرجى الإشارة إلى مورد (مصادر) H2O الخاص بك باستخدام إدخال BibTex التالي:
@Manual{h2o_package_or_module,
title = {package_or_module_title},
author = {H2O.ai},
year = {year},
month = {month},
note = {version_information},
url = {resource_url},
}
أمثلة على اقتباسات برنامج H2O المنسق :
كتيبات خوارزمية H2O متاحة على صفحة الوثائق الرئيسية.
@Manual{h2o_booklet_name,
title = {booklet_title},
author = {list_of_authors},
year = {year},
month = {month},
url = {link_url},
}
أمثلة على اقتباسات الكتيب المنسق :
Arora, A., Candel, A., Lanford, J., LeDell, E., and Parmar, V. (أكتوبر 2016). التعلم العميق مع H2O . http://docs.h2o.ai/h2o/latest-stable/h2o-docs/booklets/DeepLearningBooklet.pdf.
انقر، C.، لانفورد، J.، مالوهلافا، M.، بارمار، V.، ورورك، H. (أكتوبر 2016). نماذج متدرجة معزّزة بـ H2O . http://docs.h2o.ai/h2o/latest-stable/h2o-docs/booklets/GBMBooklet.pdf.
تم إنشاء H2O بواسطة عدد كبير من المساهمين على مر السنين داخل H2O.ai (الشركة) ومجتمع المصادر المفتوحة الأكبر. يمكنك البدء في المساهمة في H2O من خلال الإجابة على أسئلة Stack Overflow أو تقديم تقارير الأخطاء. يرجى الانضمام إلينا!
SriSatish Ambati
Cliff Click
Tom Kraljevic
Tomas Nykodym
Michal Malohlava
Kevin Normoyle
Spencer Aiello
Anqi Fu
Nidhi Mehta
Arno Candel
Josephine Wang
Amy Wang
Max Schloemer
Ray Peck
Prithvi Prabhu
Brandon Hill
Jeff Gambera
Ariel Rao
Viraj Parmar
Kendall Harris
Anand Avati
Jessica Lanford
Alex Tellez
Allison Washburn
Amy Wang
Erik Eckstrand
Neeraja Madabhushi
Sebastian Vidrio
Ben Sabrin
Matt Dowle
Mark Landry
Erin LeDell
Andrey Spiridonov
Oleg Rogynskyy
Nick Martin
Nancy Jordan
Nishant Kalonia
Nadine Hussami
Jeff Cramer
Stacie Spreitzer
Vinod Iyengar
Charlene Windom
Parag Sanghavi
Navdeep Gill
Lauren DiPerna
Anmol Bal
Mark Chan
Nick Karpov
Avni Wadhwa
Ashrith Barthur
Karen Hayrapetyan
Jo-fai Chow
Dmitry Larko
Branden Murray
Jakub Hava
Wen Phan
Magnus Stensmo
Pasha Stetsenko
Angela Bartz
Mateusz Dymczyk
Micah Stubbs
Ivy Wang
Terone Ward
Leland Wilkinson
Wendy Wong
Nikhil Shekhar
Pavel Pscheidl
Michal Kurka
Veronika Maurerova
Jan Sterba
Jan Jendrusak
Sebastien Poirier
Tomáš Frýda
Ard Kelmendi
Yuliia Syzon
Adam Valenta
Marek Novotny
Zuzana Olajcova
المجلس الاستشاري العلمي
Stephen Boyd
Rob Tibshirani
Trevor Hastie
الأنظمة والبيانات وأنظمة الملفات وHadoop
Doug Lea
Chris Pouliot
Dhruba Borthakur
Jishnu Bhattacharjee, Nexus Venture Partners
Anand Babu Periasamy
Anand Rajaraman
Ash Bhardwaj
Rakesh Mathur
Michael Marks
Egbert Bierman
Rajesh Ambati
