MetaSpore

中文介绍

Metaspore: универсальная платформа разработки машинного обучения

Metaspore-это универсальная платформа для разработки машинного обучения, которая предоставляет полноценную структуру и интерфейс разработки для предварительной обработки данных, обучения моделям, автономных экспериментов, онлайн-прогнозов для ведения трафика онлайн-эксперимента.

Metaspore разрабатывается и открывается командой Dmetasoul. Вы также можете присоединиться к нашему пространству для обсуждения пользователей Slack.

Основные особенности

Metaspore имеет следующие функции:

1. Одноподно-сквозная разработка, от офлайн-модельного обучения до онлайн-прогнозирования и экспериментов по ведению, с унифицированным опытом разработки на протяжении всего процесса;
2. Обучение глубокому обучению, совместимая с экологией Pytorch, поддерживает распределенное крупномасштабное разреженное обучение функции;
3. Обучающая структура связана с Pyspark для беспрепятственного чтения учебных данных из хранилища данных и хранилища данных;
4. Высокопроизводительный онлайн-служба онлайн-прогнозирования поддерживает быстрый вывод для нейронной сети, дерева решений, Spark ML, Sklearn и других моделей; поддерживает гетерогенное ускорение аппаратного вывода;
5. В автономной единой структуре извлечения функций онлайн -логика чтения функций создается автоматически, а логика извлечения функций - это Unified Cross Offline и онлайн;
6. Структура приложения онлайн -алгоритма, обеспечение прогнозирования модели, ведения эксперимента и расщепления трафика, динамическая горячая нагрузка параметров и богатые функции отладки;
7. Богатые примеры алгоритма отрасли и сквозные решения.

Документация и примеры

• Учебное пособие

• Приложение онлайн -алгоритма (реализация Java)

  • Онлайн -модель обслуживания
  • Онлайн -извлечение
  • Онлайн -эксперимент

• Демонстрация системной системы с энтепроизводной системой, включая систему рекомендаций, включая

  • Автономные модели
  • Приложение онлайн -алгоритма (реализация Java)

Установочный пакет скачать

Учебный пакет

Мы предоставляем предварительно скомпилированные офлайн -пакет колес на PYPI, устанавливаем его через PIP:

pip install metaspore

Минимальная версия Python требуется 3,8.

После установки также установите pytorch и pyspark (они не включены в качестве деко -декораций колеса Metaspore, так что вы можете выбрать версии Pyspark и Pytorch по мере необходимости):

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

Порция пакета

Мы предоставляем предварительно построенные изображения Docker для службы обслуживания Metaspore:

Только процессор изображение

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

Изображение графического процессора

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

Смотрите службу обслуживания запуска в Docker для деталей.

Составьте код

• Компиляция в автономной учебной структуре

Руководящие принципы сообщества

Руководящие принципы сообщества

Обратная связь

По вопросам использования вы можете опубликовать вопросы в обсуждении GitHub или через проблему GitHub.

Почта

Напишите нам по адресу [email protected].

Пролечить

Присоединяйтесь к нашему пользовательскому обсуждению Slack Channel: Metaspore User

Проекты с открытым исходным кодом

Metaspore - это полностью с открытым исходным кодом проект, выпущенный по Apache License 2.0. Участие, обратная связь и кодовые взносы приветствуются.