Обучение искусственному интеллекту требует много времени и потребляет вычислительную мощность, что всегда было узким местом в области искусственного интеллекта. Команда DeepMind недавно опубликовала революционное исследование и предложила новый метод проверки данных под названием JEST, который эффективно решает эту проблему. Редактор Downcodes даст вам глубокое понимание того, как JEST может значительно повысить эффективность обучения ИИ, и объяснит лежащие в его основе технические принципы.
В области искусственного интеллекта вычислительная мощность и время всегда были ключевыми факторами, ограничивающими технологический прогресс. Однако последние результаты исследований команды DeepMind дают решение этой проблемы.
Они предложили новый метод проверки данных под названием JEST, который позволяет значительно сократить время обучения ИИ и требования к вычислительной мощности за счет интеллектуального отбора лучших пакетов данных для обучения. Говорят, что это может сократить время обучения ИИ в 13 раз и снизить требования к вычислительной мощности на 90%.
Суть метода JEST заключается в совместном выборе лучших пакетов данных, а не отдельных образцов, — стратегия, которая оказалась особенно эффективной для ускорения мультимодального обучения. По сравнению с традиционными крупномасштабными методами проверки данных перед обучением, JEST не только значительно сокращает количество итераций и операций с плавающей запятой, но и превосходит предыдущие современные методы, используя всего 10% бюджета FLOP.
Исследование команды DeepMind выявило три ключевых вывода: выбор хороших пакетов данных более эффективен, чем выбор точек данных по отдельности, аппроксимации онлайн-моделей могут использоваться для более эффективной фильтрации данных, а небольшие наборы высококачественных данных могут быть загружены для использования преимуществ более крупных. Непроверенный набор данных. Эти результаты обеспечивают теоретическую основу для эффективной работы метода JEST.
Принцип работы JEST заключается в оценке обучаемости точек данных, опираясь на предыдущие исследования потерь RHO и объединяя потери модели обучения и предварительно обученной эталонной модели. Он выбирает точки данных, которые проще для предварительно обученной модели, но сложнее для текущей модели обучения, чтобы повысить эффективность и результативность обучения.
Кроме того, JEST также использует итерационный метод, основанный на блокировке выборки Гиббса для постепенного создания пакетов и выбора нового подмножества выборки на основе условной оценки обучаемости на каждой итерации. Этот подход продолжает совершенствоваться по мере фильтрации большего количества данных, включая использование только предварительно обученных эталонных моделей для оценки данных.
Это исследование DeepMind не только приносит прорывной прогресс в области обучения искусственному интеллекту, но также предлагает новые идеи и методы для будущего развития технологий искусственного интеллекта. При дальнейшей оптимизации и применении метода JEST у нас есть основания полагать, что развитие искусственного интеллекта откроет более широкие перспективы.
Статья: https://arxiv.org/abs/2406.17711.
Выделять:
**Революция в эффективности обучения**: метод JEST компании DeepMind сокращает время обучения ИИ в 13 раз и снижает требования к вычислительной мощности на 90 %.
**Проверка пакетов данных**: JEST значительно повышает эффективность мультимодального обучения за счет совместного выбора лучших пакетов данных вместо отдельных образцов.
?️ **Инновационный метод обучения**: JEST использует онлайн-аппроксимацию модели и высококачественное руководство по наборам данных для оптимизации распределения данных и возможностей обобщения модели при крупномасштабном предварительном обучении.
Появление метода JEST принесло новую надежду в обучение ИИ, а его эффективная стратегия проверки данных, как ожидается, будет способствовать применению и развитию технологий ИИ в различных областях. В будущем мы надеемся увидеть эффективность JEST в более практических приложениях и способствовать дальнейшему прорыву в области искусственного интеллекта. Редактор Downcodes продолжит обращать внимание на соответствующие события и предлагать читателям еще больше интересных отчетов.