Китайские учёные предложили новый метод расширения окон больших моделей под названием SelfExtended (SE), который может утроить длину окна больших моделей с помощью всего лишь четырёх строк кода. Эта революционная технология совместима по принципу «подключи и работай» со множеством крупных моделей и была проверена на моделях Mistral и Llama2. Благодаря методу SE производительность больших моделей при обработке длинных текстовых задач была значительно улучшена, что эффективно решило проблему чрезмерного кодирования, с которой сталкиваются большие модели при обработке длинных текстов. Это открывает новые направления и возможности для больших моделей для решения сложных задач с длинным текстом.
Китайские учёные разработали новый метод расширения окон больших моделей SelfExtended (сокращенно SE), который позволяет утроить длину окна больших моделей всего с помощью четырёх строк кода. SE — это метод «подключи и работай», который можно адаптировать к любой крупной модели и успешно опробован на Mistral и Llama2. После использования обработки SE производительность модели в задачах с длинным текстом значительно повышается. SE использует два механизма внимания для решения проблемы превышения лимита кода, с которой сталкиваются большие модели при обработке длинных текстов.
Появление метода SelfExtended (SE) обеспечивает простое и эффективное решение проблемы обработки длинного текста в больших моделях. Его функция «подключи и работай» также позволяет легко применять его к различным большим моделям, демонстрируя свою высокую практичность. и широкие перспективы применения. В будущем дальнейшее совершенствование и совершенствование методов SE откроет больше возможностей для развития технологии больших моделей.