Ученые НИУ ВШЭ разработали инновационный метод компрессии языковых моделей

Специалисты из Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ создали новый подход к сжатию больших языковых моделей, как, например, GPT и LLaMA. Этот метод позволяет уменьшить вес моделей на 25-36% без необходимости дополнительного обучения и с минимальными потерями в качестве. Об этом стало известно из пресс-релиза университета.

Большие языковые модели обычно требуют огромных вычислительных ресурсов и памяти. Традиционные техники сжатия, такие как квантование, упрощение соединений и структурная оптимизация, часто связаны с длительным дообучением и риском снижения точности работы. Команда разработчиков представила новый метод, получивший название ProcrustesGPT, который использует ортогональные преобразования весов модели, что может быть охарактеризовано как математические "повороты". Этот подход изменяет представление весов без изменения их содержания и влияния на итоговые результаты модели.

Екатерина Гришина, стажер-исследователь, подчеркнула, что основой метода является изящная математическая концепция, известная как задача Прокруста. Как мифический персонаж, который подгонял своих жертв под своё ложе, этот способ находит оптимальное ортогональное преобразование, адаптирующее веса к более простой структуре, не искажая их сущности. Таким образом, концепция названия метода — ProcrustesGPT — отражает его основную идею и становится ключом к эффективному сжатию языковых моделей.

В рамках исследования использовались разные типы структур, включая суммы кронекеровских произведений и GS-матрицы. ProcrustesGPT не требует дополнительной настройки и может применяться к уже существующим моделям. Эксперименты проводились на открытых моделях OPT и LLaMA2, что позволило достичь сжатия размера моделей на 25-36% при сохранении до 90-95% их первоначальной эффективности в задачах генерации текста и логического вывода.

Сравнительный анализ с альтернативными методами, такими как SliceGPT, показал более высокую точность применения ProcrustesGPT, особенно на моделях LLaMA2, где разница достигала 9-10%. Максим Рахуба, заведующий лабораторией, указал на важность методов сжатия для ускорения внедрения больших языковых моделей в устройства с ограниченными возможностями, такие как мобильные телефоны и IoT-устройства, что улучшает доступность технологий ИИ в повседневной жизни.

Разработчики также отмечают, что математическая природа метода позволяет его быстро адаптировать под различные архитектуры без сложной перенастройки, что расширяет возможности применения языковых моделей в ресурсозависимых средах — от мобильных приложений до встроенных систем.

Читайте также: