Специалисты МФТИ создали алгоритм HARP, сжимающий языковые модели практически без потери точности.
Источник: Известия
Технология вдвое ускоряет работу ИИ-систем и снижает потребность в вычислительных мощностях и памяти дата-центров. Алгоритм протестировали на языковых моделях Llama и Qwen. При максимально жестком сжатии ошибка сократилась на 15%. HARP и уже сжатые с его помощью нейросети выложили в открытый доступ.
«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал «Известиям» старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов.
Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые применяют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск падения точности. HARP помогает эти потери сократить.
.png "Получай новости на почту. Подписаться")