Информатика > Искусственный интеллект Title:LRMoE: Повторная калибровка нагрузки на стороне спроса для эффективного обучения MoE на узлах с ограниченной памятью > Аннотация: Модели разреженной смеси экспертов (MoE) предлагают масштабируемую мощность для веб-приложений, но неравномерная маршрутизация создает узкие места в вычислениях и коммуникации. Существующие методы размещения и репликации перераспределяют эту рабочую нагрузку, однако дополнительные экспертные копии конкурируют с буферами, связанными с токенами, за ограниченную память графического процессора. Мы представляем LRMoE, систему…