Спикеры и темы докладов

Оптимизация инференса LLM: как ускорить модель, не меняя её и не докупая железо

Алексей Фатеев

Альфа-Банк

В докладе:

• Как ужать модель так, чтобы она не поглупела — и когда этого делать не стоит.
• Какие параметры сервера реально влияют на скорость и каких подбирать не на глаз, а автоматически.
• Три уровня кеширования запросов — как использовать их вместе и где кеш тихо портит ответы.
• Что делать, когда одной машины уже мало: как грамотно распределить нагрузку между несколькими GPU.

Пирамида тестирования инфраструктурного кода

Андрей Колесников

Avito

• Три слоя тестирования инфраструктурного кода

(конфигурации Puppet, Chief, Ansible)

• Различные платформы
• Обзор инструментов
• Наиболее распространенные практики, много примеров
• Опыт Avito

Скоро здесь будет ещё больше докладов