Сегодня рассказы про LLM звучат из каждого утюга, и создается ложное впечатление, что все уже умеют внедрять в продукты LLM, но эта задача несравнимо сложнее, чем спрашивать у GPT его мнение.
Я занимаюсь анализом текстов 5 лет: около полутора лет внедрением LLM в мессенджере Авито и 3,5 года в голосовом помощнике Марусе. За это время я как набила собственных шишек, так и руководила командами, которые набивали свои. В этом докладе я расскажу, как LLM используется в продуктах и для решения каких задач, насколько они умные, что стоит за фразой «LLM – это дорого», когда подписку на GPT могут позволить себе чуть ли не все, и как подготовиться к запуску фичей на LLM, чтобы не только потратить GPU, но и улучшить метрики продукта. Спойлер: вайбкодить будет не нужно.