Как сделать максимально дешёвый Statefull процессинг с 1кк RPS
Тезисы
Передача информации внутри продуктовой воронки — всегда болезненная тема, особенно если длина воронки во времени растягивается на десятки дней. Нам в Яндекс Рекламе актуальная информация о том, как пользователь пришёл к покупке товара на сайте, критически важна для обучения нейронных сетей.

Мы перепробовали разные способы сбора этих данных — джоинить таблицы, передавать GET-параметрами, но в итоге пришли к шине данных, основанной на множестве stateful процессингов.

На своём докладе я расскажу архитектуру нашего сервиса, какие оптимизации мы применили, чтобы использовать меньше железа, и с какими трудностями столкнулись на пути. Расскажу всё, чтобы вы могли реализовать похожую схему на своих технологиях и повысить консистентность данных и скорость их обработки.
Передача информации внутри продуктовой воронки — всегда болезненная тема, особенно если длина воронки во времени растягивается на десятки дней. Нам в Яндекс Рекламе актуальная информация о том, как пользователь пришёл к покупке товара на сайте, критически важна для обучения нейронных сетей.

Мы перепробовали разные способы сбора этих данных — джоинить таблицы, передавать GET-параметрами, но в итоге пришли к шине данных, основанной на множестве stateful процессингов.

На своём докладе я расскажу архитектуру нашего сервиса, какие оптимизации мы применили, чтобы использовать меньше железа, и с какими трудностями столкнулись на пути. Расскажу всё, чтобы вы могли реализовать похожую схему на своих технологиях и повысить консистентность данных и скорость их обработки.
Видеозапись доклада
Появится здесь после конференции
Информация о спикере
Максим Стаценко
Руководитель службы подготовки и анализа больших данных, Яндекс
  • Максим Стаценко
    Руководитель службы подготовки и анализа больших данных, Яндекс
Все доклады секции