Передача информации внутри продуктовой воронки — всегда болезненная тема, особенно если длина воронки во времени растягивается на десятки дней. Нам в Яндекс Рекламе актуальная информация о том, как пользователь пришёл к покупке товара на сайте, критически важна для обучения нейронных сетей.

Мы перепробовали разные способы сбора этих данных — джоинить таблицы, передавать GET-параметрами, но в итоге пришли к шине данных, основанной на множестве stateful процессингов.

На своём докладе я расскажу архитектуру нашего сервиса, какие оптимизации мы применили, чтобы использовать меньше железа, и с какими трудностями столкнулись на пути. Расскажу всё, чтобы вы могли реализовать похожую схему на своих технологиях и повысить консистентность данных и скорость их обработки.