Все, кто работает с большими объемами данных в высоконагруженных системах, рано или поздно сталкиваются с проблемой медленной обработки запросов. Расскажем, почему и как мы перенесли обработку поисковых запросов из Oracle в ElasticSearch. Покажем схему собственного CDC-конвейера захвата данных на базе Debezium Oracle Connector. Объясним, за счет чего мы добиваемся отказоустойчивости, какие ошибки допустили и почему сначала все было не так быстро, как мы хотели.
Доклад будет полезен специалистам, которые работают с Bigdata и Datalake. Слушатели узнают, как мигрировать большой объём данных с последующим отслеживанием уже новых изменений в исходном хранилище (follow up).