Oracle+Debezium+Elasticsearch: как проиндексировать 20 Тб данных
Тезисы
Все, кто работает с большими объемами данных в высоконагруженных системах, рано или поздно сталкиваются с проблемой медленной обработки запросов. Расскажем, почему и как мы перенесли обработку поисковых запросов из Oracle в ElasticSearch. Покажем схему собственного CDC-конвейера захвата данных на базе Debezium Oracle Connector. Объясним, за счет чего мы добиваемся отказоустойчивости, какие ошибки допустили и почему сначала все было не так быстро, как мы хотели.

Доклад будет полезен специалистам, которые работают с Bigdata и Datalake. Слушатели узнают, как мигрировать большой объём данных с последующим отслеживанием уже новых изменений в исходном хранилище (follow up).
Все, кто работает с большими объемами данных в высоконагруженных системах, рано или поздно сталкиваются с проблемой медленной обработки запросов. Расскажем, почему и как мы перенесли обработку поисковых запросов из Oracle в ElasticSearch. Покажем схему собственного CDC-конвейера захвата данных на базе Debezium Oracle Connector. Объясним, за счет чего мы добиваемся отказоустойчивости, какие ошибки допустили и почему сначала все было не так быстро, как мы хотели.

Доклад будет полезен специалистам, которые работают с Bigdata и Datalake. Слушатели узнают, как мигрировать большой объём данных с последующим отслеживанием уже новых изменений в исходном хранилище (follow up).
Видеозапись доклада
Появится здесь после конференции
Информация о спикере
Александр Леутин
Руководитель единой службы технического сопровождения, Infinnity Solutions
Руководит командой, которая сопровождает и эксплуатирует все продукты компании, работающие с медицинскими данными в ЕМИАС (Единая медицинская информационно-аналитическая система).

Сопроводил рост одной из ключевых подсистем от 7 до 700 серверов и не намерен останавливаться.
  • Александр Леутин
    Руководитель единой службы технического сопровождения, Infinnity Solutions
    Руководит командой, которая сопровождает и эксплуатирует все продукты компании, работающие с медицинскими данными в ЕМИАС (Единая медицинская информационно-аналитическая система).

    Сопроводил рост одной из ключевых подсистем от 7 до 700 серверов и не намерен останавливаться.
Все доклады секции