Дмитрий Руднев — Инструменты Data Quality: как, зачем, почему. Опыт Т-Банка

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта SmartData — https://jrg.su/BkRmwc Качество данных — это фундамент успешной работы с данными. Важную роль в этом процессе играют не только люди и процессы, но и инструменты контроля качества данных (DQ). Существует множество подходов к внедрению инструментов DQ, и универсального решения для всех нет. Поделюсь опытом T-Банка по внедрению DQ-инструментов: от перехода с полностью in-house решения к модульному подходу на основе open source. Объясню, зачем, почему и как мы принимали эти решения. Расскажу о выборе между open source-библиотеками Soda и Great Expectations, а также о том, какие части инструментов нам пришлось реализовать самостоятельно. Обсудим методологию принятия решений по выбору подхода к имплементации DQ в зависимости от принятых подходов работы с данными. Рассмотрим различные варианты реализации DQ-инструментов и сравним их между собой. Вы узнаете, какие подходы лучше работают в разных ситуациях. Доклад будет полезен как инженерам, так и руководителям, которые стремятся внедрить у себя эффективные инструменты контроля качества данных.