За качество отвечаю! Управляйте качеством данных | idatametric / diqs |

DiQS - СИСТЕМА МОНИТОРИНГА КАЧЕСТВА ДАННЫХ УПРАВЛЯЙТЕ КАЧЕСТВОМ ДАННЫХ - Главный сайт проекта - видео - Дзен-лента АШ-Live (видео) - Дзен-лента АШ Телеграм: Сбербанк Visa: 4274 3200 7822 7363 По вопросу размещения рекламных интеграций - обращайтесь на email agent_aftershock@ 00:00 Сегодня в видео 00:32 Качество данных 04:39 Интервью эксперта Сегодня хочу рассказать об одной из страниц, в моей бывшей ИТ практике. Благо рассказать есть много чего. Все-таки почти 20 лет вел проекты в ИТ индустрии. В большинстве IT проектов встает вопрос проверки качества данных. Такое бывает, например при переносе данных из старой системы в другую. Например, когда я работал на внедрении системы Нордис/2 в компании Алекта, То на каждом предприятии сталкивался с тем, что данные, которые мы берем у заказчика, не являются корректными. То есть, информация в одних таблицах не соответствует информации в других таблицах. Чтоб было понимание о чем речь, давайте перечислю некоторые из ошибок: Данные не являются актуальными. Например, сотрудника уже год как уволили, а зарплату он так и продолжает получать. Данные не являются полными. Наличие требуемых наборов данных, записей, столбцов, атрибутов и их корректность. К примеру, загружаем информацию по персоналу, а часть сотрудников не внесены. Соответственно такие сотрудники могут не получить заработную плату. ну или можно не внести информацию о ребенке, и он не получит подарок на новый год. Согласованность Непротиворечивость значений внутри набора данных, отсутствие расхождений в значениях между наборами данных, корректность определения связей по значениям между всеми наборами данных. Например, в разных наборах данных я везде должен быть Брекотным Сергеем Валерьевичем. Ни Владимировичем, ни Петровичем, а именно Валерьевичем. Поэтому приходилось каждый раз придумывать велосипед для проверки данных. Когда же мы проводили массовый старт сразу на 35 предприятиях, то вставала в полный рост задача проверки качества данных уже до момент внесения информации в новую систему. И это надо было всячески автоматизировать. Данные загружались в 20 шаблонах в екселе. Мы написали приложение на MS Access, которое подключалось к файлам, проверяла и формировала реестры ошибок, которые требовалось исправить. Стоит ли говорить, что в файлах, которые присылали в первый раз бывало внимание, до 200 тысяч ошибок. А в конечном варианте, у нас в одной системе при миграции данных было более 400 проверок. Но за 3 месяца все данные на 40 тысяч сотрудников в 35 филиалах были загружены и проведен расчет заработной платы. Проект был успешным. Специалисты поймут сложность такого проекта. Уже работая в Сахалинской энергии на позиции руководителя сектора по управлению портфелем информационных технологий на очередном проекте встал вопрос о том, как проверять данные. На тот момент в компании использовалось иностранное приложение, которые было абсолютно не гибким. И вставали вопросы с лицензией на его использование. Поэтому решили провести проект по поиску и внедрению приложения по проверке качества данных. Следует отметить, что уже на первичном отборе приложение от российской компании IdataMetric выигрывало по абсолютному большинству показателей. Проведя более полную оценку и установив бесплатно тестовую версию, протестировали. И вот тут случилась первая проблема: тестовая версия была на две недели. А мы не успели согласовать. Поэтому я попросил владельца фирмы Федора Макарова продлить на лицензию тестовую. Я потом с такой просьбой к нему обращался еще два раза. В третий раз это выглядело примерно: чувствую себя идиотом, но прошу еще раз продлить лицензию. В общем, когда согласовали и внедрили полностью проект, проект признали полностью успешным и среди пользователей было много положительных отзывов. А вот в память о продлении бесплатной лицензии и в условиях санкций, предложил Федору спустя три года предложил Федору Макарову сделать видео про их компанию и продукт. Кстати, только сейчас узнал, что Федор доктор технических наук.