Крупная транспортная группа, охватывающая несколько портов и судоходных предприятий в Поволжье, на Северо-Западе и Юге России, а также включающая телекоммуникационную компанию “Конвей Плюс”, весьма эффективно использует интегрированную ERP-систему. Управление группой осуществляется ООО “Управление транспортными активами”. Важным этапом проекта внедрения стал процесс унификации справочников товарно-материальных ценностей (ТМЦ) и услуг. Андрей Симушков, руководитель проекта и эксперт телекоммуникационной компании “Конвей Плюс”, представил информацию о методологии проекта и успешном завершении задач по обработке более 80 000 записей из исторических систем в установленные сроки. Необходимость проекта: Любая информационная система, независимо от ее назначения, зависит от данных, как транзакционных, так и справочных.

Решение предназначено для управления основными данными различных объектов нормативно-справочной информации (НСИ), обеспечивая их консолидацию, централизованное создание, изменение и синхронизацию.

Необходимость унификации справочников:

Унификация справочников ТМЦ и услуг в рамках проекта внедрения ERP стала необходимой для обеспечения целостности и достоверности данных, а также для повышения эффективности бизнес-процессов в транспортной группе.

Если говорить о реализованном проекте, в ERP должны были попасть исторические данные, которые нужно было загрузить из локальных исторических систем. С учетом того, что новая система должна была заработать для всех компаний, входящих в транспортную группу, предстояло решить довольно непростую задачу по выравниванию разрозненных показателей. Иными словами, выполнить нормализацию.

Под нормализацией НСИ подразумевается приведение в порядок большого массива информации, сформированного в результате несистемного подхода к наполнению справочников. Упорядочивание данных дает бизнесу ряд важных преимуществ:

• Возможность формирования централизованной отчетности
• Снижение затрат за счет планирования и закупки действительно необходимых ТМЦ
• Перераспределение и снижение запасов благодаря своевременному выявлению невостребованных ТМЦ
• Повышение удобства работы в системе за счет выбора из общего справочника точных позиций ТМЦ или услуг, которые необходимо закупить или учесть в технологическом процессе.

Ключевым результатом данного процесса является идентичность данных в учетных и производственных системах, а также отсутствие дублирования операций при вводе информации. Собственно, нормализация НСИ – это и есть формирование унифицированных справочников.

–  Какими ресурсами решалась задача?

– Нормализация – достаточно рутинный процесс, требующий сосредоточенной работы команды экспертов. От транспортной группы в нем приняли участие телекоммуникационная компания, выступившая в качестве интегратора, и сервисная компания «Центр корпоративных решений», отвечающая за комплексную поддержку внедренных в рамках транспортной группы решений на платформе ERP. Кроме того, в проекте участвовали эксперты от бизнеса. Внешним исполнителем стала российская ИТ-компания, у которой, помимо серьезного отраслевого опыта, оказалось необходимое нам решение по нормализации данных.

– С чего начинать в таком проекте?

– С методики, которая раскрывает и описывает ряд очень важных вопросов: что является объектом НСИ и подлежит нормализации; что такое нормализация и как её выполнять; какие критерии качества данных предъявляются к объектам НСИ и как после завершения проекта их поддерживать. И, конечно, что делать с историческими записями в локальных системах, где и как будут вестись нормализованные объекты НСИ? Без ответов на эти вопросы выполнить работу с должным уровнем качества нельзя.

Большое значение имеет выбор правильного инструмента. Безусловно, можно было пойти консервативным путем – исходные данные выгрузить из локальных систем в формате MS Excel, привести их в порядок, и в этом же формате загрузить в ERP. С той лишь разницей, что для загрузки должны использоваться регламентированные шаблоны.

– Почему же тогда в качестве инструмента для нормализации не был выбран Excel?

– Всё очень просто. Консервативное решение не обладает преимуществами, которые может предложить специализированный инструмент, разработанный для этих целей.

Специалисты предложили использовать решение «ВерЭкс.НСИ». Данное решение дает возможность многопользовательской работы, сводит к минимуму ошибки за счет снижения ручного труда при консолидации данных, позволяет выявлять конфликты в данных, регламентирует предоставление прав доступа. Для нас это имело принципиальное значение: риск «случайно» потерять данные сводился к минимуму, поскольку действия фиксируются, упрощается контроль и значительно повышается качество. А после нормализации всего объема или части данных можно было выполнить выгрузку в нужном формате и передать её на дальнейшую загрузку в ERP, без дополнительных усилий.

Кроме того, решение позволяет создавать иерархические структуры, а это значит, что справочные данные будут в обязательном порядке классифицированы. Классификация же позволяет наполнять каждую ТМЦ только теми атрибутами и значениями этих атрибутов, которые присущи именно ей.

– Какой подход использовался к формированию унифицированных справочников?

– Подход к выполнению нормализации был поделен на несколько последовательных этапов. К слову, в ходе реализации проекта дополнительно возникали «дельты». Например, впервые используемые материалы, которые точно так же прошли всю этапность.

Сначала была выполнена выгрузка исходных справочников из локальных информационных систем. Полученные данные проходили первоначальную проверку и подготовку для загрузки в среду нормализации («ВерЭкс.НСИ»).

После этого наступила очередь классификации – логического упорядочивания по иерархии записей (объектов) справочника ТМЦ и справочника услуг. Первоначально классификация выполнялась в автоматическом режиме, и система сама распределяла записи согласно заложенным алгоритмам. Далее команда исполнителя выполняла проверку и корректировку.

Здесь надо сделать уточнение. Прежде чем выполнить классификацию, требовалось создать эталонный классификатор с учетом упомянутой выше методики. Данная работа велась при непосредственном участии бизнеса. На протяжении месяца ежедневно проходили двух-трехчасовые онлайн-семинары, с подробными обсуждениями каждого класса и наполняющих его атрибутов. Скрупулезный труд, результатом которого стал классификатор ТМЦ и услуг с более чем полутора тысячами конечных классов.

Классифицированные записи подвергались фасетному описанию, суть которого состоит в декомпозиции исторического наименования на атрибуты (признаки), дополнении недостающих данных, исправлении ошибок. Именно с этого этапа к работе над данными приступала основная команда исполнителя проекта. И именно этот этап потребовал значительных временных затрат. Каждая запись обрабатывалась вручную, проводился поиск недостающей информации в открытых источниках. В отдельных случаях проверялась правильность классификации, с последующей ре-классификацией.

Для понимания – один специалист в день может обрабатывать порядка 60-70 записей справочника. В общей сложности для пилотных тиражируемых компаний было обработано более 80 000 исторических записей. Не трудно сопоставить эти цифры и подсчитать, сколько времени занимает этап фасетного описания. Проделанная работа действительно впечатляет!

Закончив с этим этапом, мы перешли к формированию уникального наименования номенклатуры (записи справочника) по заданным правилам. Правила эти задаются на уровне класса.

И, наконец, последним этапом в этой цепочке стал контроль качества для обеспечения полноты, достоверности и унификации данных. В ходе его реализации выявлялись неполно описанные позиции, дубликаты и позиции, подлежащие уточнению.

В результате мы получили не только унифицированный справочник, готовый для загрузки в ERP, но и общую базу материалов, которые используют системы компаний, входящих в транспортную группу. Для этого, после загрузки данных в ERP и из него обратно в «ВерЭкс.НСИ» передавались данные по уникальным кодам созданных записей. Затем выполнялся мэппинг между кодами исторических записей и кодами записей в ERP. Согласно мэппингу, данные по складским запасам из исторических систем легли «на свои места» в ERP. Дальнейший обмен данными при закупках, списаниях, учете и проведении работ по ремонту и обслуживанию проводится уже на единых данных.

Участники проекта получил бесценный опыт по нормализации справочников, который можно использовать в дальнейшем. Сейчас мы с уверенностью можем сказать: приняв решение о внедрении новой системы, не забывайте про подготовку данных!

Заключение

Основные шаги нормализации

• Обследование и сбор данных: На этом этапе проводится анализ существующих данных, выявляются их источники и определяется объем информации, подлежащей переносу.
• Очистка данных: Из данных удаляются ошибки, опечатки, дубликаты и неактуальная информация.
• Структурирование: Данные приводятся к единой, стандартной структуре, принятой в новой ERP-системе.
• Унификация: Для всех показателей и полей данных устанавливаются единые значения. Например, все адреса приводятся к одному формату, а названия компаний стандартизируются.
• Преобразование: Данные могут быть преобразованы из старого формата в новый, совместимый с ERP-системой.
• Обогащение данных: При необходимости добавляются недостающие данные, например, информация о контрагентах, которая не была полностью зафиксирована в старых системах.

Почему это важно?

• Точность и полнота: Нормализация гарантирует, что в системе будут храниться точные и полные данные, что важно для отчетности и принятия решений.
• Эффективность: Корректно нормализованные данные позволяют системе функционировать максимально эффективно, без замедлений и сбоев.
• Единая база данных: ERP-системы работают на основе единой базы данных, поэтому все данные должны быть унифицированы и соответствовать стандартам, чтобы обеспечить их корректное взаимодействие.
• Предотвращение ошибок: Загрузка “грязных” данных может привести к ошибкам в расчетах, отчетности и бизнес-процессах, что снижает надежность всей системы.

Источник: http://www.up-pro.ru/