Меняем подход к отчётности: как автоматизировать сбор данных без сбоев и стресса

Я взял за основу реальную клиентскую историю об ИТ‑решении по управлению процессом сбора данных и формирования единой отчетности и описал опыт и авторский подход в системном интеграторе RAMAX к реализации подобных информационных систем.

Опыт, сотрудничество и комплексный подход как фундамент успешного проекта

RAMAX Group — крупнейший ИТ‑интегратор, который вот уже более трёх десятков лет обеспечивает надежный фундамент цифровой трансформации для лидеров российского бизнеса, а в последние годы эффективно помогает с миграцией на отечественные решения. Одним из ведущих поставщиков отечественных BI‑решений является компания Форсайт, с которой уже несколько лет наша компания плодотворно сотрудничает.

Когда возникла задача по реализации системы сбора данных и формирования отчётности в компании транспортной отрасли и её дочерних обществах, стало очевидно, что необходимо комплексное решение. Оно должно было обеспечивать не только формирование аналитических отчётов, но и процессы извлечения, трансформации, интеграции, ведения регламентов, а также выполнение бизнес‑логики повышенной сложности.

На этапе выбора платформы мы рассмотрели несколько популярных BI‑решений, однако альтернативные инструменты, при всей их популярности, ориентированы прежде всего на визуализацию данных и требуют внешних решений для построения полноценного контура ETL, управления регламентами и централизованного контроля за качеством данных. В условиях необходимости строгого соблюдения внутренних требований к управляемости процессов это стало критичным ограничением.

BI‑платформа Форсайт соответствует требованиям, выдвигаемым к комплексным решениям класса Enterprise, способным объединить в себе инструменты ETL, механизмы расчётов и визуализации в едином технологическом стеке. Это позволило нам минимизировать затраты на интеграцию, сократить время развертывания и обеспечить централизованное управление всеми аспектами аналитической системы.

Дополнительным аргументом в пользу выбора «Форсайт» стало наличие у платформы статуса сертифицированного программного обеспечения и устойчивое развитие в рамках импортонезависимой ИТ‑стратегии, что особенно важно в текущих условиях.

К этому моменту у нашей команды в послужном списке уже был успешный проект по реализации аналогичной системы ещё на импортозависимых компонентах. С учетом релевантного опыта вместе с наработанной и верифицированной методологией внедрения, а также наличием комплексного импортонезависимого решения от Форсайт была обеспечена успешная реализация процесса сбора данных и формирования регуляторной отчётности.

Программа инновационного развития и почему компаниям нужна её автоматизация

Программа инновационного развития — это программный документ, определяющий целевые показатели, направления инновационной деятельности, ключевые инновационные проекты и обеспечивающие мероприятия, а также необходимые ресурсы для новаторской деятельности компаний. Данная программа формируется на срок от 5 лет, а отчетность по ней формируется в соответствии с утверждённой методологией, которая периодически актуализируется. Методологией определяется перечень собираемых показателей, алгоритмы их расчёта и форматы представления данных с расшифровками.

Проблематика сбора данных и формирования регуляторной отчётности по программам инновационного развития довольно типична:

1. Много «ручного» труда по предоставлению данных и их проверки.Процесс сбора информации осуществляется по электронной почте, данные предоставляются в виде файлов и анализируются в Excel и его аналогах.
2. Отсутствие удобных средств взаимодействия участников процесса в едином информационном пространстве. В работе используются различные способы сбора и передачи данных, при которых сопутствующая информация и пояснения к предоставляемым данным зачастую теряются.
3. Необходимость сбора данных из множества различных источников в компании, в том числе от дочерних обществ. Показатели инновационного развития фиксируются в различных подразделениях компании, а полный организационный периметр, охватываемый процессом сбора данных, включается в себя всю группу компаний.
4. Вероятность наличия «лоскутной» автоматизации, которая замедляет процесс и снижает качество данных на входе. Сбор данных и формирование отчётности по программам инновационного развития проходит без комплексного решения, а лишь за счёт имеющихся средств автоматизации в компании, что порой приводит к ещё большей фрагментации корпоративной ИТ‑архитектуры.
5. Необходимость периодически повторять операции сбора данных и формирования отчётности. Поскольку отчётность по программам инновационного развития собирается регулярно, требуется выработка стандартов операций и унификация выполняемых действий.

Сами компании‑субъекты программ инновационного развития взаимодействуют с контролирующими органами зачастую в «бумажном» формате, поэтому сроки обратной связи от экспертов, рассматривающих предоставляемы данные, довольно значительны. Это приводит к постоянному цейтноту в процессе сбора данных и формированию отчётности в регламентированные сроки.

Высшее руководство государственных корпораций заинтересовано в получении актуальных и достоверных ключевых показателей эффективности, в которые входят показатели инновационной деятельности. В большинстве случаев процессом сбора данных и формированием отчетов по программам инновационного развития заняты сотрудники компании. Они собирают необходимую информацию со всех дочерних структур, занимаются проверкой качества данных и расчетом показателей. Помимо количественных показателей сотрудники заняты анализом и подготовкой выводов по каждому из показателей.

Проведенный опрос экспертов в области аудита и консалтинга показал, что в трети корпораций отсутствует полностью автоматизированный процесс работы с программами инновационного развития. По их мнению, в корпорациях превалирует две корпоративные структуры, отвечающие за данный процесс. Тем не менее, общая система целей либо отсутствует, либо развита не в полной мере.

Производственные подразделения. Как непосредственные участники производственных процессов данные отделы в значительной степени заинтересованы в регулярном финансировании программ инновационного развития, их выполнении и получаемых от них результатах. Производственные подразделения могут быть обеспечены автоматизацией, помогающей в сборе данных, поскольку автоматизация производственных процессов так или иначе присутствует в компаниях. Однако отношение к собираемым и анализируемым показателям, а также предоставляемой отчётности, скорее «обязывающее», а потому качественного изменения процесса сбора данных и формирования отчётности, как правило, нет.

Руководящие структуры, связанные с корпоративным управлением. Характеризуются повышенным вниманием к качеству собираемых данных, соблюдению сроков предоставления отчётности и хорошо понимают назначение анализируемых показателей. Однако эти структуры слабо информатиризованы, основные рабочие инструменты — условные «Excel», электронная почта и телефон.

Конечно, наибольшей эффективности в формировании актуальных и достоверных показателей по программам инновационного развития можно добиться при совместной работе представителей обеих корпоративных структур. Потому всё более критичным становится вопрос создания единого информационного пространства для решения таких задач.

Всё вышеописанное подводит к предпосылкам цифровизации процессов формирования отчётности по программам инновационного развития, к которым относятся:

1. Низкая автоматизация и преобладание «ручного» труда при сборе данных, аудите и формировании отчётности по программам инновационного развития.
2. Функциональная недостаточность имеющихся инструментов сбора и анализа данных по программам инновационного развития.
3. Отсутствие единого информационного решения для всех участников процесса работы с программами инновационного развития, в том числе обеспечивающего сбор данных, проверку и контроль качества предоставляемой информации.

Компании, в которых уже ведутся процессы цифровой трансформации, часть из которых в настоящее время связана с импортозамещением, могут внедрить решение для работы с программами инновационного развития в свою существующую программу проектов, для других — это способ реализовать новое решение на импортонезависимой передовой аналитической платформе.

Решение для сопровождения программ инновационного развития — кейс группы компаний из транспортной отрасли

Вернемся к задаче по реализации процесса сбора данных и формирования регуляторной отчётности по программам инновационного развития в компании транспортной отрасли и её дочерних обществах.

Нашей команде нужно было создать полноценное импортозамещённое рабочее место сотрудника, сопровождающего процессы сбора данных и формирования регуляторной отчётности по программам инновационного развития группы компаний.

Для этого необходимо было:

• реализовать функционал для сбора данных по программам инновационного развития;
• интегрировать решение с существующими корпоративными системами оперативного учёта, производственного планирования и бюджетирования;
• обеспечить входящий контроль поступающей информации;
• рассчитать показатели программ инновационного развития и выполнить их спец. агрегацию согласно заданной методике;
• сформировать регуляторную и аналитическую отчётность;
• использовать для построения решения импортонезависимые компоненты.

С точки зрения бизнес‑задач специалистам RAMAX Group требовалось сформировать отчетность следующего содержания:

• прогноз показателей программ инновационного развития на срок от 5 лет: выполняется один раз в начале планирования в целом по группе компаний;
• среднесрочный план на 3 года: формируется ежегодно по группе компаний с детализацией плана до проектов и мероприятий;
• отчёт о выполнении программ инновационного развития: формируется ежегодно по группе компаний и отражает факт исполнения предыдущего года.

Мотивацией к внедрению послужили следующие факторы:

• значительный объём «ручного» труда при подготовке отчётности по программам инновационного развития, как в части сбора данных по всей Группе компаний и выверки полученной информации, так и при выполнении сложных расчётов;
• повышение качества и скорости получения данных от дочерних обществ за счёт унификации способов и форматов предоставления информации в целях обеспечения оперативного мониторинга исполнения программ инновационного развития;
• потребность в едином и стандартизированном решении для всех участников процесса подготовки отчётности, в том числе возможность организации взаимодействия между участниками с сохранением всей истории коммуникации.

Как уже было сказано ранее, предоставление информации по программам инновационного развития определяется методикой, в ней указаны в том числе и сроки предоставления информации в контролирующие органы. Решение позволяет планировать данные процессы и контролировать динамику их выполнения. Решение позволяет использовать разные способы, каждый из которых зависит от конкретного показателя (ведётся ли он в какой‑либо корпоративной системе и возможно ли его получение путем интеграции с ней), а также от конкретного дочернего общества (открыто ли с ним сетевое взаимодействие, или возможен только файловый обмен). В зависимости от описанных выше условий может быть организовано интеграционное взаимодействие с корпоративными информационными системами, предоставлена возможность ввода данных напрямую в систему через формы ввода, либо обеспечена выгрузка шаблонов предоставления данных для их последующего внесистемного заполнения и загрузки обратно в систему.

При решении интеграционных вопросов важно учитывать требования информационной безопасности на предмет возможности открытия сетевых взаимодействий, анализа степени конфиденциальности передаваемой информации и использования утверждённых средств интеграционного взаимодействия (корпоративной шины передачи данных).

В отношении предоставленных любым способом данных выполняется проверка входящей информации как технического характера (на полноту заполняемости, соответствие типов данных и длин), так и логического (на отношения показателей, на соответствие заданным контрольным параметрам).

Организационный объём включает в себя головную компанию и все дочерние общества. Все без исключения пользователи работают в рамках единой системы, для которых обеспечена возможность внутренних коммуникаций через комментирование предоставляемых данных и выполняемых действий. Также можно прикреплять сопроводительные скан‑документы.

Содержание функционального объёма решения получилось следующим:

• централизованное хранение данных –выделены отдельные сервера для хранения репозитория метаданных Форсайт и непосредственно данных программ инновационного развития;
• интеграция и регулярная загрузка данных из смежные корпоративных информационных систем головной компании;
• ведение локальных справочников, если отсутствует единая точка мастер‑данных и необходимо объединение справочников из нескольких источников или ручное ведение основных данных;
• ведение регламента сбора информации об исполнении программ инновационного развития через систему шаблонов процессов и их экземпляры;
• поддержка взаимодействия участников процесса за счёт возможностей комментирования и прикрепления скан‑документов;
• предоставление данных через формы ввода или шаблоны загрузки;
• проверка и верификация данных как в ходе предоставления, так и при расчёте показателей;
• разграничение ролей и полномочий пользователей как по перечню выполняемых функций, так и по объёмы обрабатываемых данных;
• логирование действий пользователей и отслеживание изменений данных;
• продвинутые аналитические возможности для построения аналитических отчётов, формирования регуляторной отчётности и информационных панелей.

От концепции к архитектуре решения

В основе концепции решения непосредственно сам процесс подготовки отчётности об исполнении программ инновационного развития. Всё решение реализовано в «процессно‑ориентированной» архитектуре.

Процесс является отражением регламента формирования отчётности, который представлен в методике программ инновационного развития. В решении, в общем случае, он состоит из связанных пар действий — шагов:

• первое действие — предоставления данных;
• второе действие — рассмотрения данных.

Пары шагов могут выполняться последовательно, когда дополняется один массив данных, или параллельно, когда одни и те же показатели предоставляются разными дочерними обществами.

На первом шаге пользователь в роли исполнителя поставляет данные в систему. Он может это сделать через формы ввода, последовательную выгрузку — внесистемное заполнение — загрузку шаблона; «подтягивание» данных их исходных систем. Необходимо пояснить, что данные из исходных систем загружаются с определённой периодичностью, например, ежедневно, а исполнитель, выполняя свой шаг предоставления данных, «подтягивает» данных из общего массива в том объёме, в котором это требуется для конкретного показателя на данном шаге процесса. Как правило этот, по сути, формальный шаг, может сопровождаться комментированием представляемых данных, их подтверждением через прикрепление скан‑документа, а возможно и ручного редактирования, если это допускается методикой, в решении может быть реализован любой сценарий.

В любом случае, шаг предоставления данных — это некоторое действие исполнителя.

За шагом «предоставления», в общем случае, идёт шаг «рассмотрения» данных». Он выполняется пользователем в роли проверяющего, который подтверждает предоставленные данные, либо возвращает их на корректировку. При этом также могут быть оставлены комментарии, прикреплены скан‑документы или внесены корректировки, это всё зависит от методики и настройки системы. Один проверяющий может рассмотреть результаты нескольких шагов по предоставлению данных в зависимости от настройки маршрута выполнения процесса.

Модель процесса с парными действиями нужна для обеспечения подотчётности за предоставленные данные. Даже если данные были загружены из исходной системы, они должны быть подтверждены ответственным лицом прежде, чем попадут в отчётность об исполнении программ инновационного развития.

Вся цепочка шагов процесса настраивается в виде шаблона, который после используется для создания инстанции (экземпляра) процесса, а в рамках запущенных инстанции выполняются конкретные действия пользователей. Разные инстанции одного процесса характеризуются различными значениями переменных, например: отчётный период, организационный объём, версия программы и прочее.

Остальные функции системы организованы вокруг процесса и его шагов. Так из шага можно вызвать проверочный отчёт по загруженным через шаблон данным, или обратиться к отчёту по результатам проверки предоставленных данных, оставить комментарий и прикрепить скан‑документа.

Действия пользователей логируются в рамках выполнения шагов, а система оповещает пользователя о наступлении события начала его шага в процессе и установленных регламентных сроках исполнения.

Функциональная архитектура решения покрывается компонентами, представленными на схеме.

Абсолютное большинство функций реализуются за счёт возможностей продукта «Форсайт. Аналитическая платформа». Для хранения репозитория Форсайт и данных программ инновационного развития используется одна из импортонезависимых СУБД, основанная на модернизированном ядре с открытым кодом PostgreSQL. Отдельно хранятся скан‑документы, для этого используется одно из решений для организации документооборота. «Бэк‑энд» веб‑портала реализован на NestJS — фреймворке для создания серверных веб‑приложений Node.js. Для реализации «фронта» используется Material‑UI (MUI) — react фрэймворк, предоставляющий готовые решения для web‑разработки. Аутентификация пользователей в Форсайт и веб‑портале реализована на одном из отечественных продуктов на базе Keycloak.

Таким образом, технологическая архитектура решения может быть представлена в виде следующей схемы.

В центре решения расположена аналитическая платформа от Форсайт. Платформой обеспечиваются интеграционные сценарии со смежными корпоративными системами. Реализуются механизмы ведения шаблонов процессов и запуска инстанций. Готовятся расчётные показатели программ инновационного развития. Поддерживаются сопутствующие функции, такие как ведение ролей и полномочий, логирование действий пользователей и их оповещение. На базе Postgres реализовано хранение репозитория и данных. На верхнем уровне расположен веб‑портал рабочего места участника, через него осуществляется взаимодействие пользователей со всеми функциями системы, а также вызов форм ввода, аналитических и регуляторных отчетов.

Результаты настоящего и цели будущего

1. Предложено единое стандартизированное решение для формирования отчётности по программам инновационного развития. У всех участников появилась единая «точка входа» для взаимодействия при реализации задач по программам инновационного развития.
2. Благодаря реализации регламента в виде организованного процесса с четкими шагами, исполнителями и сроками повысилось качество исполнения всего процесса.
3. Взаимодействие с дочерними обществами вышло на качественно новый уровень с началом использования единых форма ввода и шаблонов предоставления данных. Повысилось качество предоставляемых данных, а число ошибок и нарушений сроков значительно снизилось.
4. Средства анализа данных, формирования аналитической и регуляторной отчётности, обеспеченные возможностями платформы Форсайт, позволили повысить уровень восприятия данных и улучшить пользовательский опыт при подготовке пояснительных записок к отчётам.

Таким образом, все предпосылки к внедрению системы реализовались: удалось добиться сокращения «ручного» труда при подготовке отчётности, обеспечить единое и стандартизированное решение для всех участников процесса, а также повысить качество и скорость получения данных от дочерних обществ.

Перед нами встал логичный вопрос — может ли быть продолжение у этого решения? В каких направлениях можно развивать систему, привнося в неё новые полезные пользователям функции?

Одно из очевидных и трендовых направлений — развитие анализа данных в сторону предиктивной аналитики. Пользователям нужно предложить инструменты не только планирования показателей программ инновационного развития, но и прогнозирования их возможных значений. Для этого есть все предпосылки — сам процесс обеспечивает приток большого объёма, а используемая аналитическая платформа Форсайт позволяет реализовать такие сценарии.

Второе направление развития — увеличение глубины проникновения решения среди всех участников программ инновационного развития. Описанный в статье кейс охватывает решение задачи в рамках одной компании‑субъекта программ инновационного развития, но Правительством был утверждён целый перечень компаний, реализующих эти программы, и все эти компании обмениваются информацией с контролирующими органами. Развитие решения в сторону охвата других компаний‑субъектов и внедрение решения на стороне контролирующих органов для взаимодействия с компаниями‑субъектами позволило бы вывести процесс предоставления отчётности на новый уровень.

И третье — пожалуй, ключевая идея заключается в том, что возможно развитие решения на другие предметные области. Иными словами, можно увеличивать широту охвата решения на области со схожими задачами и, вероятно, трудностями. Есть основания полагать, что таким способом можно собирать отчётности и по другим направлениям деятельности предприятий, по всему, что может и должно быть регламентировано, выполнено в установленные сроки, подотчётными лицами в заданном виде и качестве. Предложенный в решении подход к сбору данных через процессы и шаги видится близким к универсальному, а это даёт надежду говорить о специализированной «Автоматизированной системе управления и подготовки регуляторной отчётности».