Расхождение управленческого баланса и формы 101 ЦБ на 340M ₽
Банк ТОП-50 · Универсальный банк, 1200 таблиц в DWH, Greenplum, 8 форм ЦБ
6 недель (PKG-F)
PKG-F
⚠ Проблема
Расхождение обнаружено аудиторами Big4. Банк не мог объяснить причину 8 месяцев. Под угрозой — предписание ЦБ. Ручные корректировки перед каждой отправкой формы.
🛠 Что сделали
Построили матрицу сверок (50 пар показателей). Параллельный расчёт обоих контуров. Трассировка SQL через 4 слоя DWH. Обнаружили: курс ЦБ берётся на T-1 вместо T для валютных переоценок.
✓ Результат
Расхождение устранено. 0 ручных корректировок. Автотест: ежедневная сверка с порогом 0.01%. Время расследования любого расхождения: 30 мин вместо 5 дней.
47
findings
3
critical
4
нед. fix
~12M ₽
экономия/год
регуляторнаяreconciliationЦБ
КЕЙС #2
Bus factor = 1. Единственный DWH-инженер уволился, ETL упал на 3 дня
Цифровой банк · Необанк, 400 таблиц, PostgreSQL, 15 аналитиков, нет регуляторки
4 недели (PKG-S + PKG-GOV)
PKG-S
⚠ Проблема
Весь код (47 витрин) написан одним человеком без комментариев. Git есть, но 0 документации. Деплой через pgAdmin. При уходе инженера — 3 дня простоя, бизнес без отчётов.
🛠 Что сделали
За 2 недели: парные сессии с оставшейся командой для документирования бизнес-логики. Data dictionary для 200 таблиц. Настройка CI/CD (GitHub Actions + sqlfluff). dbt tests для 20 критичных витрин. Менторинг junior-разработчика.
✓ Результат
Bus factor = 3. Онбординг нового человека: 3 дня вместо 2 недель. 0 production-инцидентов за 6 мес. после аудита. CI/CD: автодеплой за 5 мин вместо ручного copy-paste.
31
findings
5
critical
3
нед. fix
~8M ₽
экономия/год
bus factorCI/CDдокументация
КЕЙС #3
ECL-модель IFRS 9 в Excel. Аудиторы Big4 дали замечание о невоспроизводимости
ECL для портфеля 50K+ кредитов считается в Excel с VBA (20 вкладок). Один человек знает формулы. Нет version control, нет backtesting. Big4 поставили замечание: 'результат невоспроизводим'.
🛠 Что сделали
Параллельный расчёт ECL в SQL/Python vs Excel — выявили 12 расхождений в формулах. Перенесли модель в DWH (PostgreSQL). Git для version control. Автотесты: PD backtesting, stage migration consistency. Dual-run 3 месяца.
✓ Результат
ECL в DWH: воспроизводимый, версионированный, с audit trail. Замечание Big4 снято. Время расчёта: 45 мин вместо 8 часов. Backtesting PD: автоматический, ежемесячный.
62
findings
8
critical
8
нед. fix
~25M ₽
экономия/год
МСФОECLIFRS 9Big4
КЕЙС #4
PII 2M клиентов в открытом виде. Нет маскировки, нет audit trail
Региональный банк · 200 таблиц, PostgreSQL, 3 формы ЦБ, команда 2 человека
3 недели (PKG-SEC)
PKG-SEC
⚠ Проблема
ФИО, паспорта, СНИЛС, ИНН в 23 таблицах без маскировки. 47 ролей с доступом, включая 15 аналитиков. Нет pgaudit. Проверка Роскомнадзора ожидается через 6 мес.
🛠 Что сделали
PII-сканирование всех таблиц (regex по 10 паттернам). Классификация: обязательные vs избыточные PII. Column-level masking (SHA-256). View-based security. Пересмотр RBAC: revoke excessive privileges. pgaudit для логирования.
✓ Результат
100% PII замаскированы в непроизводственных средах. RBAC: с 47 до 12 ролей. Audit trail: полный. Проверка Роскомнадзора пройдена без замечаний.
Типичный цикл: аналитик видит аномалию в дашборде → Slack → DWH-команда расследует 2-4 часа. 3-5 раз в неделю. Бизнес не доверяет данным — перепроверяет вручную в Excel.
🛠 Что сделали
DQ Maturity Assessment (Level 1 → target Level 3). Профилирование 50 витрин. 200 DQ-правил в dbt tests. Reconciliation framework (source↔staging, staging↔ODS, ODS↔mart). DQ-дашборд в Grafana. Runbook для каждого типа нарушения.
✓ Результат
DQ score: с 0% до 87% покрытие. Инциденты от бизнеса: с 15/нед до 1/нед. Время расследования: с 3 часов до 15 мин (благодаря lineage). Бизнес начал доверять данным.
54
findings
6
critical
6
нед. fix
~15M ₽
экономия/год
DQreconciliationdbtGrafana
КЕЙС #6
Дашборды грузятся 30-60 секунд. 20 аналитиков теряют по 30 мин/день
Банк ТОП-100 · Универсальный, 600 таблиц, MS SQL, миграция на PostgreSQL
3 недели (PKG-S + PKG-BI)
PKG-S
⚠ Проблема
BI на Superset поверх MS SQL. Full table scan на 500M строк (нет партиций, нет индексов). SELECT * в 12 витринах. CROSS JOIN в 3 чартах. Аналитики ждут, бизнес раздражён.
🛠 Что сделали
pg_stat_statements: ТОП-20 slow queries. EXPLAIN ANALYZE каждого. Индексы на WHERE/JOIN поля. Partitioning (monthly) для 3 таблиц >100M строк. Materialized views для 5 тяжёлых агрегаций. Замена SELECT * на явные списки.
✓ Результат
Среднее время запроса: с 45с до 2.3с (в 20 раз). 0 запросов >10с. Аналитики экономят 200 часов/мес. VACUUM FULL: таблицы уменьшились на 40%.
35
findings
2
critical
2
нед. fix
~6M ₽
экономия/год
performanceBIиндексыпартиционирование
КЕЙС #7
CTO подозревает проблемы, но нет конкретики для обоснования бюджета
Экспресс-диагностика · Банк ТОП-70, 800 таблиц, Greenplum, CTO хочет понять масштаб проблем
2 недели (PKG-QUICK)
PKG-QUICK
⚠ Проблема
CTO пришёл с запросом: 'У нас что-то не так с DWH, но я не могу аргументировать бюджет на полный аудит перед правлением. Нужны конкретные цифры за 2 недели.'
🛠 Что сделали
Quick scan: установочная встреча + интервью с 5 ключевыми людьми + экспресс-анализ архитектуры и SQL. За 10 рабочих дней: 12 findings (3 critical), карта рисков, рекомендация по scope полного аудита.
✓ Результат
CTO получил presentation для правления с конкретными цифрами. Бюджет на полный аудит (PKG-F) утверждён за 1 неделю. Экономия 2 месяца на согласованиях.