Зачем эта система существует: непрерывное накопление наблюдений
Принцип владельца, сформулирован 09.08.2026. Читать ПЕРЕД любым решением о чистке, переносе, архивации или удалении данных. Он объясняет «зачем», и без него любая оптимизация начинает выглядеть разумной.
Формулировка
Сила системы — в накоплении. Она непрерывно записывает, что происходило на площадках и что происходило у нас в 1С, чтобы позже из этого можно было делать выводы: как что менялось, почему мы недогружали, какие были остатки в тот момент.
Выводы делаются потом. Данные нужны сейчас — и нужны непрерывными, потому что пропуск в середине ряда обесценивает и то, что до, и то, что после.
Из этого следует правило, у которого нет исключений:
Выбрасывать можно ПРОИЗВОДНОЕ и ДУБЛИКАТЫ. Наблюдения не выбрасываются никогда.
- Наблюдение — то, что мы увидели в конкретный момент и что нельзя пересчитать: ответ площадки, срез остатков 1С, отчёт, введённое человеком значение.
- Производное — то, что выводится из наблюдений правилами: разобранные по колонкам таблицы, факты ядра, рейтинги, оборачиваемость. Их можно снести и построить заново.
- Дубликат — та же самая запись, лежащая дважды. Например блоб-колонка в таблице
разобранных данных при живой строке в
raw_payload.
Проверка перед удалением: три вопроса
- Это наблюдение или вывод? Если наблюдение — не удалять, точка.
- Восстановимо ли из того, что остаётся? Не «в принципе», а конкретно: назвать таблицу-источник и убедиться, что нужный период в ней есть.
- Покрывает ли источник ВЕСЬ период? Здесь чаще всего и ошибаются — см. ниже.
Случай, на котором это уже почти сломалось (09.08.2026)
Готовился перенос в чистую базу с формулировкой «старое не тянем». Проверка дат показала:
| Хранилище | Самое раннее наблюдение |
|---|---|
raw_payload — сырые ответы площадок | 13.02.2026 |
s2_ref.sales | 09.09.2024 |
s2_ref.mp_orders_daily | 06.09.2025 |
s2_ref.rating_history | 10.02.2026 |
lamoda_reports — хвост из Excel | 09.02–16.03.2026 |
То есть s2_ref содержит наблюдения СТАРШЕ архива сырья почти на полтора года. Из
сырья они не восстановятся: там их нет. Формулировка «выбросим старьё, разобранное
пересоберём из сырья» верна для таблиц приёма и НЕВЕРНА для этих — их надо вывезти как есть.
Ошибка, которую это иллюстрирует: «восстановимо из сырья» проверялось по СПОСОБУ («есть же переразбор»), а не по ПЕРИОДУ («а есть ли там 2024 год»).
Как из этого принципа следует хранение
Накапливать наблюдения ≠ писать строку каждый день. Ежедневный срез на 95% состоит из повторов, и при этом НЕ отвечает на вопрос «когда изменилось». Как хранить правильно — PRAVILO-IZMENENIYA-VMESTO-POVTOROV.md.
Что это значит для чистой базы
Чистая база собирается так:
- схема порождается из описаний сбора, а не переносится;
- производное порождается переразбором сырья — площадки не опрашиваются;
- наблюдения переносятся все, включая те, что старше сырья и те, что от уже мёртвых источников (импорт из Excel остановился в марте 2026 сам — но его хвост это наблюдение);
- дубликаты не переносятся — блоб-копии сырья остаются только в
raw_payload.
Экономия получается на производном и дубликатах, и её достаточно: 8 ГБ копий плюс вся мешанина структур. Ни одного наблюдения при этом не теряется.