Разбор и хранение
Замер: 2026-08-14 · чем проверено: замер живой базы Читать перед тем, как решать что-либо про схемы, ETL или выкладку.
Какой цели служит
Сырой ответ площадки превращается в данные, по которым можно считать и принимать решения, — и это превращение можно повторить заново, не спрашивая площадку.
Для чего это нужно
Каждая площадка отвечает в своём виде: свои имена полей, свои единицы, своя вложенность. Складывать и сравнивать сырые ответы нельзя. Разбор приводит их к единому виду, а хранение держит поверх фактов расчёты — отдельно, чтобы не смешивать посчитанное с полученным.
Сырьё хранится целиком: пересчитать по нему можно что угодно и когда угодно, а переспросить площадку за прошлый месяц нельзя. Без этого любая ошибка разбора означала бы потерю данных без возврата.
Что станет невозможным без этого
Ни одна витрина не сойдётся: сравнение площадок, рейтинг и отгрузка требуют единого вида данных. А ошибку разбора нельзя будет исправить иначе, чем новым опросом площадки — и за прошедшие дни такого опроса не будет.
Какой ценой это даётся
- Сложностью: три слоя данных вместо одного, у каждого свои правила записи.
- Объёмом: приём — самый большой слой базы, 186 таблиц (замер базы).
- Задержкой: разбор и пересчёт идут по расписанию, число на экране — это последняя пересборка, а не сию минуту.
Что здесь работает, а что только объявлено
Работает совмещённый контур: один проход сохраняет сырой ответ, разбирает его и пишет строки приёма. Раздельные сборщик и разборщик есть в дереве, но в живом расписании их нет; отдельных схем сырья и промежуточных поколений на сервере тоже нет. Поэтому автоматический независимый переразбор и отдельная активация поколения не введены в дело. Сохранённое сырьё не потеряно, но штатного пути повторно провести его через новый разбор сейчас нет.
Как это устроено
Контур описан декларативно и защищён договорами: блок «Разбор», блок «Хранение», блок «Ядро (ETL)». Числа по схемам и таблицам — в замере базы.