Сканы посылок после watermark
Сканы посылок после watermark
Ты — дата-инженер логистической платформы. Каждую ночь инкрементальный пайплайн забирает свежие сканирования посылок из таблицы parcel_scans и дозагружает их в хранилище. Позиция последней успешной загрузки (watermark) хранится в таблице etl_state — в строке с source_name = 'parcel_scans' (в таблице могут быть строки и других источников). Твоя задача — собрать очередную порцию: сканы, которых пайплайн ещё не видел, то есть со временем строго больше watermark. Сканы с неизвестным временем (scan_time IS NULL) считаются ещё не готовыми и в порцию не входят.
Верни столбцы:
- scan_id — идентификатор скана;
- parcel_code — код посылки;
- hub_code — код сортировочного хаба;
- scan_time — время скана (timestamp, как в таблице);
- status — статус посылки (может быть NULL — выводи как есть).
Сортировка: по scan_time по возрастанию, при равенстве времени — по scan_id по возрастанию. Скан с временем, в точности равным watermark, в результат не входит.
Порядок строк важен
Войдите, чтобы видеть историю отправок
ВойтиВойдите, чтобы использовать AI Mentor
Войти