Дальний архив · колоночное хранилище

Сигнал из мёртвого сектора

Первый урок: Вход в Дальний архив

0/27
уроков пройдено
0· +10 за урок

Интерактивный курс · BigQuery

Ты уже пишешь SQL.
BigQuery устроен иначе.

Не курс «SQL с нуля», а разбор различий: массивы и структуры прямо в ячейке, окна с QUALIFY, шарды по дням, партиции вместо индексов и счёт за прочитанные байты. Запросы выполняются прямо в уроке — без аккаунта Google Cloud и без биллинга.

Начать бесплатноПервая глава бесплатно: 4 урока
  • запросы прямо в уроке
  • без аккаунта Google Cloud
  • экзамен и сертификат в финале
googlesql · bigquery Run
-- метки жителя лежат в самой ячейке
SELECT name, ARRAY_LENGTH(tags)
FROM fa_users
Артём     3
Кир       1
Лада      0
счёт за запросSELECT * → 2 колонки
Глава 5500 ₽ → 0,5 ₽

Тот же запрос, другой счёт

Одна строка в DDL режет скан в тысячу раз. Научишься видеть это до запуска.

8
глав
27
уроков
живьём
запросы прямо в уроке
без GCP
аккаунт и биллинг не нужны

Предложение

Что здесь не так, как в Postgres

Шесть привычек, которые придётся поменять. Каждой посвящён урок с живыми запросами — не пересказ документации, а разбор на данных архива.

Перечислить 39 колонок, чтобы скрыть одну
SELECT * EXCEPT(col)
И REPLACE — подменить колонку выражением, не трогая остальные
Отдельная таблица для списка тегов
ARRAY прямо в ячейке
Плюс STRUCT: строка перестала быть плоской
Подзапрос ради «оставить лучшую строку в группе»
QUALIFY поверх оконной функции
Фильтр по окну без обёртки в подзапрос
Индекс ускорит выборку
Индексов нет — есть партиции и кластеры
И счёт за прочитанные байты
LIMIT 10 — значит дёшево
LIMIT не уменьшает счёт
Платят колонки, а не строки вывода
Таблица за каждый день — это боль
`logs_*` и _TABLE_SUFFIX
Один запрос по всем шардам сразу

Три сцены

Как это выглядит на самом деле

Три отличия, которые ломают привычку сильнее всего. Ниже — то же самое, но нарисованное: строка перестала быть плоской, таблиц стало по одной на день, а фильтр стал стоить денег.

Глава 3

Ячейка держит список

Массив и структура живут прямо в строке. Таблица-связка и JOIN ради трёх тегов больше не нужны — зато нужен UNNEST, и он умеет молча терять строки.

Глава 6

Таблица на каждый день

Журналы шардируются по дате прямо в имени. Звёздочка читает их одним запросом, а фильтр по _TABLE_SUFFIX решает, за сколько дней ты заплатишь.

Глава 5

Индексов нет

Вместо них — партиции и кластеризация. Правильно написанный WHERE не ускоряет запрос, а физически вырезает из него данные, за которые ты не платишь.

Как это устроено

Курс, в котором запросы выполняются

Запрос — прямо на странице

Каждая живая ячейка исполняется на настоящем движке BigQuery-диалекта по данным архива. Ни аккаунта Google Cloud, ни биллинга, ни установки.

Дельта, а не пересказ

Ни один урок не объясняет заново то, что ты уже знаешь по Postgres. Каждый отвечает на один вопрос: что здесь устроено иначе и чем это грозит.

Счёт как часть синтаксиса

В BigQuery цена запроса — это его свойство, наравне с результатом. Курс учит читать её до запуска, а не по счёту в конце месяца.

Дальний архив · последняя земная колония

Сигнал, который не был шумом

Из мёртвого сектора пришёл слабый сигнал — и оказался хранилищем: заказы, платежи, журналы терминалов и телеметрия колонии, которая вела свой архив до последнего дня. Диалект чужой, счётчик станции конечен, а спутник КВЕРИ этого языка не знает и учится вместе с тобой.

  • 02четыре типа времени вместо одного
  • 03строка, которая перестала быть плоской
  • 05счёт на 500 ₽ за одну забытую строку
  • 06семьсот таблиц одним запросом
  • 08последний сеанс: энергии на один запрос

Маршрут

Три ступени пересадки и экзамен

Программа построена как пересадка: сначала осваиваешь другой синтаксис и его цену, потом глубину диалекта, потом масштаб — и закрываешь дело запросами.

I

Пересадка

Синтаксис, деньги и язык ошибок нового архива

II

Глубина

Массивы, структуры, окна — то, ради чего пришли

III

Масштаб

Деньги, партиции, шарды и запись данных

IV

Экзамен

Дело закрывается запросами, а не пересказом

Программа

Восемь глав Дальнего архива

I

Пересадка

2 главы · 9 уроков · 1 ч 38 мин

Синтаксис, деньги и язык ошибок нового архива

Глава 1бесплатно

Другой диалект

Научишься адресовать таблицы, читать счёт за запрос ещё до запуска и понимать язык отказов BigQuery.

SELECT * EXCEPTоплата за байтыSAFE-режим
4 урока · 42 мин
Глава 2 PRO

Типы, строки и время

Разберёшься с системой типов без SERIAL, деньгами в NUMERIC, регулярками на re2 и четырьмя типами времени вместо одного.

NUMERICre2DATE / DATETIME / TIMESTAMP
5 уроков · 56 мин
II

Глубина

2 главы · 9 уроков · 1 ч 52 мин

Массивы, структуры, окна — то, ради чего пришли

Глава 3 PRO

Массивы и структуры

Перестанешь считать строку плоской: списки и записи живут прямо в ячейке, а UNNEST разворачивает их, не теряя строк.

ARRAYSTRUCTUNNEST
5 уроков · 1 ч 4 минартефакт: разбор GA4-событий
Глава 4 PRO

Агрегаты и окна по-новому

Научишься писать агрегаты и окна идиоматично: COUNTIF вместо CASE, QUALIFY вместо подзапроса, честная рамка окна.

COUNTIFQUALIFYROLLUP / PIVOT
4 урока · 48 мин
III

Масштаб

3 главы · 8 уроков · 1 ч 32 мин

Деньги, партиции, шарды и запись данных

Глава 5 PRO

Деньги и масштаб

Научишься проектировать таблицу так, чтобы тот же запрос читал в тысячу раз меньше, и проверять это до запуска.

PARTITION BYCLUSTER BYсухой прогон
3 урока · 30 минартефакт: чек-лист дешёвого запроса
Глава 6 PRO

Шарды, wildcard и GA4

Прочитаешь семьсот суточных таблиц одним запросом, соберёшь сквозную витрину по GA4-экспорту и достанешь данные из JSON без схемы.

wildcard_TABLE_SUFFIXJSON
3 урока · 38 минартефакт: дневная витрина станции
Глава 7 PRO

Меняем данные и автоматизируем

Научишься писать в хранилище без OLTP-рефлексов: батчи вместо построчных правок, MERGE вместо ON CONFLICT, скрипты вместо plpgsql.

MERGEstagingскриптинг
2 урока · 24 мин
IV

Экзамен

1 глава · 1 урок · 25 мин

Дело закрывается запросами, а не пересказом

Глава 8 PRO

Экзамен Дальнего архива

Соберёшь все дельты курса в одну шпаргалку мигранта и закроешь дело восемью задачами, которые нельзя списать.

карта дельтHARD / EXPERTсертификат
1 урок · 25 минартефакт: лицензия архивиста

Что останется

Не только прочитанные главы

Идиомы, а не рецепты

QUALIFY вместо подзапроса, UNNEST без потери строк, MERGE вместо ON CONFLICT — то, что отличает мигранта от человека, который пишет здесь как дома.

Карта дельт

Финальный урок собирает все различия в одну таблицу «привычка Postgres → идиома BigQuery». Её держат под рукой первые месяцы на проекте.

Экзамен и сертификат

Восемь задач уровня HARD и EXPERT с автопроверкой на живых данных: списать нельзя. Зачёт от шести — и именной сертификат.

Архив открыт. Запрос за тобой.

Первая глава бесплатна и не требует ничего, кроме браузера: ни аккаунта Google Cloud, ни биллинга, ни установки. Открываешь урок — и выполняешь запросы к архиву прямо на странице.

Средний урок — 12 минут