Блог

Как Spark отбирает нужные данные ещё при чтении источника

Для отчёта часто нужна лишь часть исходной таблицы. Объясняем перенос фильтра к источнику, выбор столбцов и причины, по которым экономия не гарантирована.

Как подготовить учебные материалы для разных способов восприятия

Заголовки, проверенные субтитры и текстовое описание помогают получать содержание разными способами. Разбираем подготовку одного учебного фрагмента для команды.

Data Vault: зачем разделять сущности, связи и историю данных

Разбираем хабы, линки и сателлиты на условной службе проката. Показываем, какую задачу решает Data Vault и почему это ещё не готовый отчёт.

Зачем новому расчёту отдельный переключатель включения

Доставить обновление и начать использовать новый расчёт можно в разное время. Объясняем переключатели функций, условия возврата и ограничения такого подхода.

Дата и момент события: почему это разные данные для отчёта

Календарный день не показывает точное время, а добавленная полночь не возвращает неизвестные сведения. Разбираем, какую подробность времени требует задача и что теряется при преобразовании.

Почему таблицу из PDF нужно проверить перед загрузкой в отчёт

На странице видна аккуратная таблица, но после извлечения столбцы могут сместиться. Объясняем различия текста и скана и предлагаем проверку строк, заголовков и итогов.

Почему Spark не всегда правильно угадывает типы данных в файле

Столбец из цифр может быть суммой или кодом, в котором важны начальные нули. Объясняем автоматическое определение структуры файла и роль заранее согласованной схемы.

Зачем учебной группе общий словарь терминов

Одно знакомое слово может означать разные вещи для новичка и преподавателя. Предлагаем простой порядок создания учебного словаря с контекстом, примерами и проверкой понимания.

Схема «звезда»: как факты и измерения помогают устроить отчёт

Одни таблицы хранят события и показатели, другие объясняют их контекст. Разбираем модель «звезда» и показываем, почему сначала нужно определить смысл одной строки.