Блог

Добавить или обновить: как Spark выдаёт результат потокового расчёта

Поток покупок меняет итог по магазину. Разбираем три режима вывода Structured Streaming и объясняем, почему получатель должен понимать, что означает очередная строка.

Зачем команде библиотека разборов учебных ошибок

Одинаковая ошибка повторяется в разных учебных проектах. Предлагаем способ сохранять обезличенные разборы: от наблюдения и причины до новой самостоятельной проверки.

Lakehouse: как совместить озеро данных с возможностями хранилища

Одним командам нужны файлы для исследований, другим — устойчивые таблицы для отчётов. Объясняем идею Lakehouse, роль метаданных и ограничения обещания единой платформы.

Зачем системе данных искусственная контрольная запись

Сервер отвечает, но запись может не доходить до отчёта. Объясняем, как безопасный тестовый пример помогает проверить весь путь данных и что он не способен доказать.

Составной индекс: зачем базе несколько полей и почему важен порядок

Поиск по городу и дате отличается от поиска только по дате. На примере справочника разбираем составной индекс PostgreSQL и ограничения правила о первом поле.

Контрольная сумма файла: как проверить, что данные дошли целиком

Одинаковое имя и размер ещё не означают одинаковое содержимое. Объясняем проверку файла по контрольной сумме и её границы на простом примере передачи выгрузки.

Watermark в Spark: сколько ждать запоздавшие события

Покупка произошла раньше, чем поступила в обработку. Объясняем временную границу Spark, отличие от часов на стене и компромисс между опозданиями и хранением состояния.

Как собрать первую учебную группу для нового направления

Пилот обучения должен показать, подходит ли программа будущим участникам. Предлагаем состав группы по рабочим задачам, понятные условия участия и вопросы для обратной связи.

Data Mesh: зачем направления бизнеса отвечают за свои продукты данных

Кто объяснит сведения о доставках и кто отвечает за их качество? На условном примере разбираем домены, продукты данных, общую платформу и совместные правила.