Блог

Спекулятивное выполнение Spark: зачем дублировать медленную задачу

Spark иногда запускает вторую попытку задачи, которая ещё не завершилась. Разбираем смысл спекулятивного выполнения, его цену и причины, по которым оно не помогает.

Критерии учебного проекта: как заранее договориться о качестве

Что значит «хороший проект» и как заменить субъективную оценку наблюдаемыми признаками. Пример критериев для учебного отчёта и порядок их проверки.

Шардинг и партиционирование: чем различаются два способа деления данных

Разделить таблицу на части и распределить записи между серверами — разные решения. Объясняем связь терминов, ключ распределения и ограничения на примере архива.

Эскалация сбоя данных: когда и как передавать ответственность

Когда дежурному пора привлекать коллег и как передать сбой без потери ответственного. Понятный пример, состав сообщения и проверка принятия работы.

Взаимная блокировка: почему база отменяет одну операцию

Два участника могут ждать друг друга так, что никто не продолжит работу. Разбираем цикл ожиданий, отмену транзакции и отличие от обычной очереди.

Конверт события: зачем сообщению источник, время и версия

У сообщения о событии есть полезные данные и служебное окружение. Объясняем, как отличать повторы, понимать задержку и не путать версии формата.

Этапы и задачи Spark: как читать ход выполнения

Почему в Spark одна цель пользователя превращается в несколько вычислений, этапов и задач. Объясняем названия и счётчики без программирования.

Парное обучение работе с данными: как чередовать роли

Два сотрудника решают одну учебную задачу и меняются ролями. Разбираем, как подготовить встречу и проверить вклад каждого без обещаний быстрого результата.