Ноутбук для начинающего аналитика данных: что проверить на задаче с SQL и отчётом
Одна цифра, для которой нужны три таблицы
Руководитель магазина хочет знать, сколько заказов действительно получили покупатели за прошлый месяц и какая часть заказанных позиций вернулась. Аналитик открывает список заказов, позиции внутри каждого и отдельный журнал возвратов. Свести их можно на небольшом рабочем ноутбуке, если расчёт выполняет удалённая база и компьютер показывает результат. Если те же данные обрабатывают локально, нагрузка распределяется иначе. Поэтому при покупке важнее всего понять, на каком этапе работает сам ноутбук и какие задачи остаются за сервером.
Для практического теста подготовьте искусственный набор. Создайте заказ из трёх разных товаров, заказ с двумя единицами одного товара, отменённую заявку и частичный возврат. У каждого события должны быть идентификатор и дата, а ожидаемый итог можно заранее посчитать на листе бумаги. Такой небольшой набор нужен для проверки логики. Для оценки производительности понадобится разрешённая копия данных обычного рабочего масштаба или подходящий синтетический объём. Не используйте реальные персональные сведения и не запускайте тяжёлые пробные запросы на рабочей базе организации без согласованного регламента.
Сначала выясните, что от ноутбука требует ваша среда
Уточните, как аналитик подключается к данным. Возможны локальная учебная база, внутренний сервер, браузерная платформа или удалённый рабочий стол. В серверном варианте время запроса зависит и от нагрузки базы, и от передачи результата. Клиентский ноутбук может быстро показать уже посчитанную сводку, но долго ждать получения сотен тысяч подробных строк. Брать производительную игровую конфигурацию в надежде ускорить медленный серверный запрос без измерений рискованно. Измерьте отдельно получение данных, отображение результата и сохранение локального отчёта.
На пробе откройте редактор запроса, справочник таблиц и окно с результатом. Оставьте привычный для сотрудника размер шрифта. Можно ли одновременно видеть условие соединения и несколько строк данных? Не пропадают ли названия похожих столбцов за правым краем? Для аналитика в офисе часто помогает внешний монитор, а для совещаний может хватать экрана ноутбука и короткой итоговой таблицы. Проверьте каждый вариант с реально используемым видеовыходом. Удобство чтения сложной строки запроса становится заметно, когда сотрудник исправляет одно условие и пытается понять, почему изменился результат.
Соберите соединение на маленьком понятном примере
Возьмите заказ с тремя позициями. После соединения заголовка заказа со строками его номер появится три раза. Если просто посчитать строки результата, один заказ превратится в три. В другом отчёте именно три позиции и требовалось посчитать, поэтому ошибка определяется смыслом вопроса. На испытательном ноутбуке откройте результат небольшого соединения и проследите один номер от исходного заголовка до всех товарных строк. Запишите, какую сущность обозначает одна строка в каждом промежуточном результате. Так проверяются и навыки аналитика, и удобство работы с несколькими окнами.
Теперь добавьте возврат одной позиции. Если журнал возвратов соединён с заказом только по номеру заказа, событие возврата может ошибочно привязаться сразу ко всем товарным строкам. Уточните допустимый ключ и уровень хранимых данных. Иногда возврат известен только суммарно по заказу; тогда распределение между позициями из имеющихся сведений не следует. Такое ограничение лучше показать в отчёте явно. Ни большой объём памяти, ни быстрый процессор не устраняют ошибку логики соединения, зато удобный экран и возможность изучить промежуточный результат помогают заметить её раньше.
Для отдельного упражнения добавьте позицию, на которую пока нет событий возврата. При соединении только совпавших строк она исчезнет, хотя для вопроса о доле возвратов её требуется сохранить в общем количестве. Проверьте, что итог содержит и такие позиции, а отсутствие записи понимается в соответствии с моделью данных. В некоторых системах это действительно отсутствие возврата, в других — признак незавершённой загрузки журнала. Уточнение у владельца источника нужнее любой формулы. Откройте на ноутбуке схему зависимостей и подпишите, когда обновляется каждая таблица, чтобы следующий аналитик повторил результат в сопоставимых условиях.
Проверьте два масштаба результата
Сначала выполните запрос, возвращающий небольшой итог по нескольким группам. Затем по разрешённому учебному набору получите более подробные строки с ограничением, соответствующим задаче. Сравните время выполнения и время появления таблицы в клиентском приложении. Если сервер завершил расчёт быстро, а интерфейс долго строит большой результат, есть смысл оценивать возможности ноутбука и настройки клиента отдельно. Не используйте получение всей базы в качестве универсального теста. В реальной работе часто полезнее выбрать осмысленный диапазон и нужные столбцы, чем передавать миллионы лишних значений.
Если работа выполняется локально, загрузите привычный учебный набор, соедините таблицы, сгруппируйте результат и сохраните срез. Измерьте время каждой операции при открытых документации и рабочей таблице. Посмотрите на фактически установленную память, доступное место после подготовки базы и изменения отзывчивости при переключении между окнами. Рабочий размер базы, временные данные, экспорт и резервные копии занимают разное количество места. План закупки должен учитывать их совокупность, а не только размер одного исходного архива, полученного по почте в сжатом виде.
Сделайте вывод, который можно защищать
Зафиксируйте правило периода. Заказы могли поступить в марте, быть доставлены в апреле и частично вернуться в мае. Вопрос о заказах, доставленных в марте, и вопрос о последующих возвратах мартовской когорты требуют разного подхода. Напишите определение показателя до подготовки графика. При этом не обещайте окончательную долю возвратов для заказов, по которым срок наблюдения ещё короток. Используйте согласованное внутри организации определение и явно укажите дату состояния. Такой текст помогает руководителю правильно сравнивать месяцы и понимать пределы данных.
Для теста ноутбука попросите аналитика открыть итоговую диаграмму или таблицу и ответить на один уточняющий вопрос без повторной выгрузки всей базы. Например, найти исходный заказ, объясняющий выброс в небольшой группе. На одном дисплее покажите коллегам итог, на другом оставьте внутренние служебные детали, если показ проходит в безопасной среде. Испытайте отключение монитора и возврат к локальному рабочему столу. При выездном обсуждении ноутбук полезен именно тем, что помогает вернуться к доказательству одного числа, а не только показать неподвижный слайд.
Выберите комплектацию по месту расчёта и обмена
Составьте две строки требований. В первой опишите локальную работу: число одновременно открытых приложений, типичный объём данных, вычисления и место для результатов. Во второй опишите удалённую: связь с разрешённым источником, штатные средства доступа и качество отображения удалённого интерфейса. Если отдел использует корпоративную сеть с ограничениями, все подключения проверяют вместе с ИТ-службой. Покупка устройства не даёт права автоматически переносить рабочие таблицы на домашний диск. Грамотно подобранный ноутбук поддерживает принятые правила доступа и передачи, а не помогает обходить их.
В конце повторите учебный заказ с частичным возвратом на второй модели. Попросите специалиста показать, в какой строке возник бы двойной подсчёт, выполнить исправленный запрос и передать компактный отчёт. Запишите время операций и впечатление от клавиатуры, размера шрифта и рабочей площади. Для одного отдела главным условием окажется удобный дисплей на мобильных обсуждениях, для другого — запас памяти на локальном анализе. Такая проверка даёт ответ на вопрос о покупке даже при разных бюджетах, поскольку связывает каждый параметр с конкретным этапом аналитического проекта.