Клиент
Наш заказчик — ведущий мировой производитель фотооборудования: осветительных приборов, объективов, аксессуаров и т.д. Компания также располагает собственными программными приложениями и платформами.
Задачи
Заказчик обратился к компании Аркадия затем, чтобы привести в соответствие процессы разработки, рабочие процессы и ежедневные задачи. Одной из ключевых целей стали анализ и усовершенствование текущей инфраструктуры на базе Azure. В числе прочего, необходимо было провести аудит системы и предложить возможные способы её улучшения и сокращения затрат.
Решение
Проанализировав инфраструктуру, наши специалисты обнаружили следующие проблемы:
- отсутствие документации по различным модулям системы, разработанным сторонними организациями;
- недостаточное резервное копирование критически важных элементов системы, в том числе виртуальных машин, находящихся вне инфраструктуры Azure;
- чрезмерные затраты на подсистему анализа данных на основе Azure Data Factory и Azure Databricks: более 50% всех ежемесячных затрат на Azure;
- множество невостребованных данных на аккаунтах Azure Storage;
- недостаток настроек для используемых служб приложений.
Устранять данные проблемы нужно было поэтапно.
Для начала мы создали необходимую документацию и диаграммы на портале Confluence со стороны заказчика.
Далее, наши разработчики обеспечили резервное копирование различных компонентов, включая критически важные виртуальные машины и базы данных MS SQL и MySQL, с помощью хранилища служб восстановления Azure.
После работы с невостребованными данными и соответствующей настройки служб приложений нам удалось снизить затраты более чем на 5% в месяц.
Неэффективность настроек была, прежде всего, связана с подсистемой анализа данных, где для Azure Databricks и Azure Data Factory применялась конфигурация по умолчанию. В результате достаточно производительные кластеры использовались даже для простейших задач. Грамотно настроив кластер Azure Databricks и обеспечив правильное использование Azure Data Factory в соответствии с требованиями заказчика, мы также добились значительного сокращения затрат.
Наконец, тщательно проанализировав сценарии обработки данных на основе Python и Spark, задействованные в Databricks, наши специалисты повысили скорость такой обработки (в некоторых случаях — до 10 раз).
Результат
Мы проанализировали, задокументировали и усовершенствовали инфраструктуру, а также обеспечили резервное копирование всех критически важных компонентов системы. Кроме того, нам удалось сократить и затраты: стоимость использования Azure уменьшилась более чем на 50% ежемесячно, что убедило заказчика продолжить сотрудничество с нашей компанией.