Yandex Cloud will help companies move ML development from local infrastructure to the cloud faster

Yandex Cloud поможет компаниям быстрее переносить ML-разработку из локальной инфраструктуры в облако

The Yandex Cloud cloud platform has opened access to an updated version of the service for the full cycle of Yandex DataSphere machine learning. Now developers can use dedicated virtual machines for ML tasks in the service. This will help IT professionals who are accustomed to working with algorithms in their own infrastructure more easily move ML calculations to the cloud. Also in Yandex DataSphere, it has become more convenient to set up the development environment, which will allow you to quickly train and bring models to production.

Облачная платформа Yandex Cloud открыла доступ к обновленной версии сервиса для полного цикла машинного обучения Yandex DataSphere. Теперь разработчики могут использовать для ML-задач в сервисе выделенные виртуальные машины. Это поможет ИТ-специалистам, которые привыкли работать с алгоритмами в собственной инфраструктуре, легче переносить ML-вычисления в облако. Также в Yandex DataSphere стало удобнее настраивать среду разработки, что позволит быстрее обучать и выводить модели в продакшн.

The new Yandex DataSphere Dedicated mode of operation allows the user to reserve a virtual machine in the cloud for his project and work with it for as long as necessary. By familiarly working with computing resources in Dedicated mode, you can accelerate the development of machine learning models for various data analysis tasks. For example, to detect equipment breakdowns or manage risks in a company.

Новый режим работы Yandex DataSphere Dedicated дает возможность пользователю зарезервировать виртуальную машину в облаке под свой проект и работать с ней столько, сколько потребуется. За счет привычной работы с вычислительными ресурсами в режиме Dedicated можно ускорить разработку моделей машинного обучения для различных задач по анализу данных. Например, для обнаружения поломок оборудования или управления рисками в компании. 

In addition to the new Dedicated mode, Yandex DataSphere still allows you to select the Serverless mode when training models. Serverless computing technology allows you to automatically connect a virtual machine of the required type only for the time of direct calculations (training models, launching and other calculations). This mode allows the user to pay for computing power only during real training and optimize the cost of computing as much as possible.

Помимо нового режима Dedicated, в Yandex DataSphere остается возможность выбрать режим Serverless при обучении моделей. Технология бессерверных вычислений позволяет автоматически подключать виртуальную машину нужного типа только на время непосредственных расчётов (обучение моделей, запуск и других вычислений). Этот режим позволяет пользователю оплачивать вычислительные мощности только во время реального обучения и максимально оптимизировать расходы на вычисления. 

Also, Yandex DataSphere has a new version of Jupyter Notebook, the most popular code editor for ML development. The updated interface, as well as pre-installed extensions, such as navigating a notebook inside a notebook, make it easier to work with Jupyter Notebook. In addition, you can set up transparent visualization of resource usage in Yandex DataSphere: monitor in real time what resources are available on the machines used and how they are utilized.

Также в Yandex DataSphere появилась новая версия Jupyter Notebook - наиболее популярного редактора кода для ML-разработки. Обновленный интерфейс, а также предустановленные расширения - например, навигация по блокноту внутри ноутбука, позволяют удобнее работать с Jupyter Notebook.  Кроме этого, в Yandex DataSphere можно настроить прозрачную визуализацию использования ресурсов: в режиме реального времени отслеживать, какие ресурсы доступны на используемых машинах и как они утилизируются.

Yandex DataSphere has all the necessary tools for the full cycle of machine learning development, as well as integration with other platform cloud services - Data Proc (Apache Spark management) and Data Transfer (data transfer tool). An ML specialist can connect the necessary libraries within the service for parallel data processing on Spark clusters and directly - various cloud storages for data analysis and storage. Yandex DataSphere is also great for teamwork: you can connect other ML developers and specialists who are involved in working with machine learning models to projects. For example, a support engineer can adjust settings for operating a model, while an administrator can manage access settings.

В Yandex DataSphere есть все необходимые инструменты для полного цикла разработки машинного обучения, а также интеграции с другими облачными сервисами платформы - Data Proc (управление Apache Spark) и Data Transfer (инструмент для передачи данных). ML-специалист может подключать внутри сервиса необходимые библиотеки для параллельной обработки данных на кластерах Spark и напрямую - различные облачные хранилища для анализа и хранения данных. Также Yandex DataSphere отлично подходит для командной работы: к проектам можно подключать других ML-разработчиков и специалистов, которые задействованы в работе с моделями машинного обучения. Например, инженер поддержки может корректировать настройки для эксплуатации модели, а администратор – управлять настройками доступа.