Прискорити свої дані та робочі процеси AI, підключившись до Amazon Sagemaker Unified Studio з коду Visual Studio

Інженери розробників та машинного навчання (ML) тепер можуть підключитися безпосередньо до Amazon Sagemaker Unified Studio з їхнього редактора локального коду Visual Studio (VS Code). За допомогою цієї можливості ви можете підтримувати існуючі робочі процеси з розробки та персоналізовані конфігурації інтегрованого середовища розвитку (IDE), отримуючи доступ до сервісів Amazon Web Services (AWS) та штучного інтелекту та машинного навчання (AI/ML) в уніфікованих даних та середовищі розвитку AI. Ця інтеграція забезпечує безперебійний доступ від вашого місцевого середовища розвитку до масштабованої інфраструктури для запуску обробки даних, SQL Analytics та ML робочих процесів. Підключивши місцевий IDE до Unified Studio Sagemaker, ви можете оптимізувати свої робочі процеси в розробці даних та AI, не порушуючи встановлених практик розвитку.

У цій публікації ми демонструємо, як підключити свій локальний код VS до Unified Studio SageMaker, щоб ви могли створити повні дані про кінцеві до кінця та робочі процеси AI під час роботи у бажаному середовищі розробки.

Огляд рішення

Архітектура рішення складається з трьох основних компонентів:

• Місцевий комп'ютер – Ваша машина розробки, що працює проти коду з інструментарію AWS для Visual Studio Code та встановленої Microsoft Remote SSH. Ви можете підключитися за допомогою інструментарію для розширення коду Visual Studio у коді VS, переглядаючи доступні Sagemaker Unified Studio Spaces та вибравши їх цільове середовище.
• Unified Studio Sagemaker – Частина наступного покоління Amazon Sagemaker, Sagemaker Unified Studio – це єдині дані та розробка AI, де ви можете знайти та отримати доступ до своїх даних та діяти на ньому, використовуючи знайомі інструменти AWS для SQL Analytics, обробку даних, розробку моделі та генеративну розробку додатків AI.
• Systems Systems Manager – Безпечна, масштабована служба віддаленого доступу та управління, що дозволяє безперебійному підключенню між місцевим кодом VS та Unified Sagemaker Unified Studio простором для упорядкування даних та робочих процесів розвитку AI.

Наступна діаграма показує взаємодію між місцевими студентами IDE та Sagemaker Unified Studio.

Передумови

Щоб спробувати дистанційне з'єднання IDE, ви повинні мати такі передумови:

• Доступ до домену Sagemaker Unified Studio з підключенням до Інтернету. Для доменів, встановлених у режимі Virtual Private Cloud (VPC), ваш домен повинен мати маршрут до Інтернету через проксі-сервер або шлюз NAT. Якщо ваш домен повністю ізольований з Інтернету, зверніться до документації для налаштування віддаленого з'єднання. Якщо у вас немає Unified Studio домен Sagemaker, ви можете створити його за допомогою швидкої налаштування або опції налаштування вручну.
• Потрібен користувач із обліковими повідомленнями SSO через IAM -центр ідентичності. Щоб налаштувати доступ до користувачів SSO, перегляньте документацію.
• Доступ до або може створити проект Unified Studio Sagemaker.
• Редактор jupyterlab або коду обчислює простір з мінімальною вимогою типу екземпляра 8 ГБ пам'яті. У цій публікації ми використовуємо ml.t3.large екземпляр. Підтримується зображення розповсюдження Sagemaker Версія 2.8 або новішої версії.
• У вас є останній стабільний код проти Microsoft Remote SSH (версія 0.74.0 або пізніші), а також на локальній машині, встановленій інструментарією AWS (версія 3.74.0).

Реалізація рішення

Щоб увімкнути віддалене підключення та підключитися до простору з коду VS, виконайте наступні кроки. Щоб віддалено підключитися до Sagemaker Unified Studio Space, простір повинен бути включений віддалений доступ.

1. Перейдіть до свого простору редактора jupyterlab або коду. Якщо він працює, зупиніть простір і виберіть Налаштувати простір Щоб увімкнути віддалений доступ, як показано на наступному скріншоті.
   
2. Увімкнути Віддалений доступ Щоб увімкнути функцію та вибрати Зберегти та перезапуститияк показано на наступному скріншоті.
   
3. Перейдіть на інструментарій AWS у своєму локальному встановленні коду.
   
4. На Unified Studio Sagemaker Вкладка, виберіть Увійдіть, щоб розпочати роботу і надайте свою URL -адресу домену SageMaker Unified, тобто, https://.sagemaker..on.aws.
   
5. Вам буде запропоновано перенаправити до вашого веб -браузера, щоб дозволити доступ до розширень AWS IDE. Вибирати ВІДЧИНЕНО Щоб відкрити нову вкладку веб -браузера.
   
6. Вибирати Дозволити доступ Для підключення до проекту через код VS.
   
7. Ви отримаєте a Запит затвердженого Повідомлення, що вказує на те, що тепер у вас є дозволи на доступ до домену віддалено.
   

Тепер ви можете повернутися до свого місцевого коду проти коду, щоб отримати доступ до проекту, щоб продовжити створення робочих місць ETL та трубопроводів даних, навчання та розгортання моделей ML або побудови генеративних програм AI. Щоб підключитися до проекту для обробки даних та розробки ML, виконайте ці кроки:

1. Вибирати Виберіть проект Для перегляду своїх даних та обчислення ресурсів. Усі проекти в домені перераховані, але вам дозволено доступ до проектів, де ви є членом проекту.

   

   Ви можете переглянути лише один домен та один проект за один раз. Щоб переключити проекти або вийти з домену, виберіть значок Ellipsis.

   

   Ви також можете переглядати обчислювальні та ресурси даних, які ви створили раніше.

2. Підключіть простір редактора jupyterlab або коду, вибравши піктограму підключення, як показано на наступному зображенні. Примітка. Якщо ця опція не відображається як доступна, то у вас може бути відключений віддалений доступ у просторі. Якщо простір знаходиться у стані “зупинено”, наведіть курсор на простір і виберіть кнопку підключення. Це повинно дозволити віддалений доступ, запустити простір та підключитися до нього. Якщо простір знаходиться в стані “запуск”, простір потрібно перезапустити за допомогою віддаленого доступу. Це можна зробити, зупинивши простір і підключившись до нього, як показано нижче з інструментарію.
   

   Інше вікно VS Code відкриється, яке підключено до вашого Unified Studio Space Sagemaker за допомогою віддаленого SSH.

3. Перейдіть до Дослідник Щоб переглянути ноутбуки, файли та сценарії вашого простору. З інструментарію AWS ви також можете переглянути джерела даних.
   

Використовуйте свою власну налаштування коду з Sagemaker Unified Studio Resources

Коли ви підключаєте код VS до Unified Studio Sagemaker, ви зберігаєте всі особисті ярлики та налаштування. Наприклад, якщо ви використовуєте фрагменти коду для швидкого вставки загальної аналітики та моделей коду ML, вони продовжують працювати з інфраструктурою, керованою студією Sagemaker.

У наступній графіку ми демонструємо використання ярликів робочого процесу аналітики. Запит фрагментів коду “шоу-матері”, щоб показати доступні бази даних, “Show-Glue-Table” перелічує таблиці в каталозі даних AWS клей, а “Запит-комерція” отримує дані за допомогою Spark SQL для аналізу.

Ви також можете використовувати ярлики для автоматизації побудови та навчання моделі ML на AI Sagemaker. У наведеній нижче графіці фрагменти коду показують обробку даних, налаштування та запуску навчальної роботи AI Sagemaker. Цей підхід демонструє, як практикуючі даних можуть підтримувати свою звичну налаштування розвитку, використовуючи керовані дані та ресурси AI у Unified Studio Sagemaker.

Відключення віддаленого доступу в Unified Studio Sagemaker

Як адміністратор, якщо ви хочете відключити цю функцію для своїх користувачів, ви можете застосувати її, додавши наступну політику до ролі IAM вашого проекту:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "DenyStartSessionForSpaces",
            "Effect": "Deny",
            "Action": [
                "sagemaker:StartSession"
            ],
            "Resource": "arn:aws:sagemaker:*:*:space/*/*"
        }
    ]
}

Прибирати

Sagemaker Unified Studio за замовчуванням вимикає простої ресурси, такі як Jupyterlab та редактор коду через 1 годину. Якщо ви створили уніфікований студійний домен Sagemaker для цілей цієї публікації, не забудьте видалити домен.

Висновок

Підключення безпосередньо до Amazon Sagemaker Unified Studio з локального IDE зменшує тертя переміщення між місцевим розвитком та масштабованими даними та інфраструктурою AI. Підтримуючи свої персоналізовані конфігурації IDE, це зменшує необхідність адаптації між різними середовищами розвитку. Незалежно від того, чи обробляєте ви великі набори даних, моделі навчальних фундаментів (FMS) або створюєте генеративні програми AI, тепер ви можете працювати з місцевої установки, отримуючи доступ до можливостей Unified Studio Sagemaker. Почніть сьогодні, підключивши місцевий IDE до Unified Studio Sagemaker, щоб впорядкувати робочі процеси обробки даних та прискорити свою розробку моделі ML.

Про авторів