Починаючи з сьогоднішнього дня, усі нові кластери Amazon Managed Streaming для Apache Kafka (Amazon MSK) Provisioned з посередниками Express підтримуватимуть інтелектуальне перебалансування без додаткових витрат. Завдяки цій новій можливості ви можете виконувати операції автоматичного балансування розділів під час масштабування кластерів Apache Kafka вгору або вниз. Intelligent Rebalancing максимізує використання потужності кластерів Amazon MSK за допомогою брокерів Express, оптимально перебалансовуючи ресурси Kafka на них для кращої продуктивності, усуваючи необхідність самостійного керування розділами або за допомогою інструментів сторонніх розробників. Інтелектуальне відновлення балансу на брокерах Amazon MSK Express виконує ці операції в 180 разів швидше порівняно зі стандартними брокерами.
Ми запустили брокерів Amazon MSK Express у листопаді 2024 року, щоб переосмислити Apache Kafka задля простоти використання, найкращої ціни в своєму класі та передбачуваної доступності. Брокери Amazon MSK Express створені для забезпечення в три рази більшої пропускної здатності для кожного брокера, масштабування до 20 разів швидше та скорочення часу відновлення на 90 відсотків порівняно з брокерами Standard, які використовують Apache Kafka. З моменту запуску ми розширили роботу брокерів Amazon MSK Express до додаткових регіонів AWS, типів екземплярів, а нещодавно розширили підтримку до 5 разів більшої кількості розділів на брокера Express, підвищивши ефективність ціни до 50% для робочих навантажень, пов’язаних із розділами.
Завдяки інтелектуальному перебалансуванню кластери брокера Amazon MSK Express постійно відстежуються на предмет дисбалансу ресурсів або перевантаження на основі інтелектуальних налаштувань Amazon MSK за замовчуванням, щоб максимізувати продуктивність кластера. За потреби брокери ефективно масштабуються, не впливаючи на доступність кластера для клієнтів для створення та споживання даних. Тепер клієнти можуть у повній мірі скористатися перевагами масштабування та продуктивності кластерів Amazon MSK Provisioned для брокерів Express, одночасно спрощуючи операції керування кластером.
У цій публікації ми представимо функцію інтелектуального відновлення балансу та покажемо приклад того, як вона працює для покращення продуктивності роботи.
Коли використовувати інтелектуальне відновлення балансу
Завдяки інтелектуальному перебалансуванню брокери Amazon MSK Express тепер пропонують повністю автоматизоване рішення для керування та масштабування кластерів Kafka, яке не потребує додаткових інструментів чи конфігурації. Інтелектуальне відновлення балансу ввімкнено за замовчуванням у всіх нових кластерах брокерів Amazon MSK Express, тому ми рекомендуємо завжди залишати його ввімкненим. Intelligent Rebalancing використовує найкращі практики Amazon MSK для запуску автоматичного відновлення балансу в таких ситуаціях:
- Масштабування кластерів: коли клієнти додають або видаляють брокерів зі своїх кластерів брокерів Amazon MSK Express, інтелектуальне відновлення балансу автоматично перерозподіляє розділи, щоб збалансувати використання ресурсів серед брокерів. Це гарантує, що кластер продовжує працювати з максимальною продуктивністю, що робить можливим масштабування за допомогою однієї операції оновлення.
- Відновлення рівноваги в стаціонарному стані: навіть під час нормальної роботи Intelligent Rebalancing постійно відстежує кластер брокерів Amazon MSK Express і запускає повторне балансування, коли виявляє дисбаланс ресурсів або гарячі точки. Наприклад, якщо певні брокери стають перевантаженими через нерівномірний розподіл розділів або спотворені моделі трафіку, інтелектуальне відновлення балансу автоматично перемістить розділи до менш використовуваних брокерів, щоб відновити баланс.
Як використовувати інтелектуальне відновлення балансу
Щоб продемонструвати потужність інтелектуального ребалансування, давайте запустимо кілька тестів на кластері брокерів Amazon MSK Express:
Тест масштабування: ми почнемо зі створення кластера брокерів Amazon MSK Express із 3 брокерами. Потім ми швидко розширимо кластер до 6 брокерів і знову зменшимо до 3 брокерів, імітуючи раптовий сплеск робочого навантаження. Якщо ввімкнути інтелектуальну перебалансування, ви побачите, що перебалансування розділів завершено протягом 5-10 хвилин, щоб кластер міг підтримувати збільшену пропускну здатність без будь-якого зниження продуктивності.
Ви можете відстежувати поточні та історичні операції ребалансування за допомогою метрики RebalanceInProgress. На зображенні нижче ви також можете побачити, що це перебалансування не впливає на клієнтів на стороні виробника.
Далі ми створимо дисбаланс у кластері, спрямувавши велику частину трафіку до одного брокера. Ви побачите, що інтелектуальна ребалансування виявляє цей дисбаланс протягом декількох хвилин і автоматично перерозподіляє розділи, відновлюючи кластер до оптимального стану.
Функція інтелектуального відновлення балансу виявляє гарячі точки та автоматично перерозподіляє уражені розділи між іншими посередниками для оптимізації використання ресурсів. Без інтелектуального ребалансування дисбаланс ресурсів зберігатиметься, що потенційно призведе до проблем із продуктивністю або потреби в ручному втручанні клієнта.
Ці тести демонструють, як інтелектуальне відновлення балансу за допомогою брокерів Amazon MSK Express дозволяє безперебійно масштабувати кластери Kafka, зберігаючи незмінно високу продуктивність навіть за різних умов робочого навантаження.
Висновок
Інтелектуальне відновлення балансу для підготовлених кластерів Amazon MSK із брокерами Express наразі розгортається протягом наступних кількох тижнів у всіх регіонах AWS, де підтримуються брокери Amazon MSK Express. Ця функція автоматично вмикається для всіх нових кластерів Amazon MSK Provisioned з посередниками Express без додаткових витрат.
Щоб почати, відвідайте консоль Amazon MSK. Щоб отримати додаткові відомості, перегляньте посібник розробника Amazon MSK.
Про авторів