Категорія: Великі Дані та Аналітика

Передача даних до централізованих об’єктів більше не працює в галузях, де є великі обсяги безперервних потокових даних. Тут може допомогти адаптивний граничний інтелект.

У галузях, які дедалі частіше приймаються рішення в реальному часі, наприклад у виробництві, транспорті, телекомунікаціях, громадській безпеці тощо, дані більше не створюються випадковими пакетами. Він надходить постійно та у великих масштабах від датчиків, машин, мобільних ресурсів і цифрових програм. Хоча централізація цих даних у хмарі чи центрі обробки даних для аналізу колись здавалася ефективною, обсяг, швидкість і критичність сучасних потоків даних виявили серйозні обмеження традиційного підходу транзитного зв’язку.

Протягом багатьох років організації, які регулярно мають справу з такими потоками даних і хочуть використовувати дані для аналізу в реальному часі, переносять аналіз цих даних на край, де вони створюються. У міру того, як обсяги даних і темпи генерування даних зростають, багато організацій все частіше надають своїм периферійним системам розширений інтелект, щоб адаптовано реагувати на дані, отримані в результаті аналізу в реальному чи майже в реальному часі.

Дивіться також: Поза межами затримки: наступний етап адаптивного граничного інтелекту

Обмеження передачі даних

Передача даних до централізованих установ мала практичне застосування протягом десятиліть, коли обсяги даних і швидкість їх генерування були скромними. Дані зберігатимуться та аналізуватимуться для негайних дій або для розуміння історичних тенденцій.

Ця модель більше не працює в галузях, де є великі обсяги безперервних потокових даних. Деякі галузі, які постраждали, включають:

• Організації фінансових послуг намагаються працювати з нескінченними потоками транзакційних даних.
• Компанії-виробники намагаються зрозуміти IoT та інші дані датчиків з обладнання на виробничих лініях.
• Інтернет-магазини намагаються скористатися моментом і представити клієнтам відповідні товари на своєму сайті.
• Автономні транспортні засоби намагаються інтерпретувати відеопотоки, щоб уникнути перешкод на дорозі та дотримуватися правил дорожнього руху.

У цих та інших випадках однією з найбільш нагальних проблем із транспортуванням даних є перевантаження мережі. Джерела високочастотних даних, такі як датчики IoT, канали HD-відео, автономні системи або промислове обладнання, можуть створювати гігабайти або навіть терабайти даних на годину. Спроба спрямувати це в центральне місце напружує доступну пропускну здатність, збільшуючи витрати та знижуючи загальну продуктивність мережі. Оновлення пропускної здатності допомагає, але погано масштабується, що призводить до вищих витрат.

Тоді є затримкаякий є тихим вбивцею швидкості реагування в режимі реального часу. Коли необроблені дані повинні пройти великі відстані для обробки, затримка в обігу може зробити аналітичну інформацію застарілою до того часу, коли аналітичні системи оброблятимуть її. У сценаріях, важливих для безпеки або чутливих до часу, таких як виявлення несправностей у комунальних послугах, контроль якості на виробничих лініях або прогнозне обслуговування транспортних парків, мілісекунди мають значення. Централізована архітектура обробки просто не може гарантувати детерміновану продуктивність.

Ще одне питання, яке часто забувають неефективність витрат. Хмарне зберігання, плата за передачу даних і обчислювальні ресурси стають дорогими, коли великі набори даних постійно переміщуються. Багато організацій вважають, що вони платять за зберігання та аналіз даних, які є зайвими, малоцінними або нерелевантними. Насправді регулярні дослідження показують, що більшість необроблених даних датчиків ніколи не використовуються, але вони все одно спричиняють повні витрати на транспортування та зберігання під час зворотного зв’язку.

Ризики безпеки та конфіденційності також зростають із збільшенням обсягу даних. Переміщення невідфільтрованих даних через глобальні мережі розширює поверхню атаки та вимагає суворого шифрування, моніторингу та контролю відповідності. Конфіденційні дані, як-от інформація про місцезнаходження, операційна телеметрія або моделі використання клієнтами, можуть мати нормативні наслідки під час передачі через регіони чи межі хмари. Для деяких галузей промисловості лише це робить централізований зворотний зв’язок непрактичним.

Нарешті, централізовані архітектури обмежують стійкість. Якщо з’єднання втрачається або продуктивність знижується, системи, які залежать від хмари для аналітики, можуть не приймати своєчасних рішень. Це неприйнятно в периферійних середовищах, таких як віддалені операції з видобутку корисних копалин, морські енергетичні платформи, розумні мережі або транспортні системи, які не можуть призупинити роботу, доки мережа не відновиться.

Ближчий погляд на проблеми транспортування даних

Коротше кажучи, у міру поширення систем реального часу аналітика та прийняття рішень повинні бути ближче до джерела події, підтримувати стан, виконуватися з мінімальною затримкою та повною узгодженістю.

Недавній дослідник розглянув проблеми з транспортуванням даних у перспективі та обговорив, як адаптивні периферійні інтелектуальні системи їх усувають.

У блозі зазначено, що хоча централізована обробка даних пропонує певну зручність управління, вона несе значні приховані витрати. До них відносяться витрати на високу пропускну здатність і зберігання, пов’язані з транспортуванням і розміщенням великих наборів даних, збільшення споживання енергії та пов’язаний з цим вуглецевий слід, проблеми з затримкою та надійністю мережі (особливо для додатків у режимі реального часу), а також більший ризик поодиноких збоїв, коли вся обробка залежить від централізованої інфраструктури.

Щоб подолати ці проблеми, організації зміщують інтелектуальні можливості: обробляють і фільтрують дані ближче до їх джерела, щоб наверх надсилалася лише значима скорочена інформація. Така нативна модель знижує витрати на передачу та зберігання, суттєво зменшує затримку, покращує експлуатаційну стійкість і забезпечує екологічніші та екологічніші архітектури.

Заключне слово

Оскільки організації використовують більше автоматизації, штучного інтелекту та автономних операцій на межі, модель доставки всього в центр обробки даних стає все більш нежиттєздатною. Майбутнє — за гібридними та периферійними архітектурами, де дані обробляються локально, зменшуються або збагачуються в джерелі, а лише високоцінні результати або агрегати надсилаються наверх.

Наука про систему Землі є надзвичайно інтенсивною областю даних. Передача даних на всьому шляху від ранніх етапів розробки моделі системи Землі до рук різних співробітників і партнерів для використання в різних областях і зрештою для публікації є серйозною справою. Навіть коли ці дані стають доступними, виникає додаткова проблема щодо виявлення даних, пошуку конкретних даних, які стосуються вашої роботи. На щастя, є тип технології, який може як допомогти в конвеєрах публікації даних, так і покращити видимість – каталоги даних.

Каталоги даних — це бази даних із можливістю пошуку, у яких доступні набори даних, їхні метадані та де вони зберігаються. У науках про Землю використовуються дві популярні технології каталогів: Intake catalogs і SpatioTemporal Asset Catalogs (STAC). Вхідні каталоги зараз використовуються в різних конвеєрах Лабораторії геофізичної динаміки рідин (GFDL), але потужність і жвава екосистема, яку забезпечують STAC, дають можливість масштабувати та покращувати видимість. У першій частині цього виступу ми порівняємо ці технології, продемонструємо потужність STAC і пояснимо, чому ми рухаємося до STAC як основи для виявлення даних у GFDL. У другій частині цього виступу детально розглянемо унікальний конвеєр публікації даних і покажемо, як ми можемо використовувати потужність каталогів даних для покращення наших процесів.

біографія

Арія Радік, інженер-програміст у SAIC, працює в групі з обробки даних у Геофізичній лабораторії гідродинаміки (GFDL) Національного управління океанічних і атмосферних досліджень (NOAA). Арія зосереджується на науці про дані та оптимізації аналізу даних, і вона захоплена програмним забезпеченням із відкритим кодом і відкритим доступом до даних. Вона вважає, що покращення доступності інструментів і даних не тільки покращує відтворюваність наукових результатів, але й дає змогу більшій кількості людей у ​​всьому світі та в різних наукових дисциплінах колективно використовувати їх для вдосконалення нашого спільного розуміння клімату Землі. Щоб досягти цієї мети, вона розробляє та покращує конвеєр публікації даних, щоб полегшити відкритий доступ до даних земної системи та створює систему в GFDL для каталогізації цих даних і полегшення їх пошуку. У 2024 році Арія отримала ступінь доктора філософії з теоретичної фізики елементарних частинок в Університеті Орегону.

---

Дізнайтеся про головні новини та події у сфері фінтех!

Підпишіться на розсилку FinTech Weekly

Читають керівники JP Morgan, Coinbase, Blackrock, Klarna тощо

---

JPMorgan переходить до формалізації економіки обміну даними

JPMorgan Chase уклав угоди з кількома великими агрегаторами даних, які запровадять платний доступ до інформації про банківські рахунки клієнтів, знаменуючи вирішальну зміну в тому, як фінансовий сектор США обробляє потоки даних третіх сторін. Ці угоди, укладені після тижнів переговорів, дають найбільшому банку країни нову лінію доходів від підключення до даних і сигналізують про те, що відкриті банкінги в Сполучених Штатах переходять у фазу більш комерціалізації.

За даними банку, домовленості були завершені з Plaid, Yodlee, Morningstar і Akoya. Ці фірми знаходяться між фінансовими установами та фінтех-компаніїзабезпечуючи канали, через які додатки для бюджетування, платіжні сервіси та цифрові фінансові інструменти взаємодіють із обліковими записами споживачів.

Протягом багатьох років цей доступ був безкоштовним для агрегаторів. Банки стверджували, що така динаміка створила дисбаланс: установи підтримували інфраструктуру та рівні безпеки, тоді як треті сторони створювали продукти на основі цих даних, не розділяючи операційного тягаря. Нові угоди змінюють цю структуру, вводячи ціни, які відображають погляд банку на дані як на послугу з вимірною цінністюд.

Ринок, який тихо переоцінював себе

Зсув не відбувся ізольовано. Це слідує за періодом публічних дебатів щодо вартості підключення до даних, що неодноразово з’являлося в аналізі по всьому світу. фінтех сектора. Протягом останніх місяців перевірка посилилася, оскільки банки, фінтех-компанії та регулятори зважували наслідки зростання вартості доступу до даних — тема, яка детально досліджувалася в попередніх галузевих дискусіях про зростаючі фінансові та операційні вимоги до посередників.

Переходячи до платної моделіJPMorgan підтверджує позицію, що відкриті банкінги не є безкоштовною інфраструктурою. Позиція банку відображає занепокоєння інших великих установ: передача даних потребує інвестицій у кібербезпеку, підтримку API та контроль шахрайства, і все це несе матеріальні витрати. Нова модель сигналізує про більш чіткий розподіл цих обов’язків.

Джерела, знайомі з переговорами, повідомили, що JPMorgan знизив свою початкову цінову пропозицію, а агрегатори отримали більшу ясність щодо того, як оброблятимуться запити на дані. Цей баланс дозволив обом сторонам досягти домовленостей після тривалих переговорів.

Зіткнення між ринковими силами та регулюванням

Терміни цих угод є значними. Правило відкритого банківського обслуговування Бюро захисту прав споживачів, запроваджене під час попередньої адміністрації, створило очікування вільного перенесення даних. Це правило визначило обмін даними, спрямований на споживача, як право, яке має реалізовуватися без плати, що спонукало фінтех-компанії передбачати середовище, де доступ буде безкоштовним і стандартизованим.

Банки заперечували, що така модель недооцінює ризики безпеки та операційне навантаження, пов’язане з великомасштабними потоками даних.. Вони поставили під сумнів повноваження CFPB і стверджували, що безкоштовний мандат створює нерівномірну систему, в якій установи несуть повну вартість захисту даних. Нормативна дискусія швидко стала точкою напруги.

Цього року CFPB почав переробляти свою структуру після тиску з боку керівників фінансових технологій, засновників криптовалют та учасників індустрії, які прагнули більш чітких правил і більш ефективних визначень. Майбутнє регулювання залишається невизначеним, і останні угоди між JPMorgan і агрегаторами зараз перебувають у тій сірій зоні — період, коли національний звід правил переглядається, але сам ринок уже адаптується.

Політичне середовище додає складності

За нинішньої адміністрації сигнали неоднозначні. Ранні повідомлення були узгоджені з банками, які хотіли відкласти або скасувати правило. Пізніше офіційні особи зайняли більш нейтральну позицію, визнаючи, що зміни в секторі цифрових фінансів вимагають оновлених інструкцій. Виникла невизначеність змусила банки та фінтех-компанії вагатися щодо довгострокових зобов’язань.

На цьому тлі підхід JPMorgan підкреслює, як приватні угоди можуть заповнити порожнечу, тоді як федеральні стандарти залишаються неврегульованими. Ці угоди створюють шлях для доступу до даних, який регулюється не нормативними актами, а комерційними умовами, узгодженими безпосередньо між гравцями галузі.

Фінтех-компанії повинні адаптуватися до нової структури витрат

Для фінтех-компаній результат змінює середовище, в якому вони працюють. Багато побудованих моделей на очікування, що підключення до даних залишатиметься недорогим або безкоштовним. Запровадження платного доступу змушує переглянути структуру витрат, особливо для додатків, які покладаються на часте оновлення великих обсягів даних.

Сектор фінансових технологій уже стикається зі зростанням операційних витрат, питання, яке детально розглядалося в попередніх роздумах, аналізуючи комплексний ефект комісії, оновлення відповідності та потреб у інфраструктурі. Нова модель JPMorgan додає ще один елемент до цього рівняння.

Керівникам фінансових технологій тепер потрібно буде визначити, які послуги можуть покрити нові витрати, які вимагають редизайну та які можуть зіткнутися зі змінами цін для споживачів. Для деяких компаній на ранній стадії перехід може прискорити пошук прямих зв’язків з банками або підштовхнути їх до пошуку партнерських відносин, які обмежують обсяг збору даних.

Чому банки кажуть, що система потребує редизайну

Банки стверджують, що компенсований доступ може призвести до більш стабільного та безпечного середовища. Вони стверджують, що передбачуваний дохід, пов’язаний із з’єднаннями для передачі даних, підтримає інвестиції в системи API, інструменти шахрайства та можливості моніторингу, які захищають як установи, так і споживачів. Кредитори також вважають, що чітке ціноутворення може зменшити навантаження на інфраструктуру, перешкоджаючи непотрібним або надлишковим викликам даних.

Угоди між JPMorgan і агрегаторами свідчать про те, що ринок починає зближуватися з таким підходом. Замість того, щоб чекати, поки федеральне законодавство врегулює це питання, установи та посередники розробляють власну версію відкритого банківського обслуговування — таку, яка позиціонує доступ до даних як економічну послугу, а не як зобов’язання.

Що буде далі

Ці угоди піднімають ширше питання про те, як розвиватиметься відкрита банківська справа в Сполучених Штатах. Якщо більше банків приймуть подібні структури ціноутворення, фінтех-компанії можуть зіткнутися з ландшафтом, визначеним не регулюванням, а двосторонніми комерційними домовленостями. Це може призвести до фрагментації, якщо ціноутворення суттєво різниться в різних установах.

Крім того, ці угоди можуть створити шаблон, який стане ринковим стандартом, забезпечуючи передбачуваність, яка, за словами фінтех-компаній і банків, їм потрібна.

Для споживачів безпосередній досвід залишається незмінним: додатки для бюджетування, платіжні інструменти та фінансові послуги продовжують працювати, як і раніше. Однак з часом вартість доступу до даних може вплинути на те, які продукти є життєздатними та яким функціям платформи надають пріоритет.

Оскільки національний звід правил переписується, галузь, здається, рухається вперед сама по собі. Крок JPMorgan є чітким повідомленням: ера вільного, необмеженого доступу до даних закінчується, і економіка відкритого банківського обслуговування в Сполучених Штатах переосмислюється з нуля.

Примітка редактора: Це перша з періодичної серії, яка розглядає аспекти економіки Колорадо, що похитується.

---

Економіка Колорадо блимає попереджувальними знаками. Зростання кількості робочих місць різко сповільнилося. Звільнення потроху зростають. На ринку житла спостерігається спад. І штат, і його найбільший населений пункт намагаються закрити величезні бюджетні діри. І не так багато людей хочуть сюди переїхати. На додачу до всього, найдовша зупинка роботи уряду в історії лягла на економіку.

Однак велике питання полягає в тому, чи всі похмурі дані вказують на щось більш серйозне: рецесію. І відповідь складна.

Жодних жорстких правил щодо рецесії немає, але є позапартійна дослідницька організація, яка діє як офіційний арбітр щодо рецесій у США — Національне бюро економічних досліджень. Вони кажуть, що рецесія – це «значне зниження економічної активності, яке поширюється по всій економіці та триває більше кількох місяців».

Є також кілька часто цитованих показників рецесії. Економісти часто використовують два квартали поспіль негативного зростання валового внутрішнього продукту як параметр рецесії. Але це лише один спосіб побачити це. І це не має особливого значення для більшості людей у ​​повсякденному житті.

Що думають державні експерти?

Відповідно до прогнозу керівника бюджету Марка Феррандіно, Управління державного планування та бюджетування штату Колорадо оцінює шанси на початок рецесії наступного року на рівні 50 відсотків. Аналіз, представлений законодавцям штату у вересні, вказує на те, що тарифи президента Дональда Трампа є найбільшим ризиком підвищення шансів на рецесію.

Мита вдарили по широких секторах економіки Колорадо. Будівництво, сільське господарство та передове виробництво, як-от аерокосмічна галузь, знаходяться безпосередньо в центрі торгової війни Трампа. Водночас невизначеність, спричинена постійними змінами підходу до тарифів, є проблемою практично кожного бізнесу.

Фірмова економічна політика Трампа оскаржується в суді групою штатів і малих підприємств. Минулого тижня Верховний суд США заслухав усні аргументи у цій справі, і рішення може бути винесене протягом кількох тижнів. Тим часом підприємства вже починають перекладати вищі податки на імпорт на своїх клієнтів, зазначає прогноз бюджетного офісу Колорадо. Офіс очікує, що покупці почнуть відступати на початку наступного року, що негативно вплине на прибутки бізнесу та плани найму.

Новини Харта Ван Денбурга/СЛР

Інші потенційні перешкоди для економіки штату включають федеральну імміграційну політику та уповільнення туризму, якщо іноземні гості вирішать не їхати до США, зазначає прогноз.

«Ми спостерігаємо підвищений ризик національної рецесії, оскільки тарифні податки Трампа створюють реальні витрати та невизначеність для компаній і всієї економіки», — сказав Шелбі Віман, речник губернатора Джареда Поліса. «Ми продовжуємо уважно стежити за всіма показниками рецесії та матимемо оновлений прогноз у грудні».

Офіс Поліса відмовився дозволити Фернандіно відповісти на запитання щодо прогнозу рецесії.

Вакансії

Для більшості людей їхня зарплата є найважливішим показником у визначенні міцності економіки. Колорадо все ще додає робочі місця, але ледве.

Зростання робочих місць по всій країні почало сповільнюватися на початку цього року в той самий час, коли непередбачувана торгова політика Трампа збурила бізнес-ландшафт. США втратили робочі місця в червні вперше з грудня 2020 року. Поки рано говорити, чи це був місячний спалах, чи вказівка ​​на стійку тенденцію.

Прямо зараз економісти та політики дивляться наосліп через припинення роботи федерального уряду. Співробітники Бюро статистики праці США, відповідальні за щомісячний звіт про робочі місця, були звільнені. Останні доступні дані датуються серпнем. Незрозуміло, коли будуть доступні дані про нові вакансії. Як і всі інші у федеральному уряді, BLS має багато роботи, яку потрібно виконати.

Але тріщини з’явилися на ринку праці Колорадо задовго до того, як Трамп склав присягу на свій другий термін у січні. За даними Федерального резервного банку Канзас-Сіті, на початку 2024 року рівень безробіття в Колорадо перевищив рівень безробіття в США вперше після нафтового спаду в 1980-х роках. Рівень безробіття в штаті більше року залишався вищим за середній по країні. Останніми місяцями курс Колорадо знизився і наразі трохи нижчий за курс США.

Колорадо продовжує додавати робочі місця повільніше, ніж США в цілому, тенденція, яка почалася на початку минулого року. Згідно з останніми даними Бюро статистики праці США, за 12 місяців, що закінчилися в серпні, ринок праці в Колорадо зріс на 0,6 відсотка порівняно з 0,9 відсотка в США. Рейтинг Колорадо серед 50 штатів падає. У 2019 році штат Колорадо був 6-м у країні за зростанням кількості робочих місць. У 2024 році він був 22-м. За попередніми даними, на початку цього року штат Колорадо опустився на 47 місце.

Новини Харта Ван Денбурга/СЛР

Важко точно визначити, чому саме ринок праці Колорадо сповільнюється порівняно з іншими штатами. Федеральний резервний банк Канзас-Сіті вказує на слабкість найму будівельників і технологій як на винуватців занепаду найму штату.

За словами Тіма Вонхоффа, директора відділу трудової інформації департаменту праці Колорадо, високоосвічена робоча сила Колорадо може стати перешкодою в нинішніх умовах, особливо в світлі звільнень у технологічному секторі за останній рік або близько того. Наявність більшої кількості технічних працівників зробила економіку штату більш схильною до цих звільнень.

«Деякі речі, які допомагають Колорадо в періоди підйому, можуть бути менш корисними для Колорадо в часи, коли відбувається менше», — сказав він.

Частково це може бути тому, що інші країни просто наздоганяють, вважає економіст МС Браян Левандовскі. Колорадо додавало робочі місця швидше, ніж США, протягом більшої частини останнього десятиліття.

«Після виходу з Великої рецесії економіка Колорадо була на справжньому розриві, і справді тривалому розриві», — сказав Левандовскі. «У нас було таке стійке високе зростання так довго, тоді як інші штати відставали у своєму відновленні… і 1763135713 вони демонструють вищі темпи зростання, ніж ми».

Звільнення

Один зі способів перевірити здоров’я ринку праці – це сповіщення про адаптацію та перепідготовку працівників, або WARN. Кожна компанія, яка має принаймні 100 співробітників, зобов’язана подати заяву WARN до штату, якщо вона має намір звільнити 50 або більше працівників.

Це не ідеальний показник, оскільки він не охоплює малий бізнес і менші скорочення робочих місць. Але він надає широкий контекст. Показники WARN у Колорадо невпинно зростають з 2023 року. Але вони не підвищувалися. Таких сповіщень було частіше в цей час у 2016 році під час різкого падіння цін на нафту, що призвело до втрати робочих місць в енергетичному секторі.

Новини Харта Ван Денбурга/СЛР

«Хоча ми спостерігаємо повільне зростання кількості робочих місць, ми також не бачимо швидкого погіршення ситуації на ринку праці», – сказав Левандовскі. «Я думаю, що це відповідає тому, що ми чуємо в країні, де роботодавці можуть не додавати стільки працівників, але вони також не відпускають своїх працівників».

Індекс довіри

Споживча впевненість є одним із найбільш уважних показників для економістів, які хочуть заздалегідь зрозуміти, куди рухається економіка. Він приймає температуру вібрацій. Якщо люди з оптимізмом дивляться на своє фінансове майбутнє, вони, швидше за все, будуть витрачати гроші, таким чином підтримуючи економіку. Якщо вони нервують, вони відмовляться від витрат, що гальмує. Це свого роду пророцтво, що самореалізується.

Серед найбільш цитованих показників того, як люди в США ставляться до грошей, є щомісячний індекс споживчої довіри Conference Board. Колорадо входить до Індексу гірських регіонів, до якого також входять Арізона, Айдахо, Монтана, Невада, Нью-Мексико, Юта та Вайомінг. Жителі гірських штатів почуваються досить добре щодо того, де вони зараз, і досить погано щодо того, що вони очікують, що станеться протягом наступних шести місяців.

У жовтні респонденти висловлювали значно більший настрій щодо майбутнього, ніж на початку року.

Жителі тихоокеанського регіону, який охоплює Аляску, Каліфорнію, Гаваї, Орегон і Вашингтон, найбільш песимістичні щодо економіки. Найбільш оптимістичні люди, згідно з дослідженням Conference Board, живуть в Алабамі, Кентуккі, Міссісіпі та Теннессі.

Ринок житла

У багатьох районах США ринок житла млявий, оскільки високі процентні ставки та високі ціни ускладнюють придбання житла. За даними компанії CoStar, що займається даними про нерухомість, наразі Денвер є одним із найповільніших великих міст США з точки зору продажу житла.

За словами ріелтора з Денвера Купера Тайєра, справа не лише в Денвері — непродані будинки накопичуються по всьому штату.

«Найбільший заголовок цього року — це просто більше запасів, ніж ми мали приблизно за 13 років», — сказав Теєр. «Це всюди, в країні, але особливо поширене тут, у Колорадо».

На кінець жовтня по всьому штату було виставлено на продаж 30 803 будинки — у 2022 році їх було 19 125.

“На ринок не обов'язково з'являється більше оголошень. Наші нові показники оголошень залишаються неймовірно стабільними. Отже, очевидно, причиною цього є те, що будинки залишаються на ринку довше… Це не обов'язково більше людей, які вирішують продати, це менше покупців, які вирішують купити”, – сказав Теєр.

Новини Харта Ван Денбурга/СЛР

За словами Теєра, доступність є частиною того, що стримує угоди. За його словами, навіть поки будинки залишаються на ринку, ціни на житло не впали до того, що готові платити покупці.

“Доступність є однією з найбільших проблем. І причина того, що у нас не так багато доступного житла, полягає в тому, що ми просто не маємо житлового фонду початкового рівня… Нам потрібно більше розвивати житло початкового рівня для продажу, і ми робимо кроки в цьому напрямку”, – сказав Теєр.

Отже, чи схоже на застійний ринок житла рецесію? Теєр не вважає, що дані поки що підтверджують це. За його словами, найбільшим тривожним сигналом стане те, що ціни на житло почнуть щорічно падати.

Він також стежить за тим, як довго будинки стоять на ринку. Продаж будинку в Колорадо займає більше часу, ніж кілька років тому. Але це ще далеко не те, що було під час рецесії, спричиненої житловою кризою, сказав Теєр. За його словами, у 2011 році середній будинок був на ринку 120 днів.

«Якби ми побачили значний сплеск до 80-100 днів у середньому по штату, це означало б для мене, що ми стикаємося з реальними проблемами», — сказав Теєр.

Заробітна плата

Колорадці відстають від решти нації, коли мова заходить про оплату. За даними Управління державного планування та бюджету штату Колорадо, останні дані свідчать про зростання особистих доходів США на 4,7 відсотка порівняно з 4,3 відсотка в Колорадо. Офіс прогнозує, що жителі Колорадо завершать 2025 рік із зростанням заробітної плати на 4,2 відсотка проти 4,3 відсотка в США. Бюджетні чиновники очікують, що наступного року зростання заробітної плати в Колорадо сповільниться до 3,8 відсотка.

Новини Харта Ван Денбурга/СЛР

ВВП

ВВП, загальна сума всіх товарів і послуг, вироблених за певний період часу, є важливим показником, навіть якщо він нематеріальний для більшості людей. Якщо це число падає, економіка, ймовірно, також падає.

“Я вважаю, що ВВП як індикатор справді вловлює багато інших сигналів. Тож якщо ми маємо від’ємне зростання зайнятості, падіння доходів, різке падіння роздрібних продажів чи зупинку інвестицій, це все компоненти, які входять у ВВП”, – сказав Левандовскі з CU.

Одним із недоліків використання ВВП як засобу для визначення рецесії є те, що для отримання даних потрібен деякий час. Востаннє ВВП розраховували за другий квартал, тобто з квітня по червень. Для США ВВП зріс на 3,8 відсотка. У Колорадо зростання склало 3,5 відсотка.

Багато чого сталося з червня, але показники ВВП будуть оновлені лише в грудні.

Останні дії міської ради Нью-Йорка найближчим часом збільшать зобов’язання для роботодавців Нью-Йорка: Int. № 0982-2024 і 0984-2024 вимагатиме від певних приватних роботодавців подавати щорічні дані про заробітну плату та демографічні дані для використання в аналізі рівності в оплаті праці, тоді як поправки до міського Закону про зароблені безпечні та лікарняні часи, які набудуть чинності в лютому 2026 року, розширять права працівників і приведуть місцеві вимоги у відповідність із законодавством штату.

РАДА ПРИЙНЯЛА ЗМІНИ ЩОДО ОБОВ’ЯЗКОВОГО ПОДАВАННЯ ДАНИХ ПРО ОПЛАТУ РОБОТОДАВЦІВ

9 жовтня 2025 року міська рада Нью-Йорка ухвалила два законопроекти, Int. No 0982-2024 та Міжн. № 0984-2024, згідно з яким приватні роботодавці з 200 або більше співробітниками в Нью-Йорку повинні подавати щорічні дані про зарплату та демографічні дані для своїх працівників у місті Нью-Йорк.

Тоді місто Нью-Йорк використовуватиме дані для проведення аналізу рівності в оплаті праці, щоб виявити будь-які відмінності, пов’язані зі статтю, расою та етнічною приналежністю серед працівників. Законопроекти були прийняті переважною більшістю голосів, достатньою, щоб пережити вето, накладене мером Адамсом на законопроекти 7 листопада. Міська рада офіційно отримає право вето під час офіційного засідання 12 листопада та матиме 30 днів після цього, щоб подолати їх.

Міжн. No0982-2024

Відповідно до міжн. № 0982-2024, мер Нью-Йорка повинен призначити міське агентство, якому буде доручено збирати дані про рівність оплати праці протягом одного року з моменту набрання чинності законом. Після того, як агентство буде призначено, воно матиме один рік, щоб розробити стандартизовану форму для роботодавців, щоб повідомляти демографічні дані та дані про оплату праці.

Подібно до збору даних про оплату праці, доданого до федерального звіту EEO-1 у 2017 та 2018 роках (відомий як звіт «Компонент 2»), охоплені роботодавці в Нью-Йорку повинні повідомляти дані, які включають зарплати та ставки оплати праці працівників, розбиті за посадою, статтю та расовою/етнічною приналежністю. Агентство, призначене мером, буде уповноважене вносити зміни до вимог до звітності, включаючи включення варіантів звітності для різних гендерних ідентичностей.

Протягом одного року після публікації уповноваженим агентством стандартизованої форми, а потім щорічно, приватні роботодавці, які мають принаймні 200 працівників (включаючи повний робочий день, неповний робочий день і тимчасових працівників) у Нью-Йорку, повинні будуть повідомляти агентству необхідні демографічні дані та дані про оплату праці.

Хоча роботодавці мають можливість подати звіт анонімно, вони також повинні будуть окремо подати підписану заяву до уповноваженого органу, яка ідентифікує роботодавця та підтверджує подання та точність звіту.

У разі порушення законодавства роботодавці будуть піддані наступним цивільним покаранням:

• За перше порушення роботодавець отримає лише письмове попередження та можливість виправитися, надавши необхідні дані протягом 30 днів. Якщо роботодавець не вилікується, на нього буде накладено цивільний штраф у розмірі 1000 доларів США.
• За наступні правопорушення на охопленого роботодавця буде накладено цивільний штраф у розмірі 5000 доларів США.

Уповноважена агенція публікуватиме на своєму веб-сайті щорічний список із зазначенням охоплених роботодавців, які вчасно не подали звіт про оплату праці після 30-денного періоду лікування.

Міжн. No0984-2024

Протягом одного року після надання роботодавцями необхідних даних, а потім щорічно, уповноважена агенція повинна буде проводити дослідження рівності в оплаті праці у зв’язку з Комісією міста Нью-Йорка з гендерної рівності та іншими призначеними агенціями, щоб визначити будь-яку різницю в оплаті за статтю, расою чи етнічною приналежністю, а також визначити галузі, де переважають нерівності.

Протягом шести місяців уповноважена установа представить висновки Раді та меру з рекомендаціями щодо усунення будь-яких виявлених розбіжностей. Уповноважена агенція також опублікує зведені дані таким чином, щоб не розкривати ідентифікаційну інформацію роботодавця чи працівника.

Висновок

Прийнявши ці закони, Нью-Йорк приєднається до Каліфорнії, Іллінойсу та Массачусетсу, вимагаючи від роботодавців повідомляти дані про зарплату. Кожна юрисдикція має різні вимоги до звітності, і роботодавці з кількома штатами, які працюють у цих юрисдикціях, повинні розуміти різні вимоги, щоб забезпечити відповідність.

Готуючись до вимог щодо звітності, роботодавці міста Нью-Йорк повинні ретельно оцінити та перевірити свою практику компенсації та рішення, щоб забезпечити дотримання федерального, державного та місцевого законодавства.

РАДА РОЗШИРЮЄ ЗАКОН ПРО БЕЗПЕЧНИЙ ЧАС ТА ХВОРЮВАННЯ

Міська рада Нью-Йорка схвалила значні поправки до міського Закону про безпеку та лікарняний час (ESSTA), розширюючи права працівників і узгоджуючи місцеві вимоги із законодавством штату. Законопроект, місцевий закон 145, набув чинності 25 жовтня 2025 року та набуде чинності 22 лютого 2026 року.

Згідно з чинним законом, ESSTA вимагає від роботодавців надавати працівникам 40 або 56 годин оплачуваної відпустки/відпустки через хворобу щорічно, залежно від розміру роботодавця. Змінений закон вносить кілька ключових змін.

По-перше, роботодавці Нью-Йорка повинні надати працівникам 32 години неоплачуваної відпустки/відпустки через хворобу замість двох днів, які раніше були доступні відповідно до Закону про тимчасову зміну розкладу (TSCA). Закон також розширює використання відпусток згідно з ESSTA, кодифікує державні права на оплачувану допологову відпустку та роз’яснює, як колективні договори можуть скасувати певні зобов’язання ESSTA.

Збільшена відпустка без збереження заробітної плати

Найпомітнішою зміною для багатьох роботодавців є створення нового 32-годинного неоплачуваного пільгового/лікарняного. Роботодавці повинні використовувати цей час на початку працевлаштування та на початку кожного календарного року. На відміну від існуючих оплачуваних нарахувань ESSTA, ці неоплачувані години не переносяться на наступний рік.

Роботодавці, які вже надають необхідні 40 або 56 годин оплачуваної відпустки плюс додаткові 32 години оплачуваної або неоплачуваної відпустки, не повинні будуть надавати додаткові 32 години неоплачуваної лікарняної/безпечної відпустки; однак параметри додаткової відпустки повинні відповідати вимогам використання ESSTA.

Ця вимога фактично додає третю категорію відпустки для роботодавців у Нью-Йорку: (1) оплачувані години ESSTA залежно від розміру роботодавця, (2) новий неоплачуваний 32-годинний банк і (3) 20 годин оплачуваної допологової відпустки. Кожна категорія має унікальні правила початкового завантаження, перенесення та використання.

Розширення використання ESSTA

Зміни розширюють перелік кваліфікуючих причин, за яких працівники можуть використовувати як оплачувані, так і неоплачувані лікарняні та лікарняні. На додаток до існуючих випадків, працівники тепер можуть брати відпустку з таких причин:

• Для забезпечення догляду за неповнолітньою дитиною або піклувальником
• Вирішувати проблеми, пов’язані з прожитковими допомогами та житлом (наприклад, підготовка та участь у судових розглядах) для себе, членів сім’ї чи осіб, які опікуються
• Реагувати на суспільне лихо
• Реагувати на насильство на робочому місці

Ці зміни розширюють сферу дії ESSTA, щоб охопити сімейні обставини та обставини, пов’язані з безпекою, які раніше були поза межами її досяжності.

Кодифікована допологова відпустка

Міська рада офіційно включила вимогу штату щодо оплачуваної допологової відпустки до місцевого законодавства, яке набуло чинності 1 січня 2025 року. Як було зазначено в нашому попередньому LawFlash, штат Нью-Йорк вимагає від роботодавців надавати 20 годин оплачуваної допологової відпустки протягом будь-якого 52-тижневого періоду. Передпологова відпустка надається в перший день працевлаштування і може бути використана з почасовими кроками для відповідних медичних послуг, пов’язаних з вагітністю, таких як обстеження, тестування або лікування.

Поправки Нью-Йорка узгоджують ESSTA з цією вимогою на рівні штату, уточнюючи, що оплачувана допологова відпустка відрізняється від безпечної та лікарняної.

Виняток з колективного договору

Поправки окреслюють обставини, за яких колективний договір може відмовитися від вимог ESSTA для профспілкової робочої сили. Колективний договір може відмовлятися від положень закону лише в тому випадку, якщо це чітко робиться та передбачає «вищі або порівняльні переваги». Однак неоплачувана відпустка не є порівнянною виплатою для цілей оплачуваної відпустки/відпустки через хворобу або оплачуваної допологової відпустки.

Приведення у відповідність із Законом про тимчасові зміни розкладу

Місцевий закон 145 також вносить поправки до TSCA, щоб узгодити цей акт із міськими вимогами щодо безпеки та лікарняних. Відповідно до старого TSCA, працівники мали право на два робочих дні на рік затверджених тимчасових змін у графіку для особистих подій. Поправки скасовують це автоматичне надання прав.

Працівники зберігають право вимагати зміни графіка, але роботодавці більше не зобов’язані їх надавати. Роботодавці повинні відповісти «якнайшвидше» та можуть запропонувати альтернативну тимчасову зміну.

Що далі?

Роботодавці в Нью-Йорку повинні розглянути можливість вжиття таких кроків в очікуванні дати набрання чинності поправками ESSTA 22 лютого:

• Підтвердьте, що правила оплачуваної та неоплачуваної відпустки відповідають новій вимозі 32-годинної неоплачуваної відпустки, і що працівники можуть використовувати таку відпустку для всіх цілей, передбачених ESSTA
• Навчіть керівників, менеджерів, персонал із відповідності, кадрів і юристів вимогам щодо неоплачуваної відпустки, розширеного кваліфікаційного використання та правил допологової відпустки
• Для майбутніх переговорів щодо укладення колективних договорів переконайтеся, що включено належну відмову
• Спостерігати за додатковими правилами та вказівками від Департаменту захисту прав споживачів та працівників щодо впровадження поправок

(Блумберг) — Влада Китаю активізувала зусилля зі збору податків з громадян із закордонними інвестиційними доходами в рамках ширшого поштовху до придушення транскордонної торгівлі, яка ухиляється від контролю над капіталом.

Шість місцевих податкових служб, у тому числі в таких містах, як Пекін і Шеньчжень, у вівторок оприлюднили майже ідентичні заяви, в яких говориться, що вони «нагадували і навчали» деяких громадян декларувати свої доходи за кордоном і сплачувати будь-які прострочені податки. За їх словами, влада використовувала аналіз великих даних, щоб відстежити людей.

Найбільш читані від Bloomberg

Останній розвиток подій сигналізує про те, що китайська влада не відмовляється від оподаткування полювання на офшорну торгівлю та запобігає ухиленню від контролю над капіталом. Цей крок стався, оскільки влада шукає більше джерел доходу, щоб скоротити рекордний дефіцит бюджету, оскільки доходи від продажу землі вичерпалися, а Пекін посилив вплив місцевих органів влади.

Влада частково виділила деякі податкові знущання. Громадянину на прізвище Фу з південно-східного міста Сямень довелося сплатити майже 7 мільйонів юанів (983 500 доларів) прострочених податків і штраф. Інший громадянин на прізвище Лі з провінції Сичуань заплатив майже 6,7 мільйона юанів.

Згідно з урядовими даними, стягнення податку відбулося після аналогічних узгоджених зусиль місцевих чиновників наприкінці березня.

Податковий поштовх Китаю відбувся після запровадження у 2018 році Загального стандарту звітності, глобальної системи обміну інформацією, спрямованої на запобігання ухилення від сплати податків. Хоча правила завжди передбачали оподаткування доходів громадян у всьому світі, включаючи прибуток від інвестицій, до минулого року це рідко застосовувалося.

Відповідно до CRS Китай протягом останніх кількох років автоматично обмінювався інформацією з майже 150 юрисдикціями про рахунки осіб, які підлягають сплаті податків у кожній країні-члені.

Найчитаніші з Bloomberg Businessweek

©2025 Bloomberg LP

У 2026 році питання для ІТ полягає не в тому, чи слід застосовувати мультимодальний ШІ. Це те, наскільки швидко вони можуть це зробити, не перетворюючись на хаос.

У 2026 році підприємства переживуть сейсмічні зміни в області штучного інтелекту. Пройшли ті часи, коли над ландшафтом панували лише текстові моделі. Наступна хвиля пов’язана з мультимодальним штучним інтелектом: системами, які читають, слухають, бачать і інтерпретують світ так само, як ми. Для ІТ-лідерів ця трансформація пов’язана не з новизною, а з фундаментальною зміною того, як відбувається робота. Але не помиляйтесь: інфраструктура, управління та організаційні вимоги є вагомими.

Від «введіть команду» до «покажіть і повідомте системі»

Уявіть собі інженера, який підносить смартфон до шумного насоса, описуючи дивну вібрацію. ШІ не просто аналізує голос; він візуально розпізнає апаратне забезпечення, прослуховує схему, переглядає історичні журнали датчиків і миттєво відкриває правильну програму технічного обслуговування. Це обіцянка корпоративних робочих процесів. Системи поєднуватимуть текст, зображення, аудіо, відео та навіть сенсорний вхід, надаючи їм подібне до людини усвідомлення контексту.

В іншому прикладі з фінансів команди відповідності більше не виконуватимуть окремі пошуки в електронній пошті, журналах чату та записаних дзвінках. По-справжньому мультимодальна система дозволить виконувати єдиний запит, який розуміє тон, візуальні підказки, словесні заяви та текстові розшифровки. Позначення прихованих ризиків, які пропустять лише текстові інструменти. Це не просто зручність, це зміна парадигми.

Мультимодальний ШІ зітре межі між взаємодією людини та машини. Замість того, щоб переміщатися по меню або вводити жорсткі підказки, співробітники просто розмовлятимуть, жестикулюють або демонструватимуть візуальні ефекти. Межі між інтерфейсом і наміром розпадаються. ІТ-відділи повинні підготувати системи не тільки для отримання команд, але й для сприйняття контексту. Це означає оновлення архітектури для обробки потоків зображень і аудіо, розміщення нових конвеєрів даних і керування обчислювальними навантаженнями, що виходять за межі звичайних текстових навантажень.

Дивіться також: Навіщо сучасному ШІ потрібен NaaS

Чому «агенти, які бачать і чують» змінять робочі процеси підприємства

Цінність мультимодального транспорту полягає не лише в ширшому вкладі, а й у глибшій співпраці. У агентських робочих процесах завтрашнього дня один агент штучного інтелекту підсумовуватиме відеозустріч, інший скануватиме ескізи на білій дошці, зроблені на льоту, а ще інший створюватиме код або документацію з цього об’єднаного контексту, і все це без повторного введення ключів людиною. Тут робота переходить від звернення до помічника до співпраці з колегою, який розуміє все, що ви сказали чи показали.

Однак цей стрибок створює серйозні технічні та операційні проблеми. По-перше, інфраструктура: мультимодальні моделі споживають значно більше даних, пам’яті та обчислень, ніж лише текстові варіанти. Інтеграція потоків датчиків, відеоканалів і аудіожурналів означає модернізацію конвеєрів, сховищ і мережі. По-друге, сумісність: ваші існуючі системи можуть не підтримувати введення зображення чи голосу. По-третє, командні навички: інженери повинні вільно володіти не лише мовними моделями, а й візуальними, звуковими та комбінованими модальностями. Без підготовки різко зростає ризик крихких систем, вузьких місць із затримкою та невдалих пілотів.

Дивіться також: Agentic AI і наступний стрибок у промислових операціях

Як ІТ можуть залишатися адаптивними, не порушуючи продуктивність

Якщо мультимодальний штучний інтелект наближається як цунамі, ІТ-команди повинні будувати гнучкість, а не жорсткі моноліти. Найбезпечнішим підходом є модульна інтеграція. Розгортайте API, використовуйте та приймайте агентські структури, щоб нові можливості можна було замінити або оновити без дестабілізації робочих систем. Розглядаючи мультимодальні функції як плагіни, організації зберігають гнучкість навіть у міру розвитку технології. Ставтеся до інфраструктури як до платформи, що розвивається, а не до фіксованого проекту.

Водночас акцент має бути зміщений з досвіду моделювання на вільне володіння ШІ в організації. Розробники, аналітики та бізнес-користувачі повинні навчитися співпрацювати з ШІ. Як сформулювати мультимодальні проблеми, переглянути результати та підтвердити міркування. Замість того, щоб гнатися за кожною новою моделлю, інвестуйте в такі практики, як розробка, орієнтована на специфікації, і агентна інженерія, щоб системи штучного інтелекту природно вписувалися в існуючу структуру SDLC і управління.

ІТ-керівництво має також створити безпечні зони експериментів. Пісочниці штучного інтелекту, де мультимодальні моделі тестуються за допомогою синтетичних або некритичних даних, випробовуються інфраструктури оркестровки агентів, а можливості команди поступово збільшуються. Такий підхід знижує ризик і одночасно прискорює впровадження.

Управління, прозорість і етика стають основними інженерними дисциплінами

Коли ваш штучний інтелект бачить і чує, а також читає, поверхня ризику збільшується. Етичне управління не може бути запізнілою думкою; це має бути вбудовано з самого початку. Організації повинні визначити політику щодо походження даних, використання моделі та людського нагляду. Кожному мультимодальному агенту потрібен підзвітний власник, перевірений ланцюжок постачання та документація логіки його прийняття. Без цього фірми наражаються на упереджені результати, непрозорі міркування та регуляторні наслідки.

SDLC має вбудувати контрольні точки керування: перевірку упередженості візуальних і звукових даних, аналіз пояснюваності рішень, прийнятих із використанням змішаних модальностей, і перевірку людиною в циклі для високоефективних робочих процесів. Автономія агента має бути обмежена: політика автономії гарантує, що мультимодальний агент не буде діяти без підтвердження людини. Аудиторські журнали підказок, входів зображень і аудіо, а також виводів агентів стають не просто приємними, але й необхідними.

Тепер прозорість – це довіра. Користувачі повинні бачити, чому система прийняла рішення: картки моделей, журнали версій і записи введення-виведення. Якщо ви не можете пояснити, як ваш мультимодальний агент отримав рекомендацію в ділових термінах, це не повинно бути у виробництві.

Реальні помилки, які висвітлюють небезпечну зону

Недавні провали в управлінні ілюструють ціну дилетантського усиновлення. Співробітники, які завантажували конфіденційні документи в загальнодоступні інструменти штучного інтелекту, навчили нас, що швидкий трафік потрібно розглядати як робочі дані. Декілька фірм зіткнулися з регулятивним контролем, коли моделі чорної скриньки давали упереджені результати та не могли пояснити рішення. Автономні агенти, які змінювали дані без нагляду, виявили прогалини видимості всього ланцюжка дій. Це вже не спекулятивний ризик; це операційна реальність. Для ІТ-лідерів це означає, що управління має починатися під час проектування, а не як прикріплення після розгортання.

Конкурентна перевага: використання мультимодального ШІ заради цінності, а не лише новизни

Компанії, які виграють, не будуть зосереджуватися на моделях; вони зосередяться на ділових суперечках. Вбудовування мультимодального штучного інтелекту в існуючі робочі процеси, не гонившись за яскравими функціями, дає реальний ефект. У маркетингу, наприклад, агенти, які разом аналізують голосові настрої, зображення та журнали чату, можуть набагато точніше ідентифікувати моделі поведінки, ніж демографічні моделі. Роль маркетолога зміщується в бік стратегії та етики; AI керує масштабом і швидкістю.

Успішні кейси завжди починаються з малого, розумно масштабуються та будуються міжфункціональними. Моделі та агенти повинні розглядатися як служби: версії, контейнери, API, а не одноразові прототипи. Масштабованість випливає з архітектури та співпраці, а не з реклами.

Попередній шлях для ІТ: від воротарів до постачальників

Майбутнє мультимодального штучного інтелекту одночасно захоплююче та вимогливе. ІТ-лідери повинні очолити переписування інфраструктури, трансформацію навичок і перепланування управління. Але винагорода є основою, де працівники природно взаємодіють із системами, де робота переосмислюється не як командування та контроль, а як співпраця з інтелектуальними агентами, і де конкурентна перевага походить від швидкості, контексту та адаптивності.

У 2026 році питання для ІТ полягає не в тому, чи слід застосовувати мультимодальний ШІ. Це те, наскільки швидко вони можуть це зробити, не перетворюючись на хаос. Організації, які переможуть, розглядатимуть мультимодальний ШІ як стратегічний продукт, а не технічний експеримент. Вони створять системи, які слухають, бачать, розуміють і діють. Вони керуватимуть цими системами з тією самою дисципліною, яку колись зарезервували для інфраструктури та безпеки. Оскільки майбутнє підприємства — це не просто інтелектуальне, воно мультимодальне.

Починаючи з сьогоднішнього дня, усі нові кластери Amazon Managed Streaming для Apache Kafka (Amazon MSK) Provisioned з посередниками Express підтримуватимуть інтелектуальне перебалансування без додаткових витрат. Завдяки цій новій можливості ви можете виконувати операції автоматичного балансування розділів під час масштабування кластерів Apache Kafka вгору або вниз. Intelligent Rebalancing максимізує використання потужності кластерів Amazon MSK за допомогою брокерів Express, оптимально перебалансовуючи ресурси Kafka на них для кращої продуктивності, усуваючи необхідність самостійного керування розділами або за допомогою інструментів сторонніх розробників. Інтелектуальне відновлення балансу на брокерах Amazon MSK Express виконує ці операції в 180 разів швидше порівняно зі стандартними брокерами.

Ми запустили брокерів Amazon MSK Express у листопаді 2024 року, щоб переосмислити Apache Kafka задля простоти використання, найкращої ціни в своєму класі та передбачуваної доступності. Брокери Amazon MSK Express створені для забезпечення в три рази більшої пропускної здатності для кожного брокера, масштабування до 20 разів швидше та скорочення часу відновлення на 90 відсотків порівняно з брокерами Standard, які використовують Apache Kafka. З моменту запуску ми розширили роботу брокерів Amazon MSK Express до додаткових регіонів AWS, типів екземплярів, а нещодавно розширили підтримку до 5 разів більшої кількості розділів на брокера Express, підвищивши ефективність ціни до 50% для робочих навантажень, пов’язаних із розділами.

Завдяки інтелектуальному перебалансуванню кластери брокера Amazon MSK Express постійно відстежуються на предмет дисбалансу ресурсів або перевантаження на основі інтелектуальних налаштувань Amazon MSK за замовчуванням, щоб максимізувати продуктивність кластера. За потреби брокери ефективно масштабуються, не впливаючи на доступність кластера для клієнтів для створення та споживання даних. Тепер клієнти можуть у повній мірі скористатися перевагами масштабування та продуктивності кластерів Amazon MSK Provisioned для брокерів Express, одночасно спрощуючи операції керування кластером.

У цій публікації ми представимо функцію інтелектуального відновлення балансу та покажемо приклад того, як вона працює для покращення продуктивності роботи.

Коли використовувати інтелектуальне відновлення балансу

Завдяки інтелектуальному перебалансуванню брокери Amazon MSK Express тепер пропонують повністю автоматизоване рішення для керування та масштабування кластерів Kafka, яке не потребує додаткових інструментів чи конфігурації. Інтелектуальне відновлення балансу ввімкнено за замовчуванням у всіх нових кластерах брокерів Amazon MSK Express, тому ми рекомендуємо завжди залишати його ввімкненим. Intelligent Rebalancing використовує найкращі практики Amazon MSK для запуску автоматичного відновлення балансу в таких ситуаціях:

• Масштабування кластерів: коли клієнти додають або видаляють брокерів зі своїх кластерів брокерів Amazon MSK Express, інтелектуальне відновлення балансу автоматично перерозподіляє розділи, щоб збалансувати використання ресурсів серед брокерів. Це гарантує, що кластер продовжує працювати з максимальною продуктивністю, що робить можливим масштабування за допомогою однієї операції оновлення.
• Відновлення рівноваги в стаціонарному стані: навіть під час нормальної роботи Intelligent Rebalancing постійно відстежує кластер брокерів Amazon MSK Express і запускає повторне балансування, коли виявляє дисбаланс ресурсів або гарячі точки. Наприклад, якщо певні брокери стають перевантаженими через нерівномірний розподіл розділів або спотворені моделі трафіку, інтелектуальне відновлення балансу автоматично перемістить розділи до менш використовуваних брокерів, щоб відновити баланс.

Як використовувати інтелектуальне відновлення балансу

Щоб продемонструвати потужність інтелектуального ребалансування, давайте запустимо кілька тестів на кластері брокерів Amazon MSK Express:

Тест масштабування: ми почнемо зі створення кластера брокерів Amazon MSK Express із 3 брокерами. Потім ми швидко розширимо кластер до 6 брокерів і знову зменшимо до 3 брокерів, імітуючи раптовий сплеск робочого навантаження. Якщо ввімкнути інтелектуальну перебалансування, ви побачите, що перебалансування розділів завершено протягом 5-10 хвилин, щоб кластер міг підтримувати збільшену пропускну здатність без будь-якого зниження продуктивності.

Ви можете відстежувати поточні та історичні операції ребалансування за допомогою метрики RebalanceInProgress. На зображенні нижче ви також можете побачити, що це перебалансування не впливає на клієнтів на стороні виробника.

Далі ми створимо дисбаланс у кластері, спрямувавши велику частину трафіку до одного брокера. Ви побачите, що інтелектуальна ребалансування виявляє цей дисбаланс протягом декількох хвилин і автоматично перерозподіляє розділи, відновлюючи кластер до оптимального стану.

Функція інтелектуального відновлення балансу виявляє гарячі точки та автоматично перерозподіляє уражені розділи між іншими посередниками для оптимізації використання ресурсів. Без інтелектуального ребалансування дисбаланс ресурсів зберігатиметься, що потенційно призведе до проблем із продуктивністю або потреби в ручному втручанні клієнта.

Ці тести демонструють, як інтелектуальне відновлення балансу за допомогою брокерів Amazon MSK Express дозволяє безперебійно масштабувати кластери Kafka, зберігаючи незмінно високу продуктивність навіть за різних умов робочого навантаження.

Висновок

Інтелектуальне відновлення балансу для підготовлених кластерів Amazon MSK із брокерами Express наразі розгортається протягом наступних кількох тижнів у всіх регіонах AWS, де підтримуються брокери Amazon MSK Express. Ця функція автоматично вмикається для всіх нових кластерів Amazon MSK Provisioned з посередниками Express без додаткових витрат.

Щоб почати, відвідайте консоль Amazon MSK. Щоб отримати додаткові відомості, перегляньте посібник розробника Amazon MSK.

---

Про авторів