Категорія: Великі Дані та Аналітика

  • Нові якісні продуктивні сили за підтримки цифрової економіки

    Нові якісні продуктивні сили за підтримки цифрової економіки

    якісні продуктивні сили за підтримки цифрової економіки Нові якісні продуктивні сили за підтримки цифрової економіки

    Відвідувач взаємодіє з роботом служби підтримки клієнтів під час фінансової виставки в Пекіні. DU JIANPO/ДЛЯ КИТАЮ ЩОДНЯ

    Зі швидким зростанням цифрової економіки цифрові фінанси докорінно змінили традиційні фінансові операції та моделі обслуговування. Він не лише представляє цифрову модернізацію фінансових послуг, але й слугує потужною силою, що спонукає до структурної оптимізації економіки та розвитку нових якісних продуктивних сил через розширення можливостей технологій.

    Цифрові фінанси стосуються надання фінансових послуг за допомогою онлайнових та інтелектуальних засобів, що ґрунтуються на таких технологіях, як великі дані, штучний інтелект, блокчейн і хмарні обчислення.

    Він охоплює традиційні фінансові послуги, такі як платежі, кредитування, інвестиції та страхування, а також дає початок новим сферам, таким як інтелектуальне інвестиційне консультування та цифрові валюти. Це не просто розширення традиційних фінансів, а й продукт глибокої інтеграції фінансів і технологій.

    Завдяки збору, аналізу та застосуванню даних цифрові фінанси дають змогу створювати більш розумні та керовані даними послуги. Він підвищує інклюзивність, знижуючи бар’єри для фінансових послуг, забезпечуючи також переваги малого бізнесу та окремих осіб. Крім того, автоматизація та інтелектуальні технології покращують загальну ефективність фінансових послуг.

    У листопаді Народний банк Китаю — центральний банк країни — та кілька інших міністерств спільно випустили план дій, який сприяє високоякісному розвитку цифрових фінансів.

    У плані пояснюється, що мета цифрових фінансів полягає в тому, щоб краще служити економічному розвитку, зосереджуючись на прискоренні цифрової трансформації фінансового сектора, наданні високоякісних послуг для цифрової економіки та сприянні інтеграції цифрової та реальної економіки.

    Загальна мета полягає в тому, щоб до кінця 2027 року створити фінансову систему, яка добре адаптується до цифрової економіки, йдеться в плані.

    Зокрема, план дій підкреслив основоположну роль цифрових фінансів у підтримці розвитку ключових секторів, таких як технологічне фінансування, зелене фінансування та інклюзивне фінансування.

    Він також підкреслив, що розширення можливостей технологічних фінансових інновацій є критично важливим способом підтримки розвитку нових якісних продуктивних сил.

    Продуктивні сили нової якості стосуються продуктивності, що обумовлюється такими технологіями, як оцифрування, штучний інтелект і мережеві зв’язки, що пропонує кілька визначальних характеристик. Він ґрунтується на нових технологіях, таких як інформаційні технології, штучний інтелект, великі дані, хмарні обчислення та блокчейн, які значно покращують як виробництво, так і ефективність розподілу ресурсів.

    Дані стали центральним ресурсом, що дозволяє підприємствам оптимізувати рішення, підвищувати ефективність і створювати нові бізнес-моделі. Нові якісні продуктивні сили наголошують на інтелектуальному та автоматизованому виробництві та послугах, зменшуючи залежність від людської праці за рахунок використання ШІ та автоматизації.

    Інтернет та IoT забезпечують глобальний розподіл ресурсів і тіснішу співпрацю між галузями, створюючи високо взаємопов’язану екосистему. Інновації, знання та креативність є ключовими двигунами економічного зростання, що робить наукомісткі галузі критично важливими для економічного розвитку.

    Нарешті, нові якісні продуктивні сили зосереджені на сталих практиках, оптимізуючи використання ресурсів, одночасно сприяючи захисту навколишнього середовища.

    Через ці характеристики традиційне фінансування стикається з кількома проблемами під час підтримки нових якісних продуктивних сил.

    Однією з ключових проблем є невідповідність між природою нових якісних продуктивних сил і фінансовою підтримкою. Нові якісні продуктивні сили часто пов’язані з передовими технологіями та галузями, що розвиваються, які мають високий ризик і невизначеність.

    Традиційним фінансовим установам важко оцінити ці ризики, що призводить до труднощів із забезпеченням фінансування. Крім того, ці підприємства, як правило, покладаються на нематеріальні активи, такі як інтелектуальна власність, технології та дані, що ускладнює традиційним фінансовим установам надання позик під матеріальну заставу.

    Нові якісні сектори продуктивних сил також вимагають довгострокових циклів розвитку, що робить варіанти короткострокового фінансування неадекватними для галузей, які генерують невизначені грошові потоки в короткостроковій перспективі.

    Інший виклик полягає в неадекватності існуючої фінансової системи. Традиційні фінансові системи більше підходять для зрілих галузей промисловості з недостатньою підтримкою для секторів, що розвиваються.

    Відсутність спеціалізованих фінансових продуктів і послуг для цих галузей ще більше ускладнює ситуацію. Крім того, фінансовим установам бракує ефективних механізмів розподілу ризиків, таких як державні гарантії чи страхування, що зменшує їхню готовність інвестувати в нові якісні підприємства продуктивної сили.

    Малі та середні підприємства та стартапи в новому якісному просторі продуктивних сил також стикаються з проблемами доступу до ринків капіталу, оскільки бар’єри для входу на лістинг є високими, а можливості фінансування залишаються обмеженими.

    Ще однією перешкодою є інформаційна асиметрія. Фінансовим установам часто важко визначити технологію, ринкові перспективи та бізнес-моделі нових якісних підприємств продуктивної сили, що ускладнює оцінку їх справжнього потенціалу.

    Крім того, фінансовим установам може бракувати спеціального досвіду та розуміння цих галузей, що розвиваються, що ускладнює точну оцінку ризиків і можливостей таких підприємств.

    Політичні та нормативні прогалини також перешкоджають розвитку нових якісних продуктивних сил. Існуюча політика фінансової підтримки, така як податкові пільги та спеціальні фонди, не повністю задовольнила потреби нових якісних секторів продуктивних сил. Реалізація цієї політики також потребує подальшого посилення.

    Крім того, нормативно-правова база не повністю адаптована до міжгалузевої та міжгалузевої природи нових якісних продуктивних сил, що призводить до проблем із дотриманням вимог для фінансових установ, які підтримують ці підприємства.

    Для вирішення цих проблем інновації в цифровому фінансуванні відіграють більшу роль. У плані дій, наприклад, наголошується на необхідності цифрових фінансів для створення сприятливого середовища, де технологічне фінансування, зелене фінансування, інклюзивне фінансування та пенсійне фінансування можуть розвиватися разом.

    Він також закликав до більшої узгодженості між цифровими фінансовими продуктами та послугами з ключовими стратегіями, критичними сферами та слаборозвиненими секторами.

    Зокрема, у сфері технологічного фінансування план дій виступав за цифрове фінансування для підвищення якості та ефективності технологічного фінансування, заохочуючи фінансові установи використовувати великі дані для комплексної оцінки технологічних підприємств, покращувати відбір клієнтів та ефективність маркетингу, а також здійснювати кращу оцінку ризиків. .

    Однак для підтримки розвитку нових якісних продуктивних сил цифрове фінансування має зосередитися на наступних сферах.

    По-перше, оптимізація каналів фінансування є важливою для вирішення проблем фінансування. Платформи цифрового ланцюжка поставок можна розробити за допомогою Інтернету, великих даних і блокчейну, щоб полегшити фінансування нових якісних підприємств, пов’язаних із продуктивними силами.

    По-друге, підвищення ефективності розподілу ресурсів має вирішальне значення для підтримки нових якісних продуктивних сил. Великі дані можуть підвищити точність інвестицій і фінансування, надаючи комплексне уявлення про робочий стан і ринкові перспективи нових якісних підприємств продуктивної сили.

    Інтелектуальні фінансові послуги на основі штучного інтелекту можуть допомогти пропонувати персоналізовані послуги, підвищуючи ефективність використання коштів і знижуючи транзакційні витрати.

    Цифрове фінансування також може сприяти розвитку зеленого фінансування, сприяючи інноваціям у таких сферах, як платформи для торгівлі вуглецевими газами та екологічні кредити, які задовольняють фінансові потреби екологічно свідомих підприємств.

    По-третє, інновації в механізмах управління ризиками необхідні для пом'якшення фінансових ризиків. Цифрові фінанси можуть допомогти побудувати цифрові кредитні системи, використовуючи великі дані та блокчейн для створення комплексних кредитних профілів, що може покращити ідентифікацію та оцінку ризиків для фінансових установ.

    У довгостроковій перспективі цифрові фінанси надають всебічну підтримку новим якісним продуктивним силам через розширення можливостей технологій, оптимізацію ресурсів та інновації в управлінні ризиками.

    Оскільки цифрові технології продовжують розвиватися та політичне середовище покращується, цифрові фінанси відіграватимуть дедалі важливішу роль у просуванні нових якісних продуктивних сил і стимулюванні високоякісного економічного розвитку.

    Співпраця між урядом, фінансовими установами та бізнесом також буде ключовою для реалізації глибокої інтеграції цифрових фінансів з новими якісними продуктивними силами.

    Погляди не обов’язково збігаються з поглядами China Daily.

    Письменник є директором Шанхайського інституту фінансів і розвитку.

  • Розблокуйте Local Insights! Отримайте дані з вашої країни!

    Розблокуйте Local Insights! Отримайте дані з вашої країни!

    Дізнайтеся, як отримати доступ до цільових ринкових даних! Якщо ви хочете вдосконалити аналіз даних і зосередитися на конкретних регіональних ідеях, першим кроком стане зміна прапора ринку. Це просте налаштування дозволяє отримувати індивідуальну інформацію, яка безпосередньо стосується вашої цікавої країни. Просто увійдіть у меню та перемкніть прапорець Market, щоб розблокувати велику кількість локалізованих даних.

    Покращуйте свій досвід створення діаграм! Для тих, хто шукає розширені параметри діаграм, меню «Інтерактивна діаграма» пропонує безліч інструментів для налаштування візуалізації. Клацнувши правою кнопкою миші на діаграмі, ви можете заглибитися в функції, які покращують представлення даних.

    Навігація з легкістю! Хочете дослідити різні символи даних? Використовуйте стрілки вгору та вниз на клавіатурі, щоб легко прокручувати доступні параметри. Ця функція не тільки спрощує ваш досвід, але й дозволяє швидко та ефективно аналізувати дані.

    Виконуючи ці кроки, ви можете покращити процес дослідження даних. Незалежно від того, чи є ви аналітиком ринку чи просто зацікавлені в місцевих тенденціях, ці інструменти створені, щоб надати глибшу інформацію відповідно до ваших потреб. Взаємодійте зі своїми даними, як ніколи раніше, і дізнайтеся, що має значення!

    Крім цифр: ширший вплив цільових ринкових даних

    Оскільки компанії та споживачі все більше покладаються на аналітику даних, наслідки доступу цільові ринкові дані виходять далеко за межі індивідуального прийняття рішень. Удосконалюючи аналіз до конкретних регіональних ідей, організації оптимізують свої стратегії, які можуть змінити місцеві економіки. Здатність пристосовувати підходи до різних ринків посилює конкуренцію та інновації, що призводить до більш динамічних економічних екосистем.

    Крім того, наголос на налаштуванні інструментів візуалізації сприяє розвитку культури грамотності даних. Оскільки все більше професіоналів працюють зі складними наборами даних, a зсув можна спостерігати в динаміці робочого місцяде рішення на основі даних стають нормою. Ця тенденція підкреслює важливість технологічного рівня виховання економічна стійкість і адаптація.

    Однак не можна не помічати вплив посиленого аналізу даних на навколишнє середовище. Оскільки підприємства впроваджують алгоритми для аналізу ринку, попит на центри обробки даних і обчислювальна енергія зростає, сприяючи вуглецеві сліди. Розробка екологічніших технологій для аналізу даних має важливе значення для пом’якшення цього впливу, гарантуючи, що прогрес не відбуватиметься за рахунок планети.

    Заглядаючи вперед, майбутнє аналізу ринку готове до ще більшої витонченості. З появою штучного інтелекту прогнозна аналітика, ймовірно, революціонізує те, як бізнес прогнозує тенденції. Такі досягнення можуть слугувати важливими інструментами для вирішення проблеми глобальні викликивід збоїв у ланцюзі постачання до змін споживчого попиту, спричинених такими подіями, як пандемії чи зміни клімату.

    Розкрийте силу аналізу ринку: вичерпний посібник

    Доступ до цільових ринкових даних

    Щоб покращити ваші можливості аналізу даних, важливо використовувати цільові ринкові дані. Першим кроком для досягнення цього є зміна прапора ринку. Це налаштування дає вам доступ до локалізованої інформації, що стосується вашої цікавої країни. Ось як ви можете максимально використати цю функцію:

    1. Доступ до меню: знайдіть меню, у якому надаються параметри прапора ринку.
    2. Змініть прапор ринку: переключіть його на відповідну країну чи регіон. Це негайно оновлює інформацію, яку ви отримуєте, щоб краще відповідати динаміці місцевого ринку.
    3. Оцініть Local Insights: використовуйте локалізовані дані для кращого прийняття рішень у своїх ринкових стратегіях.

    Покращте свій досвід створення діаграм

    Візуалізація відіграє вирішальну роль в аналізі даних. Використовуючи меню інтерактивної діаграми, користувачі можуть отримати доступ до різноманітних інструментів, призначених для розширеного налаштування діаграми. Ось як ви можете покращити свій досвід створення діаграм:

    Параметри правої кнопки миші: клацніть правою кнопкою миші на будь-якій діаграмі, щоб відкрити безліч параметрів налаштування, які можуть адаптувати зовнішній вигляд вашого представлення даних.
    Типи діаграм: Експериментуйте з різними типами діаграм, такими як лінійні, стовпчасті або точкові, щоб знайти найкращий спосіб представлення зібраних даних.
    Інтерактивні функції: Використовуйте такі функції, як масштабування, показники порівняння та спеціальні індикатори, щоб отримати глибшу інформацію.

    Ефективна навігація для аналізу даних

    Навігація різними символами даних має бути безперебійним процесом. Використання комбінацій клавіш може значно підвищити вашу ефективність:

    Клавіші зі стрілками: використовуйте клавіші зі стрілками вгору та вниз на клавіатурі, щоб швидко прокручувати доступні символи даних.
    Швидкий вибір: ця функція призначена для швидкого аналізу даних, допомагаючи вам легко перемикатися між точками даних.

    Випадки використання

    Аналітики ринку, інвестори та бізнес-стратеги можуть отримати значну користь від цих інструментів:

    Аналітики ринку: використовуйте спеціальні дані для уточнення ринкових звітів.
    Інвестори: доступ до локалізованої статистики, щоб зробити обґрунтований інвестиційний вибір.
    Стратеги: створюйте бізнес-стратегії на основі регіональних тенденцій даних.

    Обмеження, які слід враховувати

    Хоча ці функції пропонують численні переваги, важливо пам’ятати про деякі обмеження:

    Доступність даних: не всі регіони можуть надавати вичерпні дані, що призводить до розбіжностей в аналізі.
    Крива навчання: користувачі, які не знайомі з інструментами аналізу даних, можуть зіткнутися з кривою навчання ефективному використанню розширених функцій діаграм.

    Майбутні тенденції та інновації

    Оскільки технологія аналізу даних розвивається, ми можемо очікувати:

    Підвищена інтеграція: Майбутні платформи, ймовірно, інтегруватимуть дані в режимі реального часу з розширеною аналітикою для отримання миттєвішого розуміння.
    Покращення AI: використання штучного інтелекту може покращити інтерпретацію даних, роблячи тенденції більш помітними.

    Аспекти безпеки та стійкості

    Забезпечення безпеки ринкових даних має першочергове значення. Компанії повинні прийняти суворі протоколи захисту даних, щоб запобігти порушенням. Крім того, сприяння екологічним методам збору даних може підвищити надійність і довіру серед користувачів.

    Висновок

    Максимально використовуючи інструменти, доступні для цільового аналізу ринкових даних, користувачі можуть отримати цінну інформацію та сприяти прийняттю обґрунтованих рішень. Незалежно від того, чи є ви професіоналом у цій галузі чи людиною, яка дуже цікавиться ринковими тенденціями, ці інноваційні підходи дають вам можливість взаємодіяти зі своїми даними, як ніколи раніше.

    Додаткові ресурси щодо аналізу даних і аналізу ринку див. на сторінці Аналіз ринкових даних.

  • Big Tech хоче підключити центри обробки даних прямо до електростанцій. Утиліти кажуть, що це не справедливо | Національні новини

    Big Tech хоче підключити центри обробки даних прямо до електростанцій. Утиліти кажуть, що це не справедливо | Національні новини

    HARRISBURG, штат Пенсільванія (AP)-Шукаючи швидкого виправлення своїх швидкозростаючих дієт з електроенергією, технологічні гіганти все частіше прагнуть до досягнення угод з власниками електростанцій, щоб безпосередньо підключитися, уникаючи потенційно довшого і дорожчого процесу підключення в A Збиваючи електричну сітку, яка обслуговує всіх інших.

    Це викликає питання щодо того, чи перевозять силу для клієнтів, що виграють, залишатимуть достатньо для інших, і чи справедливо виправдати великих користувачів потужності від оплати за мережу. Федеральні регулятори намагаються розібратися, що з цим робити, і швидко.

    Front and Center – це центр обробки даних, що дочірня компанія Amazon Cloud Computing, Amazon Web Services, будує поруч із ядерною установкою Сускеханни на сході Пенсільванії.

    Домовленість між власниками заводу та AWS – називається “позаду лічильника” – є першим таким, хто прийшов перед Федеральною комісією з регулювання енергетики. Наразі FERC відхилив угоду, яка врешті -решт може відправити 960 мегават – близько 40% потужності заводу – до центру обробки даних. Цього достатньо, щоб живити більше півмільйона будинків.

    Це залишає угоду, а інші, які, ймовірно, слідують у кінцівці. Незрозуміло, коли FERC, який заблокував угоду на процедурній підставі, знову зайняє справу або як зміна президентських адміністрацій може вплинути на речі.

    “Компанії, вони дуже розчаровані, оскільки вони зараз мають бізнес -можливість, яка справді велика”, – сказав Білл Грін, директор МІТ -енергетичної ініціативи. “І якщо вони затягнуться на п’ять років у черзі, наприклад – я не знаю, чи минуло б п’ять років, але все одно – вони можуть повністю пропустити можливість бізнесу”.

    Що сприяє попиту на енергозахисні центри обробки даних

    Швидке зростання хмарних обчислень та штучного інтелекту підживлювало попит на центри обробки даних, які потребують живлення для запуску серверів, систем зберігання, мережевого обладнання та систем охолодження.

    Це спонукає пропозиції щодо вивезення атомних електростанцій після виходу на пенсію, розробити невеликі модульні ядерні реактори та створити відновлювані установи у комунальних послугах або нові природні газоподібні установи. У грудні Окло, що базується в Каліфорнії, оголосив угоду про надання 12 Gigawatts розробнику центру обробки даних з невеликих ядерних реакторів, що працюють на ядерних відходах.

    Федеральні чиновники стверджують, що швидкий розвиток центрів обробки даних є життєво важливим для економіки та національної безпеки, в тому числі для того, щоб йти в ногу з Китаєм у гонці штучного інтелекту.

    Для AWS угода з Сускеханною задовольняє свою потребу у надійній владі, яка відповідає її внутрішнім вимогам до джерел, які не випромінюють парникові гази, що гріть планети, як вугільні, нафтові або газові установи.

    Big Tech також хоче швидко витримати свої центри. Але ненажерливий апетит до енергії технології виходить у той час, коли джерело живлення вже напружене зусиллями, щоб відійти від планети, що погріло викопне паливо.

    Вони можуть будувати центри обробки даних за пару років, сказав Аарон Тінджум з коаліції Центр даних. Але в деяких районах підключення до перевантаженої електромережі може зайняти чотири роки, а іноді і набагато більше, сказав він.

    Підключення безпосередньо до електростанції займе роки від їхніх термінів розвитку.

    Що в ньому для постачальників живлення

    Теоретично угода AWS дозволила Сускеханну продавати живлення більше, ніж вони отримують, продаючи в сітку. Talen Energy, власник більшості Susquehanna, прогнозував, що угода принесе в 2028 рік на 140 мільйонів доларів США, хоча це не розкрило, скільки точно заплатить AWS.

    Потенціал прибутку – це той, що інші оператори атомних заводів, зокрема, сприймають після багатьох років фінансових негараздів та розчарування тим, як вони платять на більш широких ринках електроенергії. Багато хто каже, що вони були змушені конкурувати на деяких ринках проти потопу дешевого природного газу, а також енергії, що підтримується державою.

    Власники електростанцій також стверджують, що домовленість приносить користь ширшій громадськості, обходячи дорогу будівництво довгих ліній електропередач і залишаючи більшу потужність передачі на мережі для всіх інших.

    Велике рішення FERC

    Аналітики кажуть, що сприятлива постанова від FERC може відкрити двері до багатьох інших центрів обробки даних та іншим масштабним споживачам електроенергії, як водневі рослини та шахтарі біткойна.

    Відмова 2-1 у листопаді була процедурною. Останні коментарі комісарів припускають, що вони не були готові вирішити, як регулювати таку нову справу без більше вивчення.

    Тим часом агентство слухає аргументи за та проти угоди Сускеханна-AWS.

    Моніторинг Analytics, Watchdog Market в середньоатлантичній сітці, написав у поданні FERC, що вплив буде “крайнім”, якби модель Сускеханна-AWS була поширена на всі атомні електростанції на території.

    Ціни на енергію значно зростатимуть, і немає пояснень щодо того, як зростаючий попит на електроенергію буде задоволений ще до того, як великі електростанції вийдуть із суміші пропозиції, сказано.

    Окремо два власники електричних комунальних послуг-які заробляють гроші в дерегульованих штатах від створення сітки та надання електроенергії-протестували, що домовленість Сускеханна-це для завантаження сітки, яку звичайні клієнти платять за будівництво та обслуговування. Чикаго, що базується в Чикаго, та Колумбус, американська електроенергія, що базується в штаті Огайо, стверджує, що домовленість Сускеханна-AWS дозволить AWS уникати 140 мільйонів доларів на рік, що в іншому випадку він заборгував.

    Власники Сускеханни кажуть, що центр обробки даних не буде в сітці і не ставить під сумнів, чому йому доведеться платити за його підтримку. Але критики стверджують, що сама електростанція отримує користь від субсидій платників податків та послуг, що субсидують платники податків, і не повинні мати змогу вдарити угоди з приватними клієнтами, які можуть збільшити витрати для інших.

    Рішення FERC матиме “масові наслідки для всієї країни”, оскільки воно встановить прецедент для того, як оператори FERC та сітки будуть обробляти лаву очікування подібних запитів компаній центрів обробки даних та атомних заводів, сказав Джексон Морріс з Ради оборони природних ресурсів.

    Стейсі Бурбур, віце -президент з американської електроенергії, заявила FERC на слуханні в листопаді, що йому потрібно швидко рухатися.

    “Терміни цього питання перед нами, – сказала вона, – і якщо ми візьмемо типові п’ять років, щоб отримати це ідеально, це буде вже пізно”.


    Слідкуйте за Марком Леві на X за адресою: https://x.com/timelywriter.


    Клімат та екологічне покриття Associated Press отримують фінансову підтримку від декількох приватних фондів. AP несе повну відповідальність за весь вміст. Знайдіть стандарти AP для роботи з філантропіями, список прихильників та фінансуваних областей покриття на AP.org.

  • Як AI розблокує нові біологічні шляхи та терапії

    Як AI розблокує нові біологічні шляхи та терапії

    AI допомагає дослідникам виявити несподівані зв’язки між захворюваннями людини та біологічними шляхами, що приносять нові терапевтичні уявлення.

    Фармацевтична промисловість стикається з значними проблемами – від визначення правильних біологічних цілей до розробки безпечної та ефективної терапії. Традиційно фармацевтичні компанії використовували штучний інтелект (AI) для розвитку існуючих методів лікування при створенні наркотиків ME-Too. Однак наступний кордон використовує AI для виходу за межі відомих, виявлення раніше досліджених біологічних шляхів та терапевтичних способів. Аналізуючи генетичні дані, дослідники зараз використовують AI, щоб виявити молекули, подібні до наркотиків, з можливістю революціонізувати, як вони наближаються до лікування захворювання.

    Джо Келлехер, старший віце -президент з біології в Empress Therapeutics, має 25 років лідерства на перехресті між біологією та хімією, провідними успішними зусиллями щодо виявлення наркотиків у цій галузі. Він працював як в біомедичних науково -дослідних установах, так і в біотехнологічних компаніях, де допомагав створити та вирощувати спеціалізовані дослідницькі групи та керував розробкою цільових портфелів та терапевтичних програм. Нещодавно Келлехер допоміг розробити платформу Chemilogics ™ в Empress Therapeutics, яка використовує генетичні дані, AI/машинне навчання (ML) та коеволюцію, щоб передбачувано генерувати кращі вихідні точки для наркотиків. Новини про виявлення наркотиків Розмовляв з Келлером, щоб дізнатися про те, як його команда використовує AI для аналізу складних біологічних даних, виявлення прихованих закономірностей та прискорення виявлення інноваційних методів лікування різних захворювань.

    Зображення Джо Келлехера, старшого віце -президента з біології в імператриці Therapeutics

    Джо Келлехер – старший віце -президент з біології Empress Therapeutics.

    Кредит: Імператриця Терапевтичні засоби

    Чому розуміння біологічних шляхів та генетичних даних важливо для розробки ефективних препаратів?

    Виявлення наркотиків-це горезвісно низькопродуктивна вправа, напевно, якщо ми почнемо з неправильних цілей, зробимо кандидатів на наркотики, які недостатньо безпечні, або виберемо неправильні клінічні показання до кандидатських препаратів. Розуміння біологічних шляхів та генетичних даних може допомогти вирішити всі ці проблеми.

    У імператриці ми маємо власний спосіб видобувати клінічні дані людини за допомогою AI та причинного машинного навчання (ML) для пошуку безпечних, ефективних модуляторів малої молекули людських шляхів, що стосуються захворювання, які можуть бути швидко оптимізовані для кандидатів у наркотики. Ключ полягає в тому, щоб включити 170 000 000 генів, кодованих у мікробах, які співпрацювали в нашому тілах (наш “інший геном”) в аналізі. Це шукає кластерів бактеріальних генів, які виробляють невеликі молекули, активні на людських цілях способами, які спричиняють нас здоровими.

    Потім ми використовуємо синтетичну біологію для початкової ідентифікації та характеристики цих малих молекул і слідуємо за цим за допомогою хімічного синтезу та оптимізації для отримання кандидатів на наркотики. Наша теза полягає в тому, що це будуть безпечні та ефективні ліки, обов'язково діяти на відповідні цілі або шляхи, а також спрямовані на їх оптимальні клінічні показання.

    Які переваги пошуку маломолекулярних лікарських засобів з мікробної ДНК всередині людського організму?

    Ми бачимо три основні переваги.

    По -перше, дрібні молекули, що базуються на сполуках, вже присутніх у здорових людей, швидше за все, добре переносяться та безпечно порівняно з невеликими молекулами з більш поширеного скринінгу бібліотеки (включаючи віртуальні) та оптимізаційних підходів.

    По -друге, з моменту нашої хімілогікиТМ Двигун Discovery закріплений у клінічних даних людини, збагачуючи лише молекули, які, ймовірно, сприяють здоров’ю, ми вважаємо, що ми працюємо над найбільш релевантними та ефективними цілями та шляхами наркотиків.

    Нарешті, наш двигун створює моделі, порівнюючи генетичні та клінічні дані здорових людей із хворими, які мають такі захворювання, як запальні захворювання кишечника, ревматоїдний артрит, рак, метаболічні захворювання та неврологічні стани, що забезпечують кандидати на лікарські засоби та застосовуються до відповідних клінічних показників. Ми бачимо це як трифекта виявлення наркотиків – правильна молекула для правильної цілі, яка допоможе людям із специфічним захворюванням.

    Як ваша команда в Empress використовує AI, щоб розкрити раніше невідомі біологічні шляхи та терапевтичні способи з генетичних даних?

    Ми не обов'язково виявляємо невідомі шляхи з боку біології людини, хоча багато мікробних синтетичних шляхів можуть бути новими відкриттями. Можливо, що ще важливіше, наші моделі AI/ML ведуть нас до людських цілей та шляхів, що дозволяє нам здійснювати несподівані зв’язки з захворюваннями людини та клінічними показаннями, які раніше не були оцінені. Існують «ага» моменти, оскільки ми знаходимо цілі та шляхи, які ми думали, що ми знаємо, робимо несподівані та важливі речі в контексті певної хвороби, способами, які мають сенс і захоплюються перекладати клінічно.

    Приємний приклад цього – коли ми виявили терапевтичний механізм, де необхідно залучити дві цілі з перекриттям, компенсаторними біологічними ефектами. Як і стільки цілей захворювань, промисловості та академічних зусиль, які раніше не розкрили важливу роль для кожної з цілей окремо, але ще не мають перевести їх на змістовний клінічний успіх. Дотримуючись початкових, генетичних підказок від коеволюції між мікробними хіміками та біологічними шляхами людини, ми виявили унікальну терапевтичну гіпотезу. Я не думаю, що ми б розкрили це іншими методами. Я з радістю бачу, як це відкриття перекладається для пацієнтів, оскільки це може бути першим прикладом ліків, отриманих у контексті їх хвороби.

    AI постійно розвивається, що несе сильні сторони, але також викликає виклики. Чи можете ви пояснити їх з точки зору застосування ШІ для розкриття біологічних шляхів та терапевтичних способів?

    Поточні методи AI та ML можуть знайти закономірності в даних та робити з'єднання та прогнози, які можуть бути неможливі, щоб знайти або зробити інакше. Однак методи обмежені якістю та кількістю основних даних. Для виявлення наркотиків, більша кількість та якість даних, зокрема, клінічні дані людини, можуть допомогти.

    Наші моделі AI/ML зростають ще краще, коли ми включаємо різні способи даних. Сюди входить мультимічне профілювання зразків людей як господарів, поєднуючись із зразками наших резидентних мікробів та клінічними особливостями накладки для все більшої кількості людей, що представляють все більшу різноманітність біології.

    Чи є якісь потенційні етичні чи регуляторні міркування, що виникають внаслідок використання AI для виявлення невідомої біологічної та терапевтичної цілі?

    Ми ділимося та сприймаємо серйозно нашим етичним зобов'язанням знайти безпечні та ефективні нові ліки для людей, які живуть із захворюваннями, та розглядають AI як інструмент, який допоможе забезпечити це починання.

    Як і у багатьох зусиллях про виявлення наркотиків, коли задіяні зразки пацієнта, захист конфіденційності є першорядним. На щастя, механізми для анонімізації даних є багато, що дозволяє компаніям співвіднести дані геномного та зразкового аналізу з клінічними тестами та результатами здоров'я. Ми захищаємо клінічні дані людини, які використовуються в наших моделях AI/ML відповідно до Закону про переносність та підзвітність медичного страхування та інші застосовні норми. Ми також оцінюємо безпеку та ефективність наших кандидатів на наркотики у суворому дотриманні FDA та іншим регуляторним вимогам.

    Як ви сподіваєтесь, що майбутнє виглядає для використання AI у фармацевтичній галузі?

    Я сподіваюся, що методи AI та ML продовжують розробляти та вдосконалювати, щоб допомогти виявити безпечну та ефективну терапію. Пошук правильних препаратів для правильних цілей та шляхів для вирішення конкретних захворювань залишається першорядним. Я сподіваюсь, що додаткові методи до того, що ми використовуємо в імператриці, також працюватимуть, зокрема, для захворювань, де мікроби-резиденції людини можуть не мати сильного впливу.

    Це інтерв'ю було конденсовано та відредаговано для ясності.

  • Останні патенти Egnyte та інновації штучного інтелекту спрощують керування даними та безпеку

    Останні патенти Egnyte та інновації штучного інтелекту спрощують керування даними та безпеку

    Egnyte, провідний постачальник хмарних рішень для співпраці та керування контентом, оголошує про низку нових патентів і функцій продукту, а також про новий генеративний помічник на основі штучного інтелекту (GenAI) для забезпечення безпеки та полегшення керування критично важливими завданнями. даних. Ці інновації відображають відданість Egnyte вирішенню найбільш важливих світових проблем із даними, особливо в тому, що стосується комплексного управління даними та відповідності, заявили в компанії.

    У 2024 році Egnyte отримала низку нових патентів, у результаті чого загальна кількість виданих патентів перевищила 50, які «підтримують нашу конкурентну перевагу на цьому ринку. Усі ці патенти вирішують складні проблеми управління даними та дотримання нормативних вимог, починаючи від гібридної співпраці та аналізу контенту й закінчуючи відповідністю конфіденційності та правилами конфіденційності даних», — пояснив Амріт Джассал, технічний директор і засновник Egnyte.

    Деякі з останніх патентів Egnyte включають:

    • Розширена співпраця щодо вмісту з покращеним виявленням і вирішенням конфліктів у гібридних хмарних середовищах
    • Централізований контроль доступу користувачів у гібридних хмарних системах
    • Спрощене та консолідоване керування дозволами з кількох систем зберігання
    • Спрощена обробка запитів на доступ до суб’єктів (SAR). що покращує відповідність положенням про конфіденційність, таким як GDPR

    Ще однією захоплюючою подією є запуск Egnyte Copilot, помічника на базі GenAI, який підвищує продуктивність роботи зі знаннями, одночасно витягаючи більше цінності з корпоративного контенту. Egnyte Copilot узагальнює документи, щоб легше виводити важливу інформацію; організовує інформацію в тисячах файлів у базах знань; транскрибує мультимедіа, наприклад аудіо- та відеовміст; і керує реакціями штучного інтелекту за допомогою контекстних інструкцій.

    «Оскільки організації продовжують оцифровувати величезні обсяги даних, для людини стає неможливим завданням ефективно керувати інформацією, аналізувати та витягувати з неї розуміння», — сказав Джассал. «Egnyte Copilot дає змогу користувачам прискорити роботу зі знаннями, ефективно підсумовуючи документи та витягаючи ідеї з мультимедійного вмісту, а також розкриваючи цінність даних організації, організовуючи та запитуючи інформацію в великих файлових системах, допомагаючи командам швидко приймати обґрунтовані рішення».

    Egnyte Copilot легко інтегрується в існуючі робочі процеси, не вимагаючи нових інструментів або спеціальних навичок. Це відображає один із основних принципів Egnyte, де його метою є «надавати корисні рішення. Переважна більшість поточних випадків використання генеративного штучного інтелекту потрапляє в категорію «новинки»… завдяки нашим рішенням підприємства можуть використовувати потужність штучного інтелекту без збоїв, які часто пов’язані із впровадженням нових технологій», — пояснив Джассал.

    Окрім останніх патентів Egnyte та Egnyte Copilot, компанія також запустила понад 300 нових функцій продукту, призначених для підвищення продуктивності користувачів, оптимізації робочих процесів і посилення безпеки даних. Деякі з цих функцій включають динамічні водяні знаки для захисту вмісту, інтегроване рішення eSignature для юридично обов’язкових електронних підписів, автоматичне тегування метаданих тощо. Egnyte також випустив кілька можливостей на основі штучного інтелекту, включаючи порівняння зображень, пошук подібності зображень і класифікацію вмісту на основі критеріїв, визначених користувачем.

    Зрештою, цей випуск демонструє, «як швидко розвивається світ технологій і як Egnyte продовжує задовольняти вимоги ринку… заглядаючи вперед, усе, що ми створили у 2024 році, забезпечує міцну основу для продовження інновацій у 2025 році та продовження розвитку нашої платформи для задовольнити потреби ринку», – резюмував Джасал.

    Щоб дізнатися більше про Egnyte, відвідайте https://www.egnyte.com/.

  • Спростіть тестування електромагнітної сумісності та вимірювання антени за допомогою програмного забезпечення TimeWise ETS-Lindgren

    Спростіть тестування електромагнітної сумісності та вимірювання антени за допомогою програмного забезпечення TimeWise ETS-Lindgren

    ETS-Lindgren, світовий авторитет у сфері електромагнітної сумісності (EMC) і рішень для бездротового тестування, використав свій десятирічний досвід у проектуванні, виробництві та встановленні випробувальних камер для розробки програмного забезпечення для випробувань і вимірювань – невід’ємної частини будь-якого випробування. система. TimeWise, останнє доповнення до популярних програмних рішень ETS-Lindgren, дозволяє стробувати у часовій області та аналізувати Фур’є необроблених даних, змодельованих або зібраних за допомогою такого обладнання, як векторні мережеві аналізатори (VNA). TimeWise — це бібліотечний набір інструментів для постобробки даних, який можна використовувати з іншими програмними пакетами, забезпечуючи максимальну гнучкість для значного спрощення тестування електромагнітної сумісності та вимірювання антени.

    «Бібліотека TimeWise надає багато функцій, окрім базового аналізу перетворення Фур’є, включаючи коригування параметрів на льоту, щоб краще ідентифікувати події у часовій області, виконувати додатковий аналіз стробування навіть на раніше стробованих наборах даних і використовувати запатентований метод обробки країв», — сказав Чжун. Чен, головний інженер ETS-Lindgren. «Як активний технічний співробітник і віце-голова Американського національного комітету стандартів (ANSC) C63®️, я можу підкреслити, що комітет завжди шукає вдосконалення методів вимірювання. Завдяки розробці нового стандарту ANSI C63.25.1 для перевірки ефективності тестових майданчиків ЕМС від 1 ГГц до 18 ГГц ми зрозуміли величезні переваги стробування у часовій області для швидких, діагностичних, повторюваних і надійних вимірювань. TimeWise був природним розвитком нашого дослідження стандартів C63».

    Стробування у часовій області є добре відомим методом видалення або ізоляції відповідей у ​​багатовідбиваючому середовищі. Багато комерційних VNA включають алгоритм стробування як функцію «чорного ящика». У користувача мало можливостей для повторної обробки або подальшої обробки даних після того, як дані були завантажені з VNA. TimeWise надає користувачам зручність, гнучкість і контроль процесу замість того, щоб покладатися на дані, згенеровані VNA. Бібліотека дозволяє користувачам обробляти дані вимірювань у будь-який час і з будь-якого місця. Бібліотека також легко інтегрується зі звичайними мовами програмування, такими як Matlab, Python, C# та іншими.

    Загальновідомо, що стробовані результати можуть демонструвати значні «краєві ефекти смуги» через дані вимірювань, обмежені смугою. Отже, ці ефекти призводять до труднощів у розумінні невизначеності вимірювань. «TimeWise включає стандартну техніку обробки країв (метод ренормалізації країв), який часто зустрічається в комерційних VNA. Нещодавно розроблена техніка розширення спектру без крайового стробування (SEEG) включена в TimeWise, щоб значно зменшити крайовий ефект порівняно зі звичайним методом перенормування краю», – сказав Ібо Ван, старший радіочастотний інженер ETS-Lindgren. «Завдяки застосуванню запатентованого алгоритму SEEG для усунення краєвих ефектів смуги ми покращили точність вимірювань у різних сценаріях. Це дозволяє більш ефективно оцінювати невизначеності вимірювань, які стосуються конкретних програм користувача», – додав він.

    Розуміючи, що це новий набір вимірювальних інструментів, д-р Ван створив серію коротких відео, щоб проілюструвати простоту програмного забезпечення TimeWise у поєднанні з Matlab, Python і C#. Ви також можете відвідати наш канал YouTube, щоб переглянути навчальні відео про застосування кількох воріт за допомогою TimeWise та дізнатися більше про запатентовану обробку країв, доступну з TimeWise.

    На додаток до додатків у часовій області, TimeWise однаково добре працює для просторових і спектральних програм, таких як обробка зображень і аналіз спектру в програмах вимірювання антени.

    TimeWise — це лише одне з багатьох провідних програмних рішень для тестування, доступних від ETS-Lindgren. Програмні продукти компанії розроблені професіоналами, які володіють знаннями, отриманими під час підтримки численних додатків EMC, EMF і бездротового тестування. TILE!™ (Програмне забезпечення для інтегрованого лабораторного середовища) це інтегроване тестове середовище для створення та виконання тестів ЕМС. ПЛИТКА! доступний із бібліотекою профілів, призначених для тестування на відповідність міжнародним правилам тестування на випромінювання та несприйнятливість на додаток до кондуктивних випромінювань та стійкості. Програмне забезпечення для вимірювання антени EMQuest™ EMQ-100 пропонує широкий спектр повністю параметризованих методів тестування для вимірювання основних показників ефективності антени, а також тестування як випромінювання, так і кондуктивності різних бездротових пристроїв. Програмне забезпечення ProbeView™ II розроблено для використання з оптоволоконними конвертерами HI-4413P або HI-44USB. Програмне забезпечення VALET™ (лабораторне середовище з голосовою активацією) забезпечує найвищий рівень зручності, ефективності та контролю для вашого тестового середовища. І останнє, але не менш важливе, програмне забезпечення системи візуального моніторингу VisionTRX™ переосмислює автоматичний аналіз рухів тестованого обладнання під час тестування електромагнітної сумісності. VisionTRX візуально відстежує та записує те, що людське око може пропустити за короткий проміжок часу!

    Щоб отримати додаткову інформацію про автоматизоване програмне забезпечення для тестування електромагнітної сумісності, електромагнітної потужності та бездротового зв’язку, а також про програми обслуговування, зв’яжіться з ETS-Lindgren за адресою info@ets-lindgren.com або зателефонуйте за номером +1 512.531.6400.

    Клацніть тут, щоб дізнатися більше про валідацію електромагнітної сумісності на випробувальному майданчику та стандарти вимірювання антени, розроблені ANSC C63. Приєднуйтеся до 1200 глядачів демонстрації ETS-Lindgren Time Domain Measurement Demonstration, доступної тут, щоб отримати детальний огляд методу перевірки електромагнітної сумісності (SVSWR), описаного в ANSI C63.25.1 (від 1 ГГц до 18 ГГц) як альтернативи CISPR 16 SVSWR. .

  • Nielsen отримує акредитацію Media Rating Council для вимірювання Big Data + Panel National TV

    Nielsen отримує акредитацію Media Rating Council для вимірювання Big Data + Panel National TV

    Media Rating Council (MRC) завершила процес акредитації для інноваційного вимірювання Nielsen Big Data + Panel National TV. Це сталося після нещодавньої акредитації Nielsen щодо інтеграції даних першої сторони в прямому ефірі та повторної акредитації традиційних вимірювань Panel. Завдяки цьому Nielsen стає першим акредитованим національним постачальником вимірювань телевізійної аудиторії для Big Data + Panel.«Акредитація Nielsen Big Data + Panel є знаменним моментом для телевізійних рейтингів, оскільки вона назавжди змінить вимірювання аудиторії», — сказав Картік Рао, генеральний директор Nielsen. «Ніхто інший не поєднує високоякісну репрезентативну панель із таким великим набором даних, отриманих від смарт-телевізорів і приставок у понад 45 мільйонах будинків. Я вважаю, що Big Data + Panel дає галузі найточніші вимірювання в історії телебачення. Ми вдячні нашим клієнтам за те, що вони знову допомагають нам впроваджувати інновації».

    Джордж Айві, генеральний директор і виконавчий директор MRC, зауважив: «MRC завершив і оцінив ретельний аудит Національної служби Nielsen і її нових компонентів, включно з потоковою трансляцією першої сторони (наразі складається з окремих ігор NFL) та інтеграцією великих даних. . Зараз ми схвалили інтеграцію великих даних, тому цю комбіновану методологію можна вважати акредитованою MRC. Ця спроба знаменує собою перший випадок, коли MRC акредитував гібридний продукт панелі/великих даних, що включає оцінки на рівні людей».

    «НФЛ продовжує підтримувати зусилля Nielsen щодо модернізації вимірювань, щоб ми всі могли отримати вигоду від точної інформації на ринку медіа, що стає все більш фрагментованим», — сказав Пол Балью, директор з даних і аналітики НФЛ. «Акредитація їхнього рішення Big Data є значним кроком на цьому шляху, і ми дякуємо Nielsen за їх зусилля».

    Big Data + Panel National TV Measurement поєднує високоякісні, репрезентативні панельні дані Nielsen із статистикою кабельних і супутникових приставок і смарт-телевізорів у 45 мільйонах домогосподарств і 75 мільйонах пристроїв. Це вимірювання сприяє плануванню та міжплатформному аналізу аудиторії як в екосистемі Nielsen, так і в системах її партнерів.


    Окрім реклами, рішення підтримує програмування контенту, ліцензійні рішення та угоди про розповсюдження ТБ. Він був широко прийнятий телерадіокомпаніями та агенціями для попереднього сезону 2024 року, і Nielsen схвалив його використання як валюту до 2025 року. Окрім Big Data + Panel, Nielsen розширив Національне вимірювання телевізійних телевізійних програм поза домом, яке розглядається MRC. Nielsen також лідирує в вимірюванні потокового вмісту за допомогою таких продуктів, як рейтинги потокового вмісту, які входять до топ-10 потокових потоків Nielsen, і рейтинги потокових платформ, які інформують The Gauge і Media Distributor Gauge. Для рекламодавців і агентств Nielsen розширив Nielsen ONE, щоб включити можливості результатів поряд із розширеною аудиторією. інструменти планування та вимірювання. Хоча Nielsen ONE наразі не подано до MRC для акредитації, плани оцінки тривають.

  • Увімкнення приватного штучного інтелекту за допомогою інструментів дослідження

    Увімкнення приватного штучного інтелекту за допомогою інструментів дослідження

    Подяки

    Особлива подяка Майклу Ренеру за його важливий внесок у створення Parfait. Безпосередні учасники роботи над сховищами Parfait включають Гален Ендрю, Іша Аркаткар, Шон Огенштайн, Амлан Чакраборті, Захарі Чарльз, Станіслав Чікнаварян, ДеВітт Клінтон, Тейлор Крамер, Кетрін Дейлі, Стефан Діроф, Ренді Доджен, Губерт Айхнер, Нова Фоллен, Кен Франко, Закарі Гарретт, Емілі Гланц, Зої Gong, Suxin Guo, Wolfgang Grieskamp, ​​Mira Holford, Dzmitry Huba, Vladimir Ivanov, Peter Kairouz, Yash Katariya, Jakub Konecný, Artem Lagzdin, Hui Li, Stefano Mazzocchi, Brett McLarnon, Sania Nagpal, Krzysztof Ostrowski, Michael Reneer, Jason Roselander, Кіт Раш, Каран Сінгхал, Майя Співак, Ракшита Тандон, Хардік Вала, Тімон Ван Овервельдт, Скотт Вегнер, Шаншань Ву, Ю Сяо, Чжен Сю, Рень І, Чуньсян Чжен і Веньнань Чжу. Ми також хотіли б подякувати стороннім учасникам і співробітникам TensorFlow Federated протягом багатьох років. Приватною дослідницькою програмою штучного інтелекту, представленою в цих сховищах, керують Деніел Рамідж і Брендан Макмехан за спонсорської підтримки Корінни Кортес, Блейза Агуери і Аркаса та Йоссі Матіаса.

  • Фінансування 10 мільйонів фунтів стерлінгів для нової програми, яка допоможе визначити індивідуальний ризик раку – Cancer Research UK

    Фінансування 10 мільйонів фунтів стерлінгів для нової програми, яка допоможе визначити індивідуальний ризик раку – Cancer Research UK

    Раннє виявлення раку є ключовим для порятунку життів, оскільки рак, діагностований на ранній стадії, коли він не надто великий і не поширився, має більшу ймовірність успішного лікування. Але згідно з нашим аналізом даних NHS, наразі лише 54,4% випадків раку діагностовано на першій і другій стадіях*.

    Але все може змінитися завдяки новому дослідницькому проекту, який сподівається спрогнозувати ймовірність захворювання людини на рак, що може допомогти в ранньому виявленні та профілактиці.

    Cancer Research UK, Національний інститут досліджень охорони здоров’я та догляду (NIHR) і Дослідницька рада з інженерних і фізичних наук (EPSRC) оголосили про фінансування 10 мільйонів фунтів стерлінгів для цього нового проекту, програми виявлення раку, керованої даними.

    Статистика з даних

    Програма Cancer Data Driven Detection спрямована на створення нових моделей, які можна було б використовувати для точного прогнозування того, хто з найбільшою ймовірністю захворіє на рак.

    Програма досягне цього шляхом доступу та зв’язування даних з різних джерел, включаючи дані про стан здоров’я, геномні дані, сімейну історію, демографічні дані та дані про поведінку. Це дозволить дослідникам розробити вдосконалені статистичні моделі, які допоможуть вченим точно передбачити, хто з найбільшою ймовірністю захворіє на рак.

    «Виявлення людей із найвищим ризиком розвитку раку, включно з нечіткими симптомами, є серйозною проблемою», — сказав професор Антоніс Антоніу, директор програми Cancer Data Driven Detection і професор кафедри прогнозування ризику раку в Кембриджському університеті.

    «Сильні сторони Великої Британії в ресурсах даних масштабу населення в поєднанні з передовими аналітичними інструментами, такими як ШІ, пропонують величезні можливості для зв’язування різноманітних наборів даних і виявлення підказок, які можуть призвести до раннього виявлення, діагностики та профілактики більшої кількості ракових захворювань».

    Програма також розроблятиме нові потужні інструменти, які використовуватимуть штучний інтелект (ШІ) для аналізу даних і розрахунку індивідуального ризику раку протягом усього життя.

    «Використовуючи штучний інтелект, щоб дозволити медичним працівникам виявляти людей із підвищеним ризиком захворювання на рак, ця ініціатива може покращити спосіб обстеження та діагностики пацієнтів», — сказала професор Люсі Чаппелл, головний науковий радник Департаменту охорони здоров’я та соціального забезпечення (DHSC). та головний виконавчий директор NIHR.

    «Інструменти цієї програми, керовані штучним інтелектом, можуть сприяти більш ефективному лікуванню та покращенню виживаності, допомагаючи пацієнтам жити довше та здоровіше».

  • 10 основних команд PySpark для обробки великих даних

    10 основних команд PySpark для обробки великих даних

    10 основних команд PySpark для обробки великих даних10 основних команд PySpark для обробки великих даних
    Зображення автора | Ідеограма

    PySpark об’єднує найкраще з двох світів: простоту мови та бібліотек Python і масштабованість Apache Spark.

    У цій статті наведено — через приклади коду — 10 зручних команд PySpark для турбонаддуву конвеєрів обробки великих даних у проектах Python.

    Початкове налаштування

    Щоб проілюструвати використання 10 представлених команд, ми імпортуємо необхідні бібліотеки, ініціалізуємо сеанс Spark і завантажуємо загальнодоступний набір даних про пінгвінів, який описує зразки пінгвінів, що належать до трьох видів, використовуючи комбінацію числових і категоріальних характеристик. Набір даних спочатку завантажується в Pandas DataFrame.

    !pip install pyspark pandas
    
    from pyspark.sql import SparkSession
    import pandas as pd
    
    spark = SparkSession.builder \
        .appName("PenguinAnalysis") \
        .config("spark.driver.memory", "2g") \
        .getOrCreate()
    
    pdf = pd.read_csv("https://raw.githubusercontent.com/gakudo-ai/open-datasets/refs/heads/main/penguins.csv")

    10 основних команд PySpark для обробки великих даних

    1. Завантаження даних у Spark DataFrame

    Spark DataFrames відрізняються від Pandas DataFrames своєю розподіленістю, відкладеним обчисленням і незмінністю. Перетворити Pandas DataFrame так само просто, як використовувати createDataFrame команда.

    df = spark.createDataFrame(pdf)

    Ця структура даних більше підходить для паралельної обробки даних під сценами, зберігаючи багато характеристик звичайних DataFrames.

    2. Виберіть і відфільтруйте дані

    The вибрати і фільтр функції вибирають певні стовпці (функції) у Spark DataFrame та фільтрують рядки (екземпляри), де задана умова відповідає дійсності. У цьому прикладі відбираються та фільтруються пінгвіни роду Gentoo вагою понад 5 кг.

    df.select("species", "body_mass_g").filter(df.species == "Gentoo").filter(df.body_mass_g > 5000).show()

    3. Групові та зведені дані

    Групування даних за категоріями зазвичай необхідне для виконання агрегацій, як-от отримання середніх значень або інших статистичних даних для кожної категорії. Цей приклад показує, як використовувати groupBy і укр команди разом, щоб отримати зведення середніх вимірювань для кожного виду.

    df.groupBy("species").agg({"flipper_length_mm": "mean", "body_mass_g": "mean"}).show()

    4. Функції вікна

    Віконні функції виконують обчислення в рядках, пов’язаних із поточним рядком, наприклад ранжування чи поточні підсумки. У цьому прикладі показано, як створити віконну функцію, яка розбиває дані на види, а потім ранжує пінгвінів за масою тіла в межах кожного виду.

    from pyspark.sql.window import Window
    from pyspark.sql.functions import rank, col
    windowSpec = Window.partitionBy("species").orderBy(col("body_mass_g").desc())
    df.withColumn("mass_rank", rank().over(windowSpec)).show()

    5. Об'єднати операції

    Подібно до операцій об’єднання SQL для об’єднання таблиць, операції об’єднання PySpark об’єднують два DataFrame на основі визначених стовпців, використовуючи кілька політик, як-от ліве об’єднання, праве об’єднання, зовнішнє об’єднання тощо. У цьому прикладі створюється DataFrame, що містить загальну кількість для кожного виду, а потім застосовує ліве об’єднання на основі видів у «стовпці зв’язків», щоб додавати до кожного спостереження у вихідному наборі даних кількість, пов’язану з його видом.

    species_stats = df.groupBy("species").count()
    df.join(species_stats, "species", "left").show()

    6. Функції, визначені користувачем

    PySpark udf дозволяє створювати визначені користувачем функції, по суті спеціальні лямбда-функції, які після визначення можна використовувати для застосування складних перетворень до стовпців у DataFrame. Цей приклад визначає та застосовує визначену користувачем функцію для відображення маси тіла пінгвіна в нову категоріальну змінну, що описує розмір пінгвіна як великий або малий.

    from pyspark.sql.functions import udf
    from pyspark.sql.types import StringType
    size_category = udf(lambda x: "Large" if x > 4500 else "Small", StringType())
    df.withColumn("size_class", size_category(df.body_mass_g)).show()

    7. Зведені таблиці

    Зведені таблиці використовуються для перетворення категорій у стовпці, наприклад сексу кілька стовпців, призначених для опису агрегацій або зведеної статистики для кожної категорії. Нижче ми створюємо зведену таблицю, яка для кожного виду обчислює та відображає середню довжину клюва окремо за статтю:

    df.groupBy("species").pivot("sex").agg({"bill_length_mm": "avg"}).show()

    8. Обробка відсутніх значень

    The заповнити і водянка функції можна використовувати для введення відсутніх значень або очищення набору даних від рядків, що містять відсутні значення. Їх також можна використовувати разом, якщо ми хочемо призначити відсутні значення одного конкретного стовпця, але тоді ми хочемо видалити спостереження, які містять відсутні значення в будь-яких інших стовпцях після цього:

    df.na.fill({"sex": "Unknown"}).dropna().show()

    9. Збережіть оброблений набір даних

    Звичайно, після того, як ми застосували деякі операції обробки до набору даних, ми можемо зберегти його в різних форматах, таких як parquet:

    large_penguins = df.filter(df.body_mass_g > 4500)
    large_penguins.write.mode("overwrite").parquet("large_penguins.parquet")

    10. Виконуйте SQL запити

    Остання команда в цьому списку дозволяє вставляти SQL-запити в команду PySpark і запускати їх у тимчасових представленнях Spark DataFrames. Цей підхід поєднує гнучкість SQL із розподіленою обробкою PySpark.

    df.createOrReplaceTempView("penguins")
    spark.sql("""
        SELECT species, island, 
               AVG(body_mass_g) as avg_mass,
               AVG(flipper_length_mm) as avg_flipper
        FROM penguins 
        GROUP BY species, island
        ORDER BY avg_mass DESC
    """).show()

    Ми настійно рекомендуємо вам потренуватися випробувати ці 10 прикладів команд одну за одною в блокноті Jupyter або Google Colab, щоб ви могли бачити кінцеві результати. Набір даних легко доступний для безпосереднього читання та завантаження у ваш код.

    Іван Паломарес Карраскоса є лідером, автором, доповідачем і консультантом у сфері штучного інтелекту, машинного навчання, глибокого навчання та магістра права. Він навчає та направляє інших у використанні ШІ в реальному світі.