Категорія: Великі Дані та Аналітика

Оскільки ісламські фінанси відзначають своє 50 -річчя з моменту заснування першого ісламського комерційного банку в 1975 році, галузь продовжує демонструвати неабияку стійкість та розширення. У 2024 році глобальні ісламські фінансові активи досягли 5,98 трлн дол. Цьогорічне видання звіту про розвиток ісламських фінансів (IFDI) підкреслює це.

Звіт про розвиток ісламських фінансів 2025 року оцінює глобальну ефективність ісламської фінансової галузі протягом 2024 року, підкреслюючи її трансформацію протягом останніх п'яти десятиліть – від ніші, що пропонує основну фінансову систему у багатьох країнах та регіонах. Аналіз звіту керується даними 140 країн, виміряними в п'яти ключових вимірах: фінансові результати, управління, знання, стійкість та обізнаність.

Звіт запущений у партнерстві з Ісламською корпорацією з розвитку приватного сектору (МКБ) групи Банку ісламського розвитку.

Доступ до повного звіту, щоб дізнатися більше про:

• Погляд на розвиток ісламської фінансової галузі за останні 50 років
• Обов’язкова статистика в глобальній галузі ісламських фінансів та її прогнозоване зростання
• Більшість розвинених країн ісламських фінансів за даними IFDI 2025
• Ексклюзивні інтерв'ю та виконавчі статті провідних професіоналів ісламських фінансів
• Основні ринки та тенденції, що впливають на ісламську фінансову галузь

Це питання, яке я часто отримував від читачів під час написання історій спортивних медіа:

Чому я повинен піклуватися про спортивні глядачі?

Це справедливий запит. Почнемо з вершини, що кількість людей, які переглядають ваш улюблений вид спорту, не (також не повинні) не впливати на ваше задоволення. Спортивна глядачка – це лише одна метрика популярності спорту, але це важливо, враховуючи економіку бізнесу з прав на спортивні медіа в розмірі 30 мільярдів доларів. Там, де транслюються улюблені види спорту, як представлені ці спорт щодо інвестицій у виробничі ресурси, а на загальне фінансове здоров'я спорту впливає дані глядачів.

NFL, як знає більшість фанатів спорту, далеко не є найпопулярнішим видом спорту в Сполучених Штатах, а телевізійна та цифрова глядачка – найбільша причина, що ліга може подати цю претензію. Цього року відчувається, ніби щотижня НФЛ та його медіа -партнери сміливо оголошують через соціальні медіа, що вони досягли нових максимумів у глядачах. Невеликий відбір проб:

• За NFL: Ігри в середньому складають 18,58 мільйонів глядачів (TV + Digital) у 2025 році, найвищий середній показник до 5 -го тижня з 2010 року та другий за рекордом. Ігри NFL зросли на 8 відсотків проти минулого року і на 9 відсотків за 2023 рік.

• Матч 5 тижнів ESPN між шефами Канзас-Сіті та Ягуарами Джексонвілла в середньому становив 22,3 мільйона глядачів, найпопулярнішу гру 5-ти тижневого гри в епоху “Футбол в понеділок в понеділок” (з 2006 року) та на 40 відсотків порівняно з 5 тижні минулого сезону (Saints vs. Chiefs).

• Вікно FOX 16:25 ET в середньому становить 26,3 мільйона глядачів, що на 3 відсотки порівняно з середнім рівнем минулого року до 5 -го тижня.

• Гра в неділю в Лондоні з перемогою Міннесоти Вікінгів над Клівлендом Браунс в середньому склала 6,4 мільйона глядачів, третя найбільш переглянута міжнародна гра NFL Network у рекорді та на 35 відсотків проти середнього значення міжнародних ігор NFL Network.

То який головний рушій цього? Чи більше зацікавлені люди в НФЛ у 2025 році? Це більш конкурентні ігри та кращі поєдинки? Це Нільсен змінює свою методологію (докладніше про це нижче)? Це поєднання всього цього? Немає відповіді на все, але давайте розглянемо деякі з цих речей.

1. Зміни методології Нільсена

Медіа -вимірювальна фірма Nielsen вже давно є стандартом для вимірювання телевізійної аудиторії США. Ці цифри диктують, скільки медіа-компаній можуть стягувати плату за рекламні ролики, і такі показники є фінансовим двигуном засобів масової інформації на основі реклами. Протягом багатьох років Нільсен використовував «панельні» вимірювання для відстеження аудиторії. Панелі складалися з десятків тисяч домогосподарств по всій території Сполучених Штатів, які були обладнані обладнанням, встановленим вдома, щоб забезпечити орієнтовне представництво телевізійних аудиторій, включаючи демонстрації віку, доходу, статі та раси. За оцінками, застаріла панель Нільсена має вибірку з 42 000 будинків, або 101 000 споживачів за спортом.

На початку цього року Нільсен перейшов на те, що він називає національним телевізійним вимірюванням “Big Data + Pane”. На додаток до вимірювання панелі, Нільсен включає дані з мільйонів будинків з кабелем, супутниковими коробками та підключеними до Інтернету смарт-телевізорами. Він має партнерські стосунки з такими компаніями, як Comcast, DirectV, Dish Network, Roku та Vizio, що надає йому доступ до 45 мільйонів домогосподарств та 75 мільйонів цифрових пристроїв лише в США. Nielsen також включив дані першої сторони безпосередньо з певних потокових служб, щоб допомогти виміряти аудиторію для подій у прямому ефірі. Він використовує все це для того, щоб забезпечити те, що він говорить, є більш точним відбором.

Крім того, Нільсен також додав у 2025 році розширення свого «поза домом» вимірювання. Вимірювання поза домом-це те, що це звучить-кількість людей, які переглядають програми, далеко від своїх будинків у таких місцях, як бари, ресторани, готелі чи аеропорти. Це, очевидно, є масовим водієм спорту, враховуючи, скільки людей спостерігають в таких місцях. Переважаючі настрої у спортивному та медіа -підприємствах полягає в тому, що спортивні глядачі давно підраховувались, оскільки OOH не отримав всебічного висвітлення. У 2024 році Нільсен охопив 66 відсотків суміжного телебачення США. Тепер вимірювання OOH Nielsen охоплює 100 відсотків.

Nielsen має конкурентів, таких як ComScore, ispot.tv та відео -підсилювач. Вони більше зосереджуються на цифровій технології вимірювання. Такі, такі як Netflix та Prime Video, також мають власні дані першої сторони, що є для них власним.

“Ми вважаємо, що Big Data + Panel проводить найбільш точне вимірювання на сьогоднішній день для спорту та телебачення в цілому”, – заявив Нільсен у заяві. “У партнерстві з нашими клієнтами ми дуже наполегливо працювали над тим, щоб створити сучасне вимірювання, яке поєднує потужність великих даних з нашою панеллю довірених осіб. Ми поєднуємо кілька справді потужних наборів даних: понад 75 мільйонів кабельних наборів та підключених телевізорів, з нашими масовими панеллю з більш ніж 100 000 людей, представницькою кількістю населення США. готелі “.

2. Так само зміни Нільсена допомогли глядачам NFL?

Моя звітність передбачає, що зміни методології від Nielsen безперечно сприяли глядачам NFL у 2025 році. Журнал Sports Business передбачив у серпні, що панель Big Data + додасть 5-відсотковий підйомник порівняно з вимірюванням лише на панелі, коли справа доходила до помітних телевізійних спортивних подій. Sportico повідомив про покупців реклами, в яких він говорив з оцінкою від 3 -відсоткових та 8 відсотків підйому глядачів для спорту.

Виходячи з розмови з людьми в бізнесі, зростання близько 4 відсотків у глядачі NFL є точним, суворо використовуючи зміни Big Data + Pane для 2025 проти лише панель. Якщо ви включите зміни Big Data + Panel та OOH, ці зміни підняли глядачів NFL у низьких двозначних цифрах, порівняно з минулорічним вимірюванням лише панелі. На даний момент порівняння лише на панелі цього року з лише на панелі минулого року показує невелике зниження через п’ять тижнів.

“Для НФЛ ми бачили невеликий, але очікуваний перевернутий”, – сказала Флора Келлі, старший віце -президент з досліджень ESPN. “I don't think we ever had the expectation that the data was going to be significant for the NFL. For 'Monday Night Football' specifically, it's been how competitive the games have been. If you look at Minnesota-Chicago, a relatively close game. Detroit and Baltimore, a relatively close game. Kansas City and Jacksonville blew past our initial forecasting. We are up 28 percent on 'Monday Night Football' this year, and I think it's mostly because of the competitive ігри. “

“Я б сказав, що зміни були дуже вражаючими, але в той же час трохи менш вражаючими, ніж ми навіть думали, що вони будуть”, – сказав Майк Мулвіхілл, президент Insights та Analytics для Fox Sports. “Я думаю, що вимірювання поза домом відстежувало майже на наші очікування, і НФЛ, і коледж, що, мабуть, більший вплив на колегіальну сторону, ніж на стороні НФЛ. Велика частина даних, щоб це було плюс-4 відсотки, ми шукали, щоб це було трохи більше. Я думаю, що обидві речі є правдивими одночасно-це дуже впливає на те, що ми мали б багато того, щоб це було мало, що ви мали б багато, коли ви мали б багато спорту. Більше цього “.

Те, що мені нагадало, це те, що НФЛ – це завжди чудовисько, незалежно від змін методології. З цією метою реванш Super Bowl Eagles Super Bowl 14 вересня на Fox в середньому склав 33,762 мільйона глядачів за допомогою методології Big Data + Pane. Номер лише на панелі, на Sportico, становив 32,657 мільйонів глядачів. Тож лише невелика відсоткова кількість підйому.

Там, де оновлена ​​методологія Нільсена справді вплинула на футбол коледжу. Мулвіхілл і Келлі погодилися з цим-особливо частини перегляду вдома (яка має загальний сенс).

“Ми бачили, що вимірювання поза домом справді допомагає футболу в коледжі, але ми також бачимо органічне зростання цього року”,-сказала Келлі.

3. Дайте мені діаграму

Немає нічого подібного до футболу NFL, коли мова йде про великі медіа. Ось візуальний приклад для вас. За тиждень 29 вересня по 5 жовтня програмування NFL проводило всі топ-10 місць на найпопулярніших шоу Нільсена про трансляцію, кабель та потокове передавання, використовуючи всіх людей 2 і старше (весь його Всесвіт відбору проб) для живого та того ж дня. (№1 У списку нижче було пізнє вікно, в якому були представлені командири-заряди та леви-бенгали.)

4. Який вплив близьких ігор на глядачів NFL?

Подивіться, вони, очевидно, мають значення. Подумайте про власні звички для перегляду. Якщо ви не граєте в фантазію, мати гроші на гру або є типом вболівальника, який спостерігає за вашою командою в повному обсязі, ви збираєтеся заставити у неконкурентній грі.

Тож наскільки близькі були ігри в цьому сезоні? За дані з NFL:

• У 2025 році було 24 ігор з виграшним іграми за останні дві хвилини регулювання або в понаднормовий час, найбільше за тиждень 5 в історії НФЛ.

• Було 46 ігор, вирішених одним рахунком (8 очок), третьою за кількістю за тиждень 5-ти тижня, лише 2022 (49) та 2024 (48).

• Було проведено 44 ігри, визначені на 7 очок чи менше, третій за найсвіжішим тижнем, що пройшов лише 2024 (47) та 2022 (45).

“Ми розглядаємо довгий перелік факторів на полях раз на місяць протягом сезону НФЛ, і одна з речей, яку ми помітили про перші чотири тижні цього року,-це те, що ігри, які перебувають у одному володінні на таймі, мають більш високу глядачку, ніж вони були за кілька років”,-сказав Мулвіхілл. “Ми бачили більше ігор, які є однопсуальними іграми у другому таймі, ніж були останні пару сезонів. Я думаю, що це дуже важливо”.

Зустрічі полегшують обмін інформацією, прийняття рішень та вирішення проблем та допомагають створити довіру та відносини в команді, відділі та організації. Рішення зустрічей головних гравців (Microsoft, Zoom, Webex, Ringcentral тощо) включають різну ступінь генеративного AI (Gen AI) автоматизації, перекладу, предметів дій тощо, щоб де-наголошували стомлюючі аспекти зустрічей і, таким чином, звільняють час для більш значущих дискусій.

“Але багато людей, яких ви дійсно хочете почути, є найтихішими у вашому підприємстві. Вони виявляються найменш у слабких чатах, вони говорять найменше в командах”, – сказав Крістоф Флейшман, засновник і генеральний директор компанії ” Артур Технологіїпостачальник програмного забезпечення для співпраці AI. “Але якщо ви дасте їм можливість поділитися в комфортній обстановці, вони насправді дадуть вам неймовірне розуміння”.

Нещодавно, Артур Опубліковані результати опитування, що вказують на те, що майже всі 1012 респондентів повідомили про використання AI у своїй щоденній роботі, майже половина використовує AI кілька разів на день. Fleischmann характеризував використання AI респондентів як значною мірою обмежені особистими силосами, які, за його словами, можуть призвести до багатьох інших ідей або винос із опрацьованих даних. Отже, якщо інструменти Gen AI не ґрунтуються на даних компанії, пріоритетам, бізнес -моделі тощо, вони можуть створювати загальні ідеї, навіть якщо вони не галюцинують.

Пов'язаний:Сигнали події Webexone Cisco переходять на комісії під керівництвом AI-під керівництвом

“AI повинен бути високопоставлений і мати знання про своє підприємство та вирішувати той факт, що у вас більше ідей, але ті ж можливості прийняття рішень”,-сказав Флейшман. «AI не сприяє нам приймати кращі рішення, краще узгоджувати наші інтереси або окреслювати те, що ми повинні з'ясувати. Отже, у вас є ті самі вузькі місця, що й раніше, але, але [many] більше ідей ».

Дістатися до кращих рішень як команди вимагає кращого підходу до подання зворотного зв'язку та звуження результатів до того, що можна використовувати та діємо. Артур побудував генеративного помічника AI, Артур Вібра, який вимагатиме відгуків на тему від окремих учасників команди, департаменту або в організації.

Arthur Vibe налаштований з підказкою – наприклад, Ми проводимо глибокий аналіз дайвінгу на нашому недавньому розгортку програмного забезпечення. Залучайте учасників опитування з питаннями, які спонукають їх до розуміння цього процесу. Користувач також налаштовує Arthur Vibe з поведінковою персоною, побудованою з власного досвіду Артура з семінарами та форматами навчання. Одним із прикладів є “аналіз першопричини”, який змушує Vibe нахилятися і натискати на відповіді, а “відгук” надає більш непохитного інтерв'юера. Людський користувач може ввести власні запитання для Vibe, щоб задати, але в іншому випадку Vibe створить власні запитання у відповідності з його запропонованим завданням, персоною та виходячи з того, що говорить опитування.

Пов'язаний:Otter.ai дебютує централізований центр для зустрічі з розуміннями

Отже, замість того, щоб викликати традиційну зустріч, менеджер, який використовує Arthur Vibe, будує те, що в основному є опитуванням, що працює на AI, і надсилає його. Окремі учасники, такі як розробники програмного забезпечення У наступному прикладі, взаємодіють з Arthur Vibe через мову чи текст. Вони вибирають, коли вони займаються, мовою, яку вони віддають перевагу, і вони можуть зайняти стільки часу, скільки хочуть. Опитування також можна встановити на “анонімні” для подальшого заохочення відвертих відповідей.

“Ми намагаємось забезпечити засвоюваний спосіб почути більше людей”, – сказав Флейшман. “Ми вважаємо, що це підвищує якість інформації, яку ви маєте наявні. Це не вирішує вузьке місце рішення на даний момент, але, принаймні, у вас є знання доступні для AI – ви структуровані знання, які раніше були неструктуровані”.

Артур

Після того, як індивідуальні інтерв'ю буде завершено, Vibe генерує звіт (невелика частина якого показана нижче), який агрегує, узагальнює та аналізує неструктуровані дані з окремих інтерв'ю, а також, в цьому прикладі, аналіз настроїв у всіх інтерв'ю. Vibe також надасть рекомендації щодо предметів дій, де члени команди погодилися або не погодилися, і що слід зберегти, почати чи припинити робити.

Пов'язаний:Балансування зручності та ризику для спільних платформ з підтримкою AI

Артур

Після того, як ці неструктуровані знання інтерв'ю структуровані, менеджер може взаємодіяти з даними через інтерфейс чату та задати йому питання щодо даних. Більшість моделей AI можуть бути обґрунтовані унікальними даними організації, але це, як правило, робиться за допомогою бази знань, документації тощо. Підхід Артура дозволяє обґрунтувати її модель – принаймні стосовно теми, що знаходяться на знаннях, які люди мають у своїх головах.

“Змінюючи робочий процес і дозволяючи підприємствам передавати мовчазні знання в доступні знання AI, я думаю, що ми можемо вдосконалити прийняття рішень досить великою мірою”, – сказав Флейшман. “Я думаю, що це величезна можливість, і Vibe – це перший крок, який допоможе вам прорізати шум, не вимикаючи людей”.

Ірландський уповноважений із захисту даних застосовує могутній загальний регламент із захисту даних Європи (GDPR) щодо багатьох найбільших у світі технологічних компаній, включаючи Meta, X, Google, Tiktok та інші, які мають свій європейський штаб в Ірландії.

Протягом багатьох років ірландський авторитет стикався з критикою за те, що він занадто м'який для технологічних гігантів, і критики вказують на важку залежність Ірландії на велику техніку за її внутрішню економіку. Після того, як GDPR набула чинності в 2018 році, пройшло роки, перш ніж DPC почав накладати значні штрафи на технологічних гігантів.

Комісари Ірландського DPC призначаються ірландським урядом за порадами Служби громадських призначення, органу, що надає послуги з підбору персоналу для державних робочих місць. Орган відомий як PublicJobs.

У конфіденційному листі від 14 травня та побаченого Politico, Publicjobs заявив, що зібрав комісію з відбору з п'яти людей, щоб вибрати новітнього начальника конфіденційності. Згідно з листом, до цієї колегії входив консультант Ширлі Кавана на посаді голови, заступника секретаря Міністерства юстиції Дончі О'Салліван, керівник відділу Comgreg Communications Garrett Blaney, спеціаліста з підбору персоналу Publicjobs Луїзи Менті, та Лео Мура, партнера юридичної фірми Вільяма Фрай.

Мур очолює технологічну групу фірми. Він консультував вітчизняні та багатонаціональні компанії, включаючи “кілька” великих технологій “та компаній з соціальних медіа”, йдеться у власному веб -сайті юридичної фірми.

Юридична фірма порадила Microsoft у визначній справі суду, де влада США хотіла отримати доступ до даних на ірландських серверах, йдеться у прес -релізі 2016 року. Ірландські ЗМІ також повідомили, що фірма порадила уряду Ірландії у справі, в якій уряд відштовхнувся від зібрати майже 14 мільярдів євро податків від Apple.

26 вересня 2025 року, після періоду публічного коментаря, Каліфорнійське агентство захисту конфіденційності (“CPPA”) прийняло свої правила щодо запиту на видалення та платформи відмови (“падіння”). Падіння-це інструмент, розроблений для вирішення вимоги Закону про видалення Каліфорнії, щоб CPPA встановила доступний механізм видалення, щоб дозволити споживачам вимагати зареєстрованих посередників даних про видалення всієї не звільненої особистої інформації, пов'язаної з споживачем, за допомогою одного запиту на видалення CPPA.

Відповідно до Закону про видалення, інструмент буде доступний споживачам до 1 січня 2026 року. Починаючи з 1 серпня 2026 року, брокери даних повинні отримати доступ до системи падіння кожні 45 днів для отримання запитів та обробки запитів. Брокери даних повинні переглянути остаточну заяву CPPA про причини та оновити інформативний дайджест, щоб підготуватися до дотримання їх зобов’язань відповідно до Закону про видалення.

Прийняті правила включають ключові оновлення та роз'яснення, включаючи:

• Стандартизація даних. Правила уточнюють стандартизацію даних, необхідну для порівняння списків видалення CPPA, придбаних за допомогою краплі з даними брокера, включаючи звернення до конкретних елементів даних, таких як дата народження, поштовий індекс, номери телефонів та неанглійські мови, а також як хеш-ідентифікатори, коли список видалення містить кілька ідентифікаторів.
• Відповідний поріг. У відповідь на занепокоєння, що початковий поріг відповідності 50% для видалення даних був занадто низьким і може призвести до видалення даних споживача, коли вони не вимагали його видалення, правила видаляють поріг 50%, що призводить до необхідності 100% поріг матчу для видалення.
• Утримання запитів на видалення споживачів. Положення додають мову, розробленої для уточнення, що брокери даних повинні підтримувати споживчу інформацію, надану CPPA через падіння, навіть коли інформація не відповідає жодному з їх існуючих споживчих записів. Це оновлення підтримує вимогу в регламенті посередників даних для моніторингу нещодавно зібраних записів для особистої інформації, що стосується споживача, який раніше подав запит на видалення.
• Постачальники послуг та підрядники. Відповідно до Закону про видалення, брокери даних повинні направляти постачальників послуг та підрядників, щоб дотримуватися запиту про видалення споживача. У відповідь на занепокоєння посередників даних щодо того, як виконати цю вимогу, регламенти уточнюють, що брокери даних можуть поділитися мінімальною особистою інформацією, необхідною для постачальників послуг та підрядників для полегшення дотримання запиту на видалення.
• Перевірка резиденції Каліфорнії. Положення передбачають, що CPPA потребує перевірки проживання в Каліфорнії споживача до подання запиту на видалення через падіння. Положення також уточнюють, що уповноважений агент може допомогти споживачеві подати запит на видалення лише після того, як CPPA перевірила резиденцію Каліфорнії споживача.

Приєднуйтесь до кафедри інформатики для колоквіуму з доктором Прією Дешпанде в середу, 8 жовтня, з 13:00 до 14:00 у Кудахі Холл 414.

Deshpande обговорить, як масові обсяги біомедичних даних – генеровані в лікарнях, лабораторіях та науково -дослідних інститутах – можуть бути краще інтегровані та повторно використані для підтримки інновацій у галузі охорони здоров'я. Її дослідження зосереджуються на розробці інтелектуальних алгоритмів, які полегшують пошук, очищення та підключення складних наборів даних, що сприяє скороченню часу та вартості підготовки даних. Ці методи не тільки покращують прийняття клінічних рішень, але й пропонують масштабовані рішення для інших галузей, що стосуються роздроблених даних.

Дешпанде – доцент кафедри електротехніки та комп'ютерної інженерії в Маркетті та старший член IEEE. Її робота охоплює машинне навчання, обробку природної мови та великі аналітики даних з акцентом на біомедичну інформатику.

Всі вітаються.

Зображення автором

# Вступ

Дослідницький аналіз даних (EDA) є ключовою фазою будь -якого проекту даних. Він забезпечує якість даних, генерує розуміння та надає можливість виявити дефекти даних, перш ніж почати моделювання. Але будьмо справжніми: Ручна EDA часто повільна, повторювана та схильна до помилок. Написання одних і тих же ділянок, перевірок або підсумкових функцій неодноразово може спричинити час і увагу протікати, як друшляк.

На щастя, поточний набір автоматизованих інструментів EDA в Пітон Екосистема дозволяє проводити ярлики на більшу частину роботи. Приймаючи ефективний підхід, ви можете отримати 80% розуміння лише 20% роботи, залишаючи решту часу та енергії, щоб зосередитись на наступних кроках генерування розуміння та прийняття рішень.

# Що таке дослідницький аналіз даних EDA?

По суті, EDA – це процес узагальнення та розуміння основних характеристик набору даних. Типові завдання включають:

• Перевірка наявності відсутніх значень та дублікатів
• Візуалізація розподілів ключових змінних
• Дослідження кореляцій між функціями
• Оцінка якості та послідовності даних

Пропуск EDA може призвести до поганих моделей, оманливих результатів та неправильних бізнес -рішень. Без нього ви ризикуєте будувати моделі на неповні або упереджені дані.

Отже, тепер, коли ми знаємо, що це обов'язково, як ми можемо зробити це простішим завданням?

# “Ледачий” підхід до автоматизації EDA

Бути “лінивим” вченим даних не означає бути недбалим; Це означає бути ефективним. Замість того, щоб винаходити колесо щоразу, ви можете покластися на автоматизацію для повторних перевірок та візуалізацій.

Такий підхід:

• Економить час, уникаючи коду котла
• Забезпечує швидкі виграші, генеруючи повні огляди набору даних за лічені хвилини
• Дозволяє зосередитись на інтерпретації результатів, а не на генеруванні їх

То як ви цього досягли? Використовуючи бібліотеки та інструменти Python, які вже автоматизують більшу частину традиційного (і часто нудного) процесу EDA. Деякі з найбільш корисних варіантів включають:

// Pandas-Profiling (тепер Ydata-Profiling)

Ідата Генерує повний звіт EDA з одним рядком коду, що охоплює розподіли, кореляції та відсутні значення. Він автоматично позначає такі проблеми, як перекошені змінні або дублювання стовпців.

Використовуйте випадок: швидкий, автоматизований огляд нового набору даних.

// Солодкий

Солодкий Створює візуально багаті звіти з фокусом на порівняннях наборів даних (наприклад, Train vs. Test) та підкреслює відмінності розподілу між групами або розколами.

Використовуйте випадок: перевірка узгодженості між різними розщепленнями набору даних.

// Автовиц

Автовиц Автоматизує візуалізацію шляхом генерування ділянок (гістограми, розсіювальні ділянки, коробки, теплові карти) безпосередньо з необроблених даних. Це допомагає розкрити тенденції, перевищення та кореляції без ручного сценарію.

Використовуйте випадок: швидке розпізнавання шаблонів та дослідження даних.

// D-Tale та Lux

Інструменти, як D і Розкіш повернути панд DataFrameS в інтерактивні інформаційні панелі для розвідки. Вони пропонують інтерфейси, що нагадують графічний графічний інтерфейс (D Talle у браузері, Lux у зошитах) із запропонованими візуалізацією.

Використовуйте випадок: Легка, розвідка GUI для аналітиків.

# Коли вам все ще потрібна вручна EDA

Автоматизовані звіти потужні, але вони не срібна куля. Іноді вам все одно потрібно виконати власну EDA, щоб переконатися, що все йде за планом. Посібник EDA є важливим для:

• Інженерія функцій: розробка конкретних перетворень домену
• Контекст домену: Розуміння того, чому з’являються певні значення
• Тестування гіпотез: перевірка припущень за допомогою цільових статистичних методів

Пам'ятайте: бути “ледачим” означає бути ефективним, а не необережним. Автоматизація повинна бути вашою початковою точкою, а не вашою фінішною лінією.

# Приклад робочого процесу Python

Щоб об'єднати все разом, ось як може виглядати “ледачий” робочий процес EDA. Мета полягає в тому, щоб поєднати автоматизацію з достатньою кількістю ручних перевірок, щоб покрити всі бази:

import pandas as pd
from ydata_profiling import ProfileReport
import sweetviz as sv

# Load dataset
df = pd.read_csv("data.csv")

# Quick automated report
profile = ProfileReport(df, title="EDA Report")
profile.to_file("report.html")

# Sweetviz comparison example
report = sv.analyze([df, "Dataset"])
report.show_html("sweetviz_report.html")

# Continue with manual refinement if needed
print(df.isnull().sum())
print(df.describe())

Як працює цей робочий процес:

1. Завантаження даних: Прочитайте свій набір даних у панди DataFrame
2. Автоматизоване профілювання: Пробігати ydata-profiling Щоб миттєво отримати звіт про HTML з розподілами, кореляцією та перевірок пропущених вартості
3. Візуальне порівняння: Використання Sweetviz Щоб створити інтерактивний звіт, корисно, якщо ви хочете порівняти розбиття поїздів/тестів або різні версії набору даних
4. Ручне вдосконалення: Автоматизація комплементу з кількома рядками вручну EDA (перевірка нульових значень, підсумкові статистики або конкретні аномалії, що стосуються вашого домену)

# Найкращі практики для “лінивої” EDA

Щоб максимально використати свій “лінивий” підхід, пам’ятайте про ці практики:

• Спочатку автоматизуйтеся, потім вдосконалюйте. Почніть з автоматизованих звітів, щоб швидко охопити основи, але не зупиняйтесь на цьому. Мета полягає в дослідженні, особливо якщо ви знайдете області, які вимагають більш глибокого аналізу.
• Перехресний знак із доменними знаннями. Завжди переглядайте автоматизовані звіти в контексті бізнес -проблеми. Проконсультуйтеся з експертами з предметів, щоб перевірити результати та забезпечити правильність інтерпретацій.
• Використовуйте суміш інструментів. Жодна бібліотека не вирішує кожну проблему. Поєднайте різні інструменти для візуалізації та інтерактивної розвідки, щоб забезпечити повне покриття.
• Документ та ділиться. Магазин створив звіти та поділіться ними з товаришами по команді для підтримки прозорості, співпраці та відтворюваності.

# Загортати

Дослідницький аналіз даних занадто важливий, щоб ігнорувати, але це не потрібно смоктати час. За допомогою сучасних інструментів Python ви можете автоматизувати велику частину великого підйому, забезпечуючи швидкість і масштабованість, не жертвуючи розумінням.

Пам'ятайте, “ледачий” означає ефективне, не недбале. Почніть з автоматизованих інструментів, уточнюйте за допомогою ручного аналізу, і ви витратите менше часу на написання коду котла та більше часу пошуку значення у своїх даних!

Йозеп Феррер є інженером аналітики з Барселони. Він закінчив фізичну інженерію і в даний час працює в галузі наукових даних, застосованих до мобільності людини. Він є творцем вмісту за сумісництвом, орієнтованим на науку та технології даних. Йозеп пише про всі речі AI, висвітлюючи застосування поточного вибуху в цій галузі.

WASHINGTON-Запуск компанії Firefly Aerospace уклала угоду на суму приблизно 855 мільйонів доларів на придбання Scitec, фірми, орієнтованої на програмне забезпечення, яка має досвід у галузі великих даних, відстеження ракет та дистанційне зондування, при цьому угода, як очікується, завершиться до кінця року.

Цей крок позиціонує Firefly, щоб увійти в галузь, що годує шаленство, коли Пентагон читає плани придбання в рамках підмітного плану Золотого купола адміністрації Трампа щодо створення всебічного повітряного та ракетного захисту над батьківщиною.

“Придбання Scitec посилює нашу здатність підтримувати зростаючу кількість оборонних місій та надає нам значну операційну перевагу”, – заявив генеральний директор Firefly Джейсон Кім у прес -релізі в неділю, який оголосив про придбання.

“Програмне забезпечення, підтверджене місією Scitec та можливості обробки великих даних, забезпечують військовослужбовців швидкою, точною інформацією, що дозволяє забезпечити обґрунтовані рішення, які захищають нашу батьківщину від нових загроз. Ці можливості значно підвищують нашу здатність доставляти інтегровані, визначені програмними рішеннями для критичних імперативів національної безпеки, зокрема Золотого Купола”,-сказав він.

Калеб Генрі, директор з досліджень у Quilty Space, повідомив про порушення оборони, що придбання приносить Firefly більше, ніж технології, пов'язані з золотим куполом.

“Золотий купол напевно є мотиватором, але ця угода також забезпечує Firefly різноманітними потоками доходів. Scitec є позитивним грошовим потоком, і допомагає Firefly розвиватися від інтенсивного запуску до зрілого, грошової компанії”,-сказав Генрі.

Scitec у 2021 році виграла контракт агентства з розвитку космічного розвитку, щоб продемонструвати програмне забезпечення для обробки даних для командування, контролю та комунікації для своїх перших прототипів відстеження ракет/супутників відстеження ракетів. Фірма також перебуває у договорі з програмним забезпеченням Space Systems для забезпечення розповсюдження та занепокоєння, майбутньої оперативно стійкої еволюції наземної еволюції (Forge) для спадкоємців, що базуються на космічній силі, (SBIRS) супутників ракетних попереджувань та двох майбутніх сузір'я: наступного покоління постійного інфрачервоного відстеження (середнього відстеження расільної зауваження/рамки.

В даний час Firefly укладає контракт на дві місії Space Force Victus Series у рамках програми тактично реагувати на послугу (TACRS), спрямовану на демонстраційну можливість швидкого запуску. Програма Victus також служить тестуванням супутників поінформованості про космічну область з більшою маневренністю, ніж шість поточних геосинхронних космічних ситуацій з обізнаності (GSSAP) сусідських годинників.

Firefly був підданий підтримці, щоб надати послуги запуску для справжньої аномалії, яка у вересні 2024 року виграла один із двох контрактів на космічні сили (разом з ракетною лабораторією) для місії “Віклус”, яка передбачає операцію з рандеву та близькості. У лютому Firefly була використана службою, щоб здійснити трохи загадкову місію Victus Sol, яка розпочне оперативний супутник (імовірно, також з маневрувальною здатністю).

Правда, аномалія та ракетна лабораторія, як очікується, отримають свої місії Victus Haze цього року, але космічні сили затримали запуск True Anomaly через невдачу у квітні окремого запуску, здійсненого Firefly “Шостий політ” Альфа -ракети, повідомив генерал -генерал Філіп Гарант, керівник космічних систем, журналістам 24 вересня.

Він пояснив, що поки запуск перевозив корисну навантаження для Lockheed Martin, а не космічну силу, послуга повинна зрозуміти, що пішло не так.

“Таким чином, ми завжди дивимось на кросовери, – сказав Гарант, – щоб переконатися, що ми не будемо повторювати ті самі помилки, якщо ви хочете. Ми все ще рухаємось вперед, працюємо з нашим партнером, щоб переконатися, що вони готові”.

Що ще гірше для Firefly, 30 вересня підсилювач для Alpha Flight 7 (також перенести супутник Lockheed Martin) підірвав на стартовій майданчику в передповітряному випробуванні.

Згідно з веб -сайтом аналізу фондового ринку The Motley Fool, акції Firefly впали на 35,4 відсотка Минулого місяця через проблеми, після сильного початку з його первинним публічним пропозицією в серпні.

Після завершення розслідування Федеральної авіаційної адміністрації після невдачі запуску квітня, Джорді Паредес Гарсія, головний інженер Firefly в програмі Альфа, заявив, що компанія взяла на борт “уроки засвоєні” та здійснила “коригуючі дії” для підвищення надійності ракети.

“У Firefly технічні виклики – це не дорожні блоки – вони каталізатори”, – сказав Джорді Паредес Гарсія, головний інженер Alpha в Firefly Aerospace. «Кожна місія надає нам більше даних і дозволяє нам постійно вдосконалюватися, він написав у аркуші фактів на веб -сайті Firefly.

Що стосується придбання Scitech, то цей крок широко не з'явився в промисловості, щоб стати величезним сюрпризом.

Філіп Ховер-Смоут, генеральний директор Scout Space, опублікував у неділю на LinkedIn: “Ще один постачальник можливостей поінформованості про космічну область, який піднімався починаючим прем'єр-міністром, який прагне збільшити Пвін на заняттях Золотого купола. Не перший, а не останній”.