Категорія: Великі Дані та Аналітика

  • Інтерв'ю з засновником та генеральним директором Сомешем Саксена про компанію з спостереження за даними

    Інтерв'ю з засновником та генеральним директором Сомешем Саксена про компанію з спостереження за даними

    Pantomath – це платформа для спостережливості та відстеження даних для автоматизації операцій даних. Pulse 2.0 опитував генерального директора Pantomath та засновника Сомеша Саксена, щоб дізнатися більше про компанію.

    Фон Саксена

    Somesh saxena

    Не могли б ви розповісти мені більше про свій досвід? Саксена сказав:

    «Я витратив більшу частину своєї кар’єри, працюючи в даних та аналітиці. Перед тим, як засновати Pantomath, я провів зусилля з даних та аналітики в General Electric Aerospace, де я підтримував 18 000 споживачів даних через команду на 100 осіб. Мої обов'язки охоплювали дані та аналітику підприємства, дані про самообслуговування, великі дані, управління даними та автоматизацію робототехнічних процесів, даючи мені глибоке розуміння проблем, з якими стикаються групи даних ».

    Формування компанії

    Як зійшла ідея для компанії? Саксена поділився:

    «З мого власного досвіду та розмов з однолітками галузі я бачив, як компанії прагнуть бути керованими даними-панелі інформаційних панелей, аналітики та трубопроводів даних у сучасному стеку даних-все ще стикається з проблемами надійності даних. Ці питання часто призводять до поганого прийняття рішень та стирання довіри до даних, в кінцевому рахунку впливають на результати діяльності бізнесу. Виправлення цих проблем, як правило, є повільним ручним процесом, що включає декілька команд та вимагає великих знань, щоб простежити першопричину в складних трубопроводах даних, що призводить до втраченої продуктивності та простою даних. Ідея Pantomath народилася з цього головного больового пункту, який переживають як команди даних, так і споживачі даних. Бачення полягало в тому, щоб створити продукт, який забезпечує спостереження та відстеження в цілому в кінці в кінці, що дозволяє командам виявляти проблеми в режимі реального часу, спростити усунення несправностей та миттєво вирішувати інциденти ».

    Улюблена пам’ять

    Яка ваша улюблена пам’ять, яка працює для компанії досі? Саксена відображається:

    «Один з найдивовижніших моментів, які я мав у компанії, – це день, коли ми запустили наш перший клієнт. Наше програмне рішення автоматично виводило кожен складний трубопровід даних по всій їхній екосистемі даних. Ця технологія, яка до цього не існувала автоматичних трубопроводів міжсистемних даних. Наша команда невтомно працювала, щоб створити цей інноваційний продукт, і бачити, як він оживає, – це пам’ять, яку я завжди буду плекати ».

    Основні продукти

    https://www.youtube.com/watch?v=xfsfsfkshmi

    Які основні продукти та функції компанії? Саксена пояснив:

    “Основні продукти

    Платформа спостереження за даними: Забезпечує видимість в цілому в трубопроводах даних, допомагаючи командам контролювати, усунути несправності та підтримувати надійність своїх систем даних.

    Простежуваність трубопроводу: Допомагає користувачам відстежувати потік даних у різних системах, гарантуючи, що вони можуть визначити, відстежувати та вирішити будь -які проблеми в трубопроводах даних.

    Надійність даних: Забезпечує, що дані є точними, повними та надійними, підтримуючи ключові процеси прийняття рішень.

    Моніторинг якості даних: Автоматизований моніторинг якості даних за допомогою сповіщень про потенційні аномалії чи проблеми, забезпечення даних відповідає визначеним стандартам.

    Основні особливості:

    -Справжній моніторинг в кінці: забезпечує розуміння в режимі реального часу та постійний моніторинг у всьому стеку даних, від прийому до трансформації до споживання.

    – Виявлення аномалії: Використовує алгоритми машинного навчання для виявлення несподіваних змін або аномалій у моделях даних, що допомагає запобігти поганим даними впливати на бізнес -операції як для даних у спокої, так і в русі даних.

    – Аналіз першопричин: швидко визначає першопричини проблем даних, пропонуючи детальну інформацію про продуктивність та здоров'я трубопроводу даних.

    -Аналіз впливу: Зрозумійте вплив проблем даних нижче за течією та керованого шляху до вирішення через відстеження кінця до кінця значно зменшуючи час від помилки до роздільної здатності.

    – Налаштовані інформаційні панелі: Індивідуальні інформаційні панелі, які дозволяють командам візуалізувати показники ефективності даних та відстежувати відповідні KPI.

    – Дієте сповіщення та сповіщення: надсилає сповіщення правильним інженерам даних та зацікавленим сторонам, коли проблеми виявляються в трубопроводі або якість якості даних, допомагаючи командам швидко реагувати на проблеми. Ви можете позначити різні команди на частини трубопроводу, за які вони відповідають, або тип проблем, що виникає, що призводить до зменшення сповіщення шуму.

    – Підтримка відповідності та управління: забезпечує дотримання політики управління даними, включаючи аудиторські стежки, контроль доступу та звітність про відповідність.

    Еволюція технології компанії

    Як розвивалася технологія компанії з моменту запуску? Саксена зазначив:

    «Як і будь -яка програмна компанія, наша технологія пережила природну криву зрілості. Ми спочатку побудували його для швидкості, а не масштабу. Ми хотіли залишатися схильними, щоб швидко йти і довести собі, що ми можемо побудувати інноваційну функціональність, яку ми налаштували на створення. А потім почав поступово зменшувати його для наших клієнтів. І коли зростає і розмір нашого середовища клієнтів, і клієнтська база, нам довелося продовжувати масштабувати та дозрівати нашу технологію, щоб задовольнити більш високі вимоги обсягу та складності. Оскільки більшість наших клієнтів є великими підприємствами, нам довелося порівняно пройти цю криву зрілості ».

    Значні віхи

    Якими були деякі з найважливіших етапів компанії? Саксена цитується:

    «Кілька найзначніших етапів включають підняття нашого першого раунду венчурного капіталу, об'єднуючи початкову команду в наш офіс у перший день, день, коли ми вперше запустили наш продукт із клієнтом №1 та слухаючи всіх наших щасливих клієнтів про Цінність Pantomath додає і як вони починають і закінчують свій день нашим продуктом ».

    Історії успіху клієнтів

    Запитав Саксену про історії успіху клієнтів, він підкреслив:

    Paycor: Pantomath допоміг PayCor значно покращити передбачуваність та надійність виставлення рахунків, забезпечуючи спостереження за даними. Це дозволило PayCor визначити та виправити проблеми з даними за тиждень до того, як вони можуть вплинути на рахунки -фактури, скоротити час відновлення з днів до годин.

    TQL: Pantomath надав команді даних TQL більше розуміння своїх даних та своїх залежностей, а також допомагає зрозуміти використання та точність звітів для міграції від Прем до хмари. Тепер вони можуть точно зрозуміти, які дані використовуються – і команда змогла зменшити кількість звітів BI з понад 3000 до 500.

    Кріст: Pantomath дозволив Lendly, щоб активно контролювати свої трубопроводи даних, скорочуючи усунення несправностей та підвищення надійності їх критичних процесів, орієнтованих на клієнтів.

    COTERIE: Спостережність даних Pantomath дозволило COTERIE виявити проблеми якості даних у режимі реального часу, забезпечуючи плавні операції та швидше вирішення випусків.

    Фінансування

    Запитав Саксену про деталі фінансування компанії, він виявив:

    Pantomath зібрав 14 мільйонів доларів у серії A на чолі з Sierra Ventures 16 жовтня 2023 року та очікування серії B піднімає в найближчому майбутньому. На основі доходів та інших показників, Pantomath – один з найшвидших стартапів у країні, і ми тільки починаємо ».

    Загальний адресний ринок

    Який загальний розмір ринку (TAM) переслідує компанія? Саксена оцінюється:

    «Проблема надійності даних та питань якості даних полягає в більшості організацій, особливо великих підприємств, які прагнуть бути керованими даними. Ми бачимо майбутнє, де Pantomath дає змогу тисячам підприємств у всьому світі з здоровими та надійними даними ».

    Диференціація від конкуренції

    Що відрізняє компанію від її конкуренції? Саксена підтвердив:

    «Що відрізняє Pantomath-це те, що його конкуренти в першу чергу зосереджуються на якості даних, моніторингу даних про дані, що є лише частиною головоломки. Пантомат, з іншого боку є частиною, тому користувачі точно знають, що зламано, де воно порушено, і чому він зламаний. Це дозволяє спостерігати та простежуваність у всьому трубопроводі даних, щоб забезпечити вирішення в реальному часі як інцидентів якості даних, так і оперативних інцидентів, пов'язаних з роботою. На відміну від інших рішень щодо спостереження за даними, які є просто “перевіркою світла двигуна” для своїх користувачів, Pantomath виступає як інструмент для вирішення проблем, який надає механіку автомобіля миттєву причину проблеми та дає можливість більш швидкого часу для вирішення “.

    Майбутні цілі компанії

    Які є цілі майбутньої компанії компанії? Саксена зробив висновок:

    «Ми розробляємо інноваційні функції Genai, розроблені для автоматизації аналізу кореневих причин для надійності даних та питань якості, а також дозволяють повністю автоматизоване самолікування для трубопроводів даних. Це перетворить те, як організації керують та підтримуватимуть свої трубопроводи, значно підвищуючи продуктивність, скорочуючи час вирішення та сприяють більшій довірі до даних для підтримки справді керованої даними культурою ».

  • Науковий робочий процес для тестування гіпотез у виявленні наркотиків

    Науковий робочий процес для тестування гіпотез у виявленні наркотиків

    Вчені з виявлення наркотиків розробляють та тестують складні гіпотези за допомогою даних та досвіду та будують робочі процеси для підтримки цього. У цій третій та останній статті доктор Рамдерпал Сінгх та Ніна Трутер узагальнюють інструменти, що використовуються в науковому робочому процесі – і включають ключові міркування.

    Концепція медичних технологій. Віддалені ліки. Електронний медичний запис.Концепція медичних технологій. Віддалені ліки. Електронний медичний запис.


    Протягом усього робочого процесу, описаного на малюнку 1, різні інструменти можуть відігравати вирішальну роль у полегшенні кожного етапу аналізу. Від генерації гіпотез до очищення та інтерпретації даних відповідне використання інструментів може значно підвищити ефективність та точність дослідницького процесу.

    1. Інструменти генерації даних та гіпотези

    Такі інструменти, як Міро, що генерують діаграми, є важливими для відображення гіпотез. Міро дозволяє дослідникам створити візуальне зображення взаємозв'язку між білками, генами або шляхами, що допомагає уточнити очікувані взаємодії в рамках вивчення біологічної системи. Цей вид зображення особливо корисний на етапі генерації гіпотез, де дослідники все ще досліджують взаємозв'язок між різними біологічними компонентами.

    Chatgpt корисний для мозкового штурму та генерування нових дослідницьких ідей, а також може бути використаний для вивчення можливих шляхів або взаємодії з білками, вводячи ключові терміни або гени. Цей інструмент, хоча і корисний для генерування ідей, слід обережно використовувати. Хоча він може забезпечити нові шляхи або гіпотези для дослідження, він не повинен замінювати суворий огляд літератури чи емпіричні докази.

    2. Інструменти для очищення даних та описової аналітики

    Excel залишається одним із найпоширеніших інструментів для очищення даних та описової аналітики у багатьох дослідженнях досліджень. Дослідники використовують Excel для таких завдань, як сортування даних, ідентифікація переживань та генерування основних ділянок. Однак для великих наборів даних Excel має свої обмеження як з точки зору масштабованості, так і складності. Такі інструменти, як R та Python, з такими бібліотеками, як Pandas для маніпулювання даними та Matplotlib для візуалізації, надають надійні рішення для обробки великих наборів даних та проведення розширених статистичних аналізів. Наприклад, бібліотеки Scipy та Statsmodels Python пропонують передові інструменти для тестування гіпотез, регресійного аналізу та інших складних статистичних процедур, які перевершують можливості Excel. Chatgpt та claude.ai є корисними інструментами для розширення можливостей вчених без досвіду кодування, надаючи власний написаний код для конкретних аналізів та виконання цього коду. Знову ж таки, це не є заміною для суворих аналізів науковцями даних; Однак, де вчені дані недоступні, це дозволяє вивчити дані, що перевищують можливості Excel.

    Ще одним потужним інструментом робочого процесу є база даних Pathway Kegg, яка допомагає дослідникам відобразити, як взаємодіють білки та гени всередині відомих біологічних шляхів. Це особливо корисно під час фази тестування гіпотез, оскільки дозволяє дослідникам візуалізувати, як їхні інтереси вписуються в більш широкі біологічні процеси. База даних про шляху Kegg надає розуміння метаболічних шляхів, генетичних взаємодій та механізмів захворювання, які мають вирішальне значення для розуміння того, як набір даних може інформувати наше розуміння складних біологічних явищ, таких як трансдукція сигналу, проліферація клітин або імунні реакції.

    Бази даних генів онтології, такі як струнні та реактивні,-це додаткові інструменти, які можуть бути використані для розуміння взаємодій білка-білка та їх участі в клітинних процесах. Ці інструменти є важливими для інтерпретації результатів аналізу даних, особливо коли набір даних виявляє несподівані або нові взаємодії між білками, які потребують подальшого дослідження.

    3. Інструменти для відображення мережі та взаємодії

    У міру того, як біологічні набори даних зростають у складності, інструменти на основі графіків стали важливими для візуалізації та аналізу взаємодій білка-білок та генних мереж. Наприклад, Cytoscape – це широко використовуваний програмний інструмент для візуалізації молекулярних мереж взаємодії та інтеграції їх з профілями експресії генів та іншими даними. У дослідженні, орієнтованому на виявлення наркотиків, розуміння взаємодії між множинними білками або генами має вирішальне значення для виявлення потенційних цілей наркотиків або розуміння механізмів стійкості до лікарських засобів.

    Підходи на базі мережі також стають все більш поширеними, оскільки дослідники мають на меті представляти складні біологічні дані більш інтуїтивно зрозумілими способами. Візуалізуючи дані як мережі чи графіки, вчені можуть легше ідентифікувати вузли, вузькі місця або ключові гравці в біологічних процесах, що дозволяє їм зосередити свої зусилля на найважливіших компонентах системи.

    4. Інструменти літератури та курації даних

    Курація даних є ключовою частиною будь -якого робочого процесу, особливо при роботі з великими наборами даних або інтеграції даних з декількох джерел. Такі інструменти, як GeneCards, корисні для отримання детальної інформації про гени та їх функції. GeneCards пропонує всебічну інформацію, пов'язану з генами, такі як шляхи, взаємодія та захворювання, пов'язані з кожним геном. Ця інформація є неоціненною при створенні гіпотез або перевірки висновків, оскільки вона забезпечує глибше розуміння того, як певний ген або білок вписується в більш широкий біологічний контекст.

    Окрім генекартів, такі інструменти, як Mendeley та Zotero, корисні для управління науково -дослідними роботами та посиланнями, особливо для дослідників, які покладаються на огляди літератури для підтримки їх гіпотез та аналізів. Правильне управління довідками забезпечує ефективне відстеження джерел та підтримує цілісність роботи.

    5. AI та інструменти машинного навчання

    У міру того, як набори даних біологічних досліджень зростають у розмірах та складності, використання інструментів AI та машинного навчання стає більш критичним. Chatgpt може функціонувати як інструмент для мозку для генерування гіпотез або вивчення можливих шляхів, і хоча цей інструмент все ще є відносно новим у дослідницькій спільноті, він представляє зростаючий перехрестя між ШІ та виявленням наркотиків. Chatgpt може допомогти, узагальнюючи літературу, пропонуючи нові кути розслідування або навіть допомагаючи вивчити великі набори даних способами, які були б занадто трудомісткими для огляду вручну.

    Інші інструменти машинного навчання, такі як TensorFlow або Pytorch, можуть бути використані для аналізу великих наборів даних та визначення моделей, які можуть бути не відразу очевидними традиційними методами. Ці інструменти дозволяють дослідникам будувати прогнозні моделі, класифікувати дані або визначати нові асоціації між змінними. У виявленні наркотиків моделі машинного навчання використовувались для прогнозування ефективності наркотиків, оптимізації складних структур і навіть імітації біологічних систем.

    Робочий процес високого рівня для раннього виявлення наркотиків.Робочий процес високого рівня для раннього виявлення наркотиків.

    Малюнок 1: Ілюстрація продемонструвати робочий процес високого рівня для раннього виявлення наркотиків.

    Підсумок інструментів та баз даних, що використовуються в робочому процесі:

    1. База даних Kegg Pathway – база даних шляху KEGG (Kyoto Encyclopedia генів та геномів) надає інформацію про молекулярну взаємодію та реакційні мережі для різних біологічних шляхів. https://www.kegg.jp/kegg/pathway.html
    2. База даних рядків-база даних відомих та прогнозованих взаємодій білок-білок, інтегруючи як фізичні, так і функціональні асоціації. https://string-db.org
    3. Reactome-база даних про куратор, що куратор, яка забезпечує розуміння біологічних процесів та молекулярних взаємодій. https://reactome.org
    4. GeneCards – всебічна база даних, яка надає детальну інформацію про всі відомі та прогнозовані гени людини, включаючи функції, шляхи та пов'язані з цим захворювання. https://www.genecards.org
    5. Cytoscape – програмна платформа для візуалізації молекулярних мереж взаємодії та інтеграції цих мереж з профілями експресії генів та іншими даними. https://cytoscape.org
    6. Менделі – керівник довідника та академічна соціальна мережа, яка допомагає дослідникам організовувати науково -дослідні роботи, співпрацювати в Інтернеті та відкривати останні наукові дослідження. https://www.mendeley.com
    7. Zotero-безкоштовний, простий у використанні інструмент, який допомагає дослідникам збирати, організовувати, цитувати та ділитися дослідженнями. https://www.zotero.org
    8. TensorFlow-платформа з відкритим кодом для машинного навчання, яка зазвичай використовується для глибоких навчальних додатків та великого аналізу наборів даних. https://www.tensorflow.org
    9. Pytorch-бібліотека машинного навчання з відкритим кодом на основі бібліотеки факелів, яка використовується для таких додатків, як комп'ютерне бачення та обробка природної мови. https://pytorch.org

    Про автора

    Д -р Рамдерпал Сінгх

    Рамдерпал-СінгхРамдерпал-Сінгх

    Д-р Рамдерпал Сінгх-визнаний прозорливий у впровадженні ШІ в галузі технологій та науково-наукових галузей. Він має понад 30 років глобального досвіду провідних та консультувальних команд, допомагаючи компаніям на ранніх стадіях досягти проривів завдяки ефективному використанню обчислювального моделювання. В даний час Рамдерпал є глобальним керівником AI та Genai Practice у 20/15 Visioneers. Він також заснував і очолює спільноту з відкритим кодом Hitchhikersai.org. Він також є співзасновником Incubate Bio-Techbio, який допомагає компаніям наук про життя прискорити свої дослідження та знизити свої витрати на лабораторію через у силіконі моделювання.

    Рамдерпал має великий досвід побудови бізнесу як у Європі, так і в США. Як керівник бізнесу в IBM Research в Нью-Йорку, д-р Сінгх очолював ринок для IBM Watson Genomics Analytics. Він також був віце -президентом і керівником відділу мікробіомів в Eagle Genomics Ltd в Кембриджі. Рамдерпал здобув ступінь доктора наук за напівпровідниковим моделюванням у 1997 році. Він опублікував кілька робіт та двох книг і дванадцять видали патенти. У 2003 році він був обраний EE Times одним із 13 найвпливовіших людей у ​​напівпровідниковій галузі.

    Докладніше: http://raminderpalsingh.com; http://20visioneers15.com; http://hitchhikersai.org; http://incubate.bio

    Ніна Трутер

    Ніна Трутер – вчений -трансляціонер з глибоким фокусом на розумінні механізмів дії в розробці наркотиків та використовує різні набори даних у біотехнології. Базуючись у Південній Африці, вона широко співпрацювала з міжнародними біотехнологічними компаніями, спеціалізуючись на терапевтичному розвитку для захворювань, пов'язаних з віком, та складними станами, такими як гліобластома та аутосомно домінуюча полікістозна хвороба нирок (ADPKD).

    Її нещодавня робота включає консультації з біотехнологічних фірм, що базуються у Великобританії, та провідні ініціативи в Hitchhikersai.org для просування перекладу AI та наукових даних у практичні біотехнологічні рішення, такі як визначення можливостей комбінованої терапії та підвищення відбору пацієнтів. У своїй роботі вона використовує системний підхід для інтеграції розуміння з різних наборів даних по всій in vitro, in vivo і людські моделі для відповіді на критичні наукові питання та перекладають біологічні механізми на моделі, які використовуються вдосконаленими аналітичними методами, такими як перламентський причинний висновок.

    Докладніше: https://njtruter.wixsite.com/ninatruter

  • Дані та захворювання серця: ШІ в серцево -судинній медицині

    Дані та захворювання серця: ШІ в серцево -судинній медицині