(або 2010-ті, що точніше) Бум великих даних принесла появу спеціалізації в ролях даних. Що раніше було описано виключно як “інженер бізнес -розвідки”, було додатково розбито на інженерів/аналітиків бізнес -розвідки, інженерів/аналітиків даних, вчених даних тощо. Причиною цього? Достаток даних та мультидисциплінарні обов'язки, які поставляються разом із ним, які не можна було приручити одним загальним описом роботи. Отже, була потреба розбити його на менші шматки через різноманітність щоденних завдань. Підійшовши до кінця 2025 року, ми зараз повертаємось до більш узагальнених ролей даних?
Зростання загального
Візьмемо це з самого початку. Що я маю на увазі під загальними даними? Якщо ви Google “Загальне визначення”, це дає наступне визначення:
“Особа, компетентна в декількох різних сферах чи діяльності”
Візьміть вищезазначене визначення та застосуйте його до сектору даних. Чим більше досвіду я отримую в галузі даних, тим більший ступінь, коли я бачу збільшення попиту на загальні дані.
Сьогодні очікується, що інженер даних не тільки дізнається, як реалізувати трубопроводи даних, щоб передати дані з точки А до точки B. Ви очікуєте, що вони знають, як розправити хмарні ресурси, впроваджувати трубопроводи CI/CD та найкращі практики, а також розробити моделі AI/ML. Це означає, що Cloud, DevOps та машинне навчання зараз є частиною технологічного стеку сучасного інженера даних.
Аналогічно, вчений з даних не просто розробляє моделі в зошиті, який ніколи не закінчиться десь у виробництві. Вони повинні знати, як працювати у виробництві та обслуговувати моделі AI/ML, можливо, використовуючи контейнери або API. Це перекриття науки про дані, машинне навчання та хмара знову.
Отже, ви бачите, куди це йде? Які можуть бути причини того, що ці ролі в наш час змішані та перекриваються один з одним? Чому зараз вимогливіші ролі даних, а технологічний стек включає кілька дисциплін? Це дійсно епоха, коли загальноприйнятий даними зростає?
Моя особиста думка про те, чому зараз процвітають генералісти даних, пов'язані з трьома основними причинами:
- Поява хмарних служб
- Вибух стартап -компаній
- Еволюція інструментів штучного інтелекту
Давайте оцінимо.
Поява хмарних служб
Хмарні сервіси пройшли довгий шлях з 2010 року, приносячи все на одну платформу. AWS, Google та Azure роблять це набагато простішим та доступним для професіоналів, щоб мати доступ до ресурсів та послуг, які можна використовувати для розгортання програм. Це означає, що деякі із надмірно визначених ролей, які виконували ці функції, тепер вивантажуються до хмарних постачальників, і фахівці з даних дотримуються даних.
Наприклад, якщо ви використовуєте платформу в якості послуг (PAAS) складу даних, вам не потрібно турбуватися про віртуальну машину, на яку вона працює, операційна система, оновлення тощо. Інженер даних може негайно взяти на себе адміністратора бази даних або завдань системного інженера без надто великого тягаря в день у день. Замість того, щоб мати 2-3 осіб, які підтримують склад даних, 1 достатньо. Це також означає, що інженер даних повинен мати розуміння інфраструктури та адміністрування бази даних, поверх звичайних завдань з інженерії даних.
Те, як розвивається галузь, з більшою кількістю програмного забезпечення як послуги (SaaS) розробляється (наприклад, Databricks, сніжинка та тканина), я думаю, що ця тенденція стане новою нормою. Тепер ці продукти полегшують професіонала даних, щоб обробляти весь трубопровід даних з однієї платформи. Звичайно, це має ціну.
Вибух стартап -компаній
Стартапи є все більш критичними та економічними рушійними силами для кожної країни. Дивовижна кількість понад 150 мільйонів стартапів існує у всьому світі, як повідомлялося в цьому дослідженні, щороку запускається близько 50 мільйонів нового бізнесу. З них у всьому світі є понад 1200 стартапів єдинорога. Виходячи з цих фігур, ніхто не може сперечатися з нами, що живемо в епоху стартап -домінування.
Скажіть, у вас є ідея, що ви хочете перетворитися на стартап -компанію, яким типом людей ви хочете оточити себе? Ви збираєтесь на людей з нішею з даних або людей, які мають більш загальні знання, які знають, як орієнтуватися по всьому трубопроводу даних про кінець до кінця? Я б подумав, що це останній.
Глибока експертиза корисна для багатонаціональних компаній, де ви працюєте над дуже конкретними речами щодня, але бути загальним даними – це ваш паспорт для стартапів. Принаймні, це я помітив зі свого досвіду.
Інструменти штучного інтелекту
Листопад 2022 – місяць у книгах історії для світу технологій, де все змінилося. Випуск Chatgpt. Чатгпт приніс революцію у світі AI. З цього дня кожен день відрізняється в технічному секторі. Вплив на галузь? Величезний. Інструменти AI випускаються щодня, кожен зі своїми сильними та слабкими сторонами.
Давно минули дні, коли для того, щоб написати частину коду, або отримати певні знання, які вам довелося перейти до переповнення стека, і прочитати, чи хтось мав подібну проблему з вами в минулому, і вирішив її. Це було так, як раніше було, щоб розпочати розробку рішення. Тепер кожен професіонал даних пише код із приятелем AI цілий день. AI може відповісти на запитання, змусити вас працювати ефективніше, але також отримати відносно легкий початок того, що ви ніколи не робили. Звичайно, це все ще робить помилки, але якщо ви правильно його підкажете і задаєте правильні запитання, ви отримуєте дивовижну допомогу від цього.
Як це пов'язано з загальними даними? Сьогодні, якщо ви знаєте правильні запитання для чатгпта або Близнюків або Копілота (або будь -якого іншого AI існує там), ви можете робити речі неймовірно швидко. Тож якщо інженер даних хоче отримати швидкий огляд того, як розробити лінійну регресійну модель, AI може допомогти. Якщо вчений даних хоче допомогти у створенні хмарного ресурсу, AI може допомогти.
Ось так розвивається ця галузь і куди спрямовується справи. Це також причина, чому я думаю, що якщо ви хороший загальний даних даних у наші дні, і ви знаєте, як задати правильні питання, ви можете досягти всього. Експертиза з’явиться пізніше, залежно від повторення завдання та помилок, з якими ви стикаєтесь на шляху.
Висновок
Ми живемо в той час, коли ландшафт даних розвивається неймовірними темпами. Кожен день приносить нові виклики та нові інструменти для навчання. Тим не менш, я вважаю, що зосередження уваги на більшій картині та розробці як генераліст даних буде ключем до довгострокового успіху.
Прибиваючи основи та розуміючи архітектуру всього трубопроводу даних, що закінчуєте, ви позиціонуєте себе як того, хто в майбутньому буде дуже вимагати. Багато в чому галузь, здається, повертається назад до оцінки універсальних загальних даних над вузько спеціалізованими ролями.
Звичайно, це лише моя думка, але я хотів би почути вашу.