ყველაფერი მონაცემთა ინჟინერიის შესახებ

ყოველდღიურად უზარმაზარი მოცულობის ინფორმაცია გროვდება, რომელთა დამუშავება და ანალიზი კომპანიებს ბიზნესის ეფექტურ წარმართვაში ეხმარება. მოსალოდნელია, რომ მომავალში მონაცემთა რაოდენობა კიდევ უფრო გაიზრდება. უფრო კონკრეტულად, 2025 წელს დღეში 463 ეგზაბიტი მოცულობის ინფორმაციას შევქმნით.

ამ მასშტაბის მონაცემთა შენახვისა და გადამუშავების პრობლემის მოგვარებაში კი მონაცემთა ინჟინერია დაგვეხმარება, რაც ამ სფეროს პროფესიონალებს ძალიან მოთხოვნადს ხდის! მეტსაც გეტყვი, დღესაც კი მონაცემთა ინჟინერია N1 ყველაზე მაღალანაზღაურებადი Data პროფესიაა!

თუ გსურს ამ პერსპექტიულ პროფესიას შეეჭიდო, Commschool-ში უკვე ეს შესაძლებლობაც გაქვს!

გამოგვყვევი და გუჯა ლომსაძეს გაგაცნობთ, უფროს მონაცემთა ინჟინერს, რომელიც საერთაშორისო კომპანია Epam Global-ში მუშაობს. მეტსაც გეტყვი, გუჯა მონაცემთა ინჟინერიის ექსკლუზიურ კურსს გაუძღვება commschool-ში

ამ ბლოგში სწორედ მას გაიცნობ, რომელიც მონაცემთა ინჟინერიის პროფესიაზე, სფეროში არსებულ გამოწვევებზე, კარიერულ პერსპექტივებსა და პროგრამის შესახებ მოგიყვება.

მონაცემთა ინჟინერიის ექსკლუზიური პროგრამა

4 თვე | 33 ლექცია | 99 საათი

გაეცანი კურსის დეტალებს

გუჯა 15 წლის ასაკში დაინტერესდა ტექნოლოგიებით და დაიწყო Python-ის შესწავლა. პარალელურად ეცნობოდა უახლეს ლიტერატურას სფეროს შესახებ. გარდა ინდივიდუალური მონდომებისა, ესწრებოდა სხვადასხვა საერთაშორისო თემატურ კურსებსა თუ ვებინარებს. სწორედ ამ პერიოდში აქტიურად საუბრობდნენ იმაზე, რომ ელექტრონული ფორმით მასშტაბური რაოდენობის ინფორმაცია გროვდება და საჭიროა მათი შეგროვება, სტრუქტურირება, დამუშავება, ტრანსფორმაცია, გადაცემა და გაანალიზება.

"უკიდურესად რთულად აღმოსაჩენი სიმარტივე" − სწორედ ამ ფრაზით დავახასიათებდი მონაცემთა ინჟინერიას. როგორც კი ამ ტექნოლოგიურ ტრენდს გავეცანი, მივხვდი, რომ მონაცემთა ინჟინერია მომავლის მიმართულებაა. მასში კვალიფიკაციის ამაღლება საერთაშორისო ბაზარზე მეტად კონკურენტუნარიანს ხდის ადამიანს.

გამოცდილება და საერთაშორისო პროექტები

გარდა კორპორაციული სამუშაო გამოცდილებისა, ის საქართველოში პირველი HP Cup-ისა და რამდენიმე ჰაკათონის გამარჯვებულია, ასევე Google Developer Student Club-ის ხელმძღვანელი (2020), სტარტაპ Radix-ის დამფუძნებელი, საქართველოს ინოვაციებისა და ტექნოლოგიების სააგენტოს გრანტის მფლობელი, მენტორი. ასევე, მიღებული აქვს სხვადასხვა საერთაშორისო სერტიფიკატი – AWS Certified Data Analyst, AWS Certified Cloud Data Engineer, Google Cloud Platform Professional Data Engineer.

უკვე 5 წელზე მეტია, რაც გუჯა მონაცემთა ინჟინერიისა და ანალიტიკის სფეროში მუშაობს. სხვადასხვა დროს იკავებდა წამყვან ლიდერულ პოზიციებს ისეთ კომპანიებში, როგორებიცაა: პროკრედიტ ბანკი, Sweeft • a Making Science company და სხვა. ამჟამად კი დასაქმებულია Senior Data Engineer-ის პოზიციაზე და მონაცემთა ინჟინერიის გუნდის ხელმძღვანელობს EPAM Deutschland-ში. ის მართავს მსოფლიოს წამყვანი ფარმაცევტული კვლევებისა და გადაწყვეტილებების დეპარტამენტს.

ამასთან ერთად, სწავლობს Constructor University (Jacobs University Bremen)-ის მონაცემთა ინჟინერიის სამაგისტრო პროგრამაზე. პარალელურად, აქტიურად ცდილობს საკუთარი წვლილის შეტანას მონაცემთა ინჟინერიის სხვადასხვა გავრცელებულ ბიბლიოთეკასა და ხელსაწყოში. მათ შორის: Apache Airflow, Kafka, Pandas, NumPy, JIT, Numba, FastAPI, Anndata.

გუჯასთვის ყველაზე საინტერესო ის საერთაშორისო პროექტია, რომელზეც ამჟამად მუშაობს. როგორც მონაცემთა ინჟინერიის გუნდის ხელმძღვანელი, ის პასუხისმგებელია ფარმაცევტული კვლევებისა და გადაწყვეტების მიმართულებით დიდი რაოდენობით მონაცემის დამუშავებაზე. ახალი წამლებისა და თუ სხვადასხვა ბიოტექნოლოგიური პროდუქტის შექმნა იმაზეა დამოკიდებული, გუნდთან ერთად რამდენად სწრაფად, ხარისხიანად და ეფექტურად დაამუშავებენ და გააანალიზებენ მონაცემებს. ეს ყველაფერი კი, უდიდეს პასუხისმგებლობასთან ერთად შეუფასებელი გამოცდილებაცაა.

რატომ მონაცემთა ინჟინერია?

ციფრული ინდუსტრიის განვითარებასთან ერთად, სულ უფრო მეტი მონაცემი გროვდება ელექტრონული ფორმატით. მონაცემების შეგროვება, მათი სტრუქტურირება, დამუშავება, ანალიტიკა, მონაცემთა დაცვა, ავტომატიზაცია და სხვა პროცესების განხორციელება გვეხმარება, გავაანალიზოთ სრული სიტუაცია, მივიღოთ მონაცემებზე დაფუძნებული გადაწყვეტილებები და წინასწარ განვსაზღვროთ ტრენდები და ტენდენციები. შესაბამისად, მონაცემთა ინჟინრებზე მოთხოვნა ყოველდღიურად იზრდება.

მეტი თვალსაჩინოებისთვის, საერთაშორისო მასშტაბით, მონაცემთა ინჟინრები კვალიფიკაციის მიხედვით (Junior, Senior, Lead) წელიწადში საშუალოდ 68,000$-ს, 125,662$-სა და 130,075$-ს იღებენ (წყარო: EPAM Anywhere). პირობითად, ამერიკის შეერთებულ შტატებში უმცროსი მონაცემთა ინჟინერი საათში საშუალოდ 32,73$-ს გამოიმუშავებს.

ადამიანები, რომლებიც ისწავლიან მონაცემთა ინჟინერიას და აიმაღლებენ კვალიფიკაციას, გახდებიან მოთხოვნადები როგორც ლოკალურ, ისე საერთაშორისო ბაზარზე:

"დღეს არ არსებობს სფერო, რომელსაც არ სჭირდება მონაცემთა ინჟინრები, იქნება ეს მედიცინა, ფინანსები, წარმოება, მარკეტინგი თუ სხვა. შედეგად, ამ ადამიანებს გაუჩნდებათ უამრავი შესაძლებლობა, იმუშაონ კომპლექსურ, საინტერესო პროექტებზე და ამავდროულად, ჰქონდეთ კონკურენტუნარიანი შემოსავალი."

გარდა ამისა, მონაცემთა ინჟინერიის შესწავლით ადამიანებს შეუძლიათ განივითარონ ისეთი უნარ-ჩვევები, რომლებიც ნებისმიერ სიტუაციაში ყოველდღიურად დაეხმარებათ. ისწავლიან, როგორ მიიღონ სხვადასხვა მონაცემზე დაფუძნებული გადაწყვეტილება, როგორ გაანალიზონ სხვადასხვა ფაქტები და აღმოაჩინონ მათ შორის კორელაცია, როგორ დაიცვან მონაცემთა უსაფრთხოება და სხვა.

მონაცემთა ინჟინერს აქვს შესაძლებლობა, ნებისმიერ სხვა ტექნოლოგიურ სფეროშიც დაიმკვიდროს თავი, მაგალითად, Software Development, DevOps, მონაცემთა ბაზების ადმინისტრირება, Cloud Engineering და სხვა.

რა უნარებს უნდა ფლობდეს მონაცემთა ინჟინერი?

მონაცემთა ინჟინერიის სფეროში ისეთ ტექნიკურ უნარებთან ერთად, როგორებიცაა პროგრამირების ცოდნა, გამოცდილება ღრუბლოვან ტექნოლოგიებსა და მონაცემთა ბაზებში და სხვა, კარიერული წინსვლისთვისა და თავის დასამკვიდრებლად მნიშვნელოვანია ე.წ. რბილი უნარებიც.

ადამიანს, რომელიც მონაცემთა ინჟინერიის სწავლას გადაწყვეტს, უნდა ჰქონდეს სხვადასხვა მნიშვნელოვანი უნარი, მათ შორის:

ანალიტიკური აზროვნება და პრობლემის გადაწყვეტაზე ორიენტირებულობა;
გუნდური მუშაობისა და კომუნიკაციის უნარი მათ შორის ისეთ ადამიანებთანაც, ვისაც არ აქვს ტექნიკური ცოდნა;
კრიტიკული აზროვნება;
პასუხისმგებლობა და ეთიკურობა;
რისკების შეფასება;
დროის მენეჯმენტი;
პერფექციონიზმისკენ სწრაფვა და პრობლემების გრძელვადიანი გადაწყვეტის შემუშავება და სხვა.

მონაცემთა ინჟინერია - კურსის შესახებ

სხვა სიტყვებით რომ ვთქვა, მომავალი მონაცემთა ინჟინერი, სასურველია, ამ პრინციპით უდგებოდეს საკითხს: “მომეცით 6 საათი ხის მოსაჭრელად და პირველ 4 საათს ნაჯახის ალესვას დავუთმობ”, - აბრაამ ლინკოლნი.

გუჯა აღნიშნავს, რომ კურსის სწორედ ამ უნარების განვითარებისკენ იქნება მიმართული და ამ მიზნით სტუდენტები შეისწავლიან სხვადასხვა ტექნოლოგიასა და ხელსაწყოს. სწავლება სრულად იქნება პრაქტიკაზე დაფუძნებული და ისინი მუდმივი მუშაობის შედეგად გამოიმუშავებენ ყველა საჭირო კომპეტენციას.

პროგრამის კომპლექსურობიდან და მასშტაბურობიდან გამომდინარე, კურსი მოიცავს სხვადასხვა განსხვავებულ და მნიშვნელოვან თემას. მათ ერთი რამ გააერთიანებთ – ეს არის პერფექციონიზმისკენ სწრაფვა და პრობლემების ეფექტური გადაჭრა.

ყველაზე მნიშვნელოვანი, რაც მსურს, რომ სტუდენტებმა ამ კურსიდან წაიღონ, არის ე.წ. Mindset - კარიერასა და ცხოვრებაში არ იყვნენ მხოლოდ დროებით გადაწყვეტაზე ორიენტირებულნი. არამედ შეეცადონ, თითოეული პროცესი გრძელვადიანი პერსპექტივით გახადონ უფრო მარტივი, სწრაფი, მოქნილი და ეფექტური.

რაც შეეხება კონკრეტულ კომპეტენციებს, კურსის დასრულების შემდეგ სტუდენტებს ეცოდინებათ როგორც Python-ის მონაცემთა ინჟინერიისა და მონაცემთა ბაზების ბიბლიოთეკების პრაქტიკული გამოყენება, ისე მაღალი წარმადობისა და მდგრადობის პროექტების არქიტექტურული დიზაინის დაპროექტება, მონაცემთა ნაკადების ორკესტრაციისა და დაპროექტების სისტემა, Apache Airflow-სა და Kafka-ს პრაქტიკული გამოყენება, მონაცემთა სხვადასხვა შენახვის კონცეფციების პრინციპების გააზრება და მათთან მუშაობა (Data Warehousing, Data Marting) და სხვა.

მომავალ სტუდენტებს გუჯა ურჩევს, რომ ყველგან, ყოველდღიურ სიტუაციაშიც კი, წარმოსახვაში ჰქონდეთ მონაცემები, სტრუქტურები და ალგორითმები. მუდმივად იფიქრონ, საიდან შეიძლება მონაცემების მოპოვება, რა კორელაცია არსებობს სხვადასხვა ინფორმაციას შორის, რისი განსაზღვრაა შესაძლებელი ამ მონაცემებით და სხვა. უნდა ისწავლონ, როგორ “იურთიერთონ” მონაცემებთან. ეს იქნება ერთგვარი პრაქტიკული სავარჯიშო მათთვის, რომ კიდევ უფრო მეტად განივითარონ ანალიტიკური უნარ-ჩვევები.

მონაცემთა ინჟინერიით დაინტერესებულ ადამიანებს აქვე დაგიტოვებთ გუჯას მიერ რეკომენდებულ ლიტერატურას:

“Designing Data-Intensive Applications” by Martin Kleppmann (ყველაზე პრიორიტეტული)
“Streaming Systems” by Tyler Akidau, Slava Chernyak, and Reuven Lax
“Python for Data Analysis” by Wes McKinney
Hands-On Exploratory Data Analysis with Python by Suresh Kumar Mukhiya, Usman Ahmed
“Data Engineering with Python” by Paul Crickard
“The Data Warehouse Toolkit” by Ralph Kimball and Margy Ross
“Big Data: Principles and best practices of scalable realtime data systems” by Nathan Marz and James Warren
“The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data” by Ralph Kimball and Joe Caserta

ასე რომ, თუ მზად ხარ ახალი გამოწვევებისთვის და გსურს, პროფესიონალი ლექტორის დახმარებით მომავლის ერთ-ერთ ყველაზე საჭირო უნარებს დაეუფლო, Commschool-ში გელოდებით. შემოგვიერთდი მონაცემთა ინჟინერიის კურსზე!

გზამკვლევი მარკეტერებისთვის: საქართველოს ტრენდების რეპორტი 2024

ყველაფერი მონაცემთა ინჟინერიის შესახებ – გუჯა ლომსაძე