SQL, Power BI ir Python programavimas: duomenų analizės ir BIG DATA pagrindai

Mokymų programa:

Struktūrinių duomenų bazių kūrimas ir naujinimas
• SQL užklausų sintaksės C.R.U.D. (angl. Create Read Update Delete) koncepcija; • Automatinis duomenų bazių kūrimas naudojant SQL kodą; • Automatinis lentelių su skirtingais duomenų tipais kūrimas naudojant SQL kodą; • Lentelių su raktais iš kelių stulpelių kūrimas; • Laikinų lentelių kūrimas SQL serveriuose; • Laikinų lentelių savybės ir naudojimo praktika; • Rodinių (angl. View) kūrimas naudojant SQL kodą; • SQL serverių duomenų trynimo principai ir apribojimai; • Stulpelių reliacinėse lentelėse trynimas naudojant SQL kodą; • Reliacinių lentelių trynimas naudojant SQL kodą; • Reliacinių lentelių trynimo apribojimai kai naudojami ryšiai; • SQL serverių duomenų bazių trynimas naudojant SQL kodą; • Duomenų įrašymo į SQL serverį automatizavimas naudojant INSERT INTO sintaksę; • Automatinis duomenų atnaujinimas SQL serveryje naudojant UPDATE SET WHERE sintaksę; • Duomenų atnaujinimo apribojimai SQL serveriuose; • Duomenų bazės lentelės stulpelių redagavimas naudojant ALTER TABLE.

Matematinių duomenų valdymo modelių kūrimas formulių pagalba
• Power BI lentelių ryšių modeliavimo galimybės; • Rankinis lentelių ryšių kūrimas; • Lentelių ryšių maketų kūrimas; • Lentelių ryšių tipai; • Aktyvus / neaktyvūs lentelių ryšiai, jų skirtumai ir naudojimo principai; • Kryžminio filtravimo kryptys, jų skirtumai ir naudojimo principai; • Lentelių ir stulpelių slėpimas; • Stulpelių ir formulių (angl. Measures) grupavimas į aplankus; • Formulių (angl. Measures) lentelės kūrimas; • Pagrindinės datų lentelės nustatymas; • DAX (angl. Data Analysis Expressions) formulių rašymas: • DAX sintaksė; • DAX formulių komentavimas; • Nesudėtingos agregavimo formulės SUM, COUNT, AVERAGE, MIN, MAX; • Specifinė DAX dalyba naudojant DIVIDE; • Lentelių filtravimas naudojant FILTER sintaksę; • Dirbtinio intelekto integracijų taikymas Power BI Desktop: • Duomenų prognozavimo funkcijos taikymas; • Kalbos atpažinimo kognityvinės funkcijos taikymas; • Pagrindinių frazių ištraukimo kognityvinės funkcijos taikymas; • Azure Machine Learning funkcionalumas.

Duomenų šaltinių identifikavimas
Duomenų šaltiniai: • SQL duomenų bazės; • Excel failai; • CSV failai; • JSON failai; • XML failai; • Tekstiniai failai. • Aprašomoji analizė; • Diagnostinė analizė; • Nuspėjamoji analizė; • Preskriptyvinė analizė. • Struktūrizuoti duomenys; • Nestruktūrizuoti duomenys; • Duomenų srautai; • Didieji duomenys ir jų formatai; • Debesijos duomenų technologijos; • Vietiniai serveriai; • SQL Serveriai: • Reliacinės duomenų lentelės; • Automatinis duomenų atnaujinimas; • NoSQL technologijos; • Duomenų sandėliai (angl. Data Warehouse); • Duomenų ežerai (angl. Data Lake); • Dirbtinio intelekto paslaugos; • Duomenų modeliavimas; • Duomenų valymas; • Duomenų integravimas.

Duomenų infrastruktūros supratimas
Duomenų transformavimas: • Automatinis duomenų surinkimas iš duomenų šaltinių; • ETL procesas (angl. Extract Transform Load); • Duomenų valymas ir parengimas analizei; • Duomenų bazių struktūros: • Struktūrinių duomenų lentelės; • Reliacinių duomenų lentelių atvaizdavimas; • SQL serverių rodiniai (angl. Views); • SQL duomenų užklausų naudojimas duomenų ištraukimui iš serverio; • Duomenų agregavimas: • Duomenų modeliavimas naudojant SQL užklausas; • SQL funkcijos; • Matematinių modelių taikymas naudojant SQL kodą; • Naujų lentelių ir stulpelių kūrimas traukiant duomenis iš serverio; • Lentelių ryšiai: • Reliacinių lentelių ryšių tipai; •„Vienas-su-vienu“ lentelių ryšio privalumai ir trūkumai; • „Vienas-su-daug“ lentelių ryšio privalumai ir trūkumai; • „Daug-su-daug“ lentelių ryšio privalumai ir trūkumai; • Lentelių jungimo tipai: • Lentelių raktai: • Struktūrinių duomenų jungimo principai; • Pirminiai raktai struktūrinių lentelių jungimui; • Svetimi raktai.

Automatinių duomenų atvaizdavimo grafikų ir vizualizacijų kūrimas
• Verslo įžvalgų (angl. Business Intelligence) kūrimo koncepcija:• Duomenų tvarkymo etapai; • Duomenų rūšiavimas; • Duomenų agregavimas naudojant automatinius įrankius; • Duomenų interaktyvaus atvaizdavimo ypatumai; • Duomenų „pasakojimo“ kūrimas; • MS Power Platform sistemos apžvalga; • Sistemą sudarantys bendri įrankiai – Dataverse, duomenų jungtys ir DI integracijos; • Power BI verslo analizės įrankis kitų įrankių kontekste; • Duomenų lentelių tipai: • Pločio (angl. Wide) tipo duomenų lentelės; • Ilgio (angl. Long) tipo duomenų lentelės; • Power BI atnaujinimai, pakeitimų dažnis ir apimtis; • Power BI privalumai ir trūkumai lyginant su konkurentais; • Power BI architektūros sudedamosios dalys: • Prisijungimo prie duomenų lokaliuose šaltiniuose ypatumai; • Duomenų šaltiniai; • Vartotojo aplinka; • Didžiųjų duomenų (angl. BIG DATA) valdymo architektūros. • Power BI pirmtako technologija OLAP kubai; • Pažangios duomenų apdorojimo architektūros; • Duomenų apdorojimas su Azure Synapse.

Programavimo pagrindai naudojant Python programinę kalbą
• Python programos parsisiuntimas ir instaliavimas; • Kodo redaktoriaus PyCharm parsisiuntimas ir instaliavimas; • Kodo redaktoriaus Jupyter Notebook parsisiuntimas ir instaliavimas; • Kompiuterio reikalavimai programinio kodo rašymui; • Kodo redaktorių skirtumai; • Python failų tipai .py ir .ipynb;• Skirtingų IT profesijų darbo rinka (patirtis ir darbo užmokestis); • Programavimo kalbų skirtumai ir panašumai: • Bitai; • Baitai; • Teksto konvertavimas į dvejetainį kodą – ASCII; • Programinio kodo kompiliavimas; • Programinio kodo interpretavimas; • Algoritmų koncepcija; • Bazinės Python funkcijos; • Python primityviosios duomenų struktūros; • Python bazinė matematika; • Python neprimityviosios duomenų struktūros; • Python ciklai; • Python klaidų valdymas; • Python funkcijos; • Python objektinio programavimo (OOP) koncepcija; • Python integruotieji moduliai.

Struktūrizuotų duomenų saugyklų kūrimas
• MySQL serverio kūrimas: • MySQL serverio instaliavimas kompiuteryje; • SQL serverio vartotojų kūrimas; • Patogaus prisijungimo prie SQL serverio nustatymas; • Vartotojų apsaugos parametrų nustatymas; • Susipažinimas su MySQL serverio infrastruktūra: • MySQL Workbench naudojimas; • Duomenų bazių struktūra MySQL serveryje; • Naujų duomenų bazių kūrimo MySQL servery principai; • Aktyvių ir neaktyvių duomenų bazių skirtumai[ • Duomenų bazių modelių importavimas ir peržiūra MySQL serveryje; • Lentelių kūrimas ir atnaujinimas MySQL serveryje nenaudojant kodo; • Supažindinimas su rodiniais (angl. Views) ir jų koncepcija; • Supažindinimas su MySQL procedūromis; • Supažindinimas su MySQL funkcijomis; • Duomenų įkėlimas į MySQL serverį: • Duomenų lentelių įkėlimas į MySQL serverį; • Duomenų lentelių užpildymas MySQL serveryje; • Duomenų modelio sukūrimas MySQL serveryje.

Duomenų analizės automatinės ataskaitos interaktyvių funkcijų kūrimas
• Grafikų įkėlimas į ataskaitą; • Slicer tipo vizualizacijų naudojimas patogiam filtravimui; • Card tipo grafikų naudojimas KPI rodiklių atvaizdavimui; • Map tipo grafikų naudojimas duomenų atvaizdavimui žemėlapyje; • Matrix grafikų naudojimas duomenų atvaizdavimui lentelėje, Excel Pivot principu; • Ataskaitų temos; • Ataskaitų šablonai; • Atskirų ataskaitos puslapių kūrimas. Tema. Ataskaitos vizualizacijų navigacija: • Perėjimas iš vieno grafiko lygio į kitą (angl. Drill Down/Up); • Ataskaitos vizualizacijos atidarymas atskirame lange (angl. Focus Mode); • Vizualizacijos tikrinimas kas filtruoja duomenis; • Vizualizacijos elementų rikiavimas pagal nurodytą stulpelį; • Lentelės stulpelio rikiavimas pagal kitą tos pačios lentelės stulpelį; • Vizualizacijų interaktyvumo išjungimo galimybės; • Rolių kūrimas RLS (angl. Row Level Security) Power BI Desktop aplinkoje naudojant formules; • Lentelių, stulpelių ir formulių slėpimas.

Išplėstinė duomenų analizė naudojant specializuotus Python programavimo modulius
• Python trečiųjų šalių sukurtų modulių biblioteka pypi.org; • Modulio komponentų importavimo ir pervadinimo principai; • NumPy; • Pandas; • Matplotlib; • NumPy modulio pagrindu sukurti kiti moduliai; • NumPy modulio duomenų struktūros – masyvai (angl. Arrays); • Skirtingų dimensijų masyvai; • Pandas modulio instaliavimo principai skirtingose aplinkose; • Pandas modulio duomenų struktūros; • DataFrame duomenų struktūros savybės ir struktūra; • NumPy greitaveika; • Masyvų metodai; • Masyvų problematika naudojant ne skaitines reikšmes; • Duomenų formatų skaitymas ir įrašymas su Pandas; • Greitoji failų analizė; • Duomenų failo valymas (angl. Data Cleaning) naudojant Pandas; • Naujų duomenų kūrimas ir esamų keitimas; • Duomenų grupavimas, rikiavimas ir jungimas; • SQL serverio duomenų skaitymas ir įrašymas: • Prisijungimo prie serverio kredencialų nurodymo sintaksė; • SQL duomenų bazės kūrimas naudojant Python kodą.

Analitinių projektų kūrimas
• Baigiamojo projekto rengimas: • Hipotezių kėlimas ir nuoseklus jų tikrinimas; • Projekto tikslų nustatymas; • Projekto išvadų aprašymas; • Python funkcijų taikymas projekte; • Python ciklų naudojimas projekto algoritmuose; • Duomenų analizės pagrindimas grafikais; • Python modulių taikymas; • Mašininio mokymosi algoritmų taikymas; • Python kodo naudojimas Power BI įrankyje: • Python kodo naudojimas įkeliant duomenis į Power BI Desktop įrankį; • Python kodo naudojimas braižant Power BI Desktop grafikus; • Python modulių importavimas į Power BI aplinką; • Python kodo naudojimas transformuojant duomenis Power Query rengykjlėje; • Duomenų kodavims ir dekodavimas Power BI įrankyje naudojant Python kodą.

Duomenų užklausų kūrimas
• Pagrindiniai SQL serverių duomenų tipai; • Duomenų formatai; • SQL užklausos: • SQL kodo sintaksė; • SQL užklausų struktūra; • Stulpelių parinkimas SELECT užklausų pagalba; • Lentelių parinkimas naudojant FROM; • Stulpelių ir lentelių pervadinimas naudojant AS; • Užklausų rezultato rikiavimas naudojant ORDER BY; • Duomenų agregavimas naudojant SQL užklausas; • SQL funkcijos: • Standartinės (angl. built-in) SQL funkcijos; • Teksto transformavimas; • Skaitinių duomenų valdymas naudojant SQL funkcijas; • SQL užklausų aritmetiniai operatoriai; • SQL užklausų palyginamieji operatoriai; • Duomenų filtravimas naudojant WHERE sintaksę; • Daugiafunkcinis filtravimas naudojant loginius operatorius; • SQL sintaksė duomenų grupavimui; • IF logikos keitimas į patogesnę CASE sintaksę; Lentelių jungimas: • Duomenų užklausų principai naudojant kelias lenteles; • Vertikalus lentelių jungimas naudojant UNION sintaksę; • Horizontalus lentelių jungimas naudojant sintaksę JOIN.

Generuoti analitines įžvalgas ir rekomendacijas
• Grafikų braižymas naudojant Pandas modulį: • Grafikų braižymo principai skirtinguose kodų redaktoriuose; • Grafikų braižymo ypatumai Jupyter Notebook aplinkoje; • Kompleksinių grafikų braižymas su Matplotlib moduliu: • Sudėtingų Matplotlib grafikų kopijavimas; • Grafikų braižymas su Seaborn moduliu: • Seaborn modulio apžvalga; • Standartiniai duomenų paketai Seaborn modulyje; • Seaborn grafikų biblioteka; • Skirtingi grafikų tipai Seaborn modulyje; • displot grafiko braižymas; • jointplot grafiko braižymas; • pairplot grafiko braižymas; • scatterplot grafiko braižymas; • countplot grafiko braižymas; • boxplot grafiko braižymas; • violinplot grafiko braižymas; • stripplot grafiko braižymas; • regplot grafiko braižymas; • heatmap grafiko braižymas; • Mašininio mokymosi algoritmų matematinis pagrindas; • Pagrindinės mašininio mokymosi technologijos; • Klasifikacija; • KNN artimiausių kaimynų klasifikacija; • Regresijų tipai; • Tiesinė regresija; • Logistinė regresija.

Skirtingų duomenų formatu sujungimas ir parengimas analizei
• Power BI Desktop sudedamosios dalys: • Power BI Desktop konfigūravimas; • Duomenų vizualizavimo ypatybės; • Ryšių tarp lentelių kūrimo galimybės; • Prisijungimas prie duomenų su Power BI Desktop: • Standartinio prisijungimo prie skirtingų duomenų šaltinių variantai; • Duomenų skaitymas iš WEB puslapių (angl. Web Scraping); • Duomenų skaitymas iš PDF failų; • Prisijungimo būdai prie SQL serverių duomenų; • Prisijungimas prie MySQL serverio duomenų; • Duomenų importavimas į Power BI „Import“ rėžimu; • Matavimo rodiklių KPI (angl. Key Performance Indicators) identifikavimas; • SQL užklausų parengimas; • Prisijungimas prie MySQL duomenų bazės; • Parengtų SQL užklausų taikymas; • Duomenų modelio saugojimas .pbix formatu; • Meta duomenų koncepcija; • Power BI Desktop ataskaitos publikavimo į Power BI Service; • ETL (angl. Extract Transform Load) koncepcija; • ETL realizavimas su Power Query; • Power Query formulių rašymas naudojant M-Language.

Darbinių įgūdžių realioje darbo vietoje formavimas
Įsivertinti ir realioje darbo vietoje demonstruoti įgytas kompetencijas. Susipažinti su būsimo darbo specifika ir adaptuotis realioje darbo vietoje. Įsivertinti asmenines integracijos į darbo rinką galimybes.