SQL, Power BI ir Python programavimas: duomenų analizės ir BIG DATA pagrindai

Mokymų programa:

Duomenų šaltinių identifikavimas
Duomenų šaltiniai: • SQL duomenų bazės; • Excel failai; • CSV failai; • JSON failai; • XML failai; • Tekstiniai failai. • Aprašomoji analizė; • Diagnostinė analizė; • Nuspėjamoji analizė; • Preskriptyvinė analizė. • Struktūrizuoti duomenys; • Nestruktūrizuoti duomenys; • Duomenų srautai; • Didieji duomenys ir jų formatai; • Debesijos duomenų technologijos; • Vietiniai serveriai; • SQL Serveriai: • Reliacinės duomenų lentelės; • Automatinis duomenų atnaujinimas; • NoSQL technologijos; • Duomenų sandėliai (angl. Data Warehouse); • Duomenų ežerai (angl. Data Lake); • Dirbtinio intelekto paslaigos; • Duomenų modeliavimas; • Duomenų valymas; •

Duomenų integravimas
Duomenų infrastruktūros supratimas Duomenų transformavimas: • Automatinis duomenų surinkimas iš duomenų šaltinių; • ETL procesas (angl. Extract Transform Load); • Duomenų valymas ir parengimas analizei; • Duomenų bazių struktūros: • Struktūrinių duomenų lentelės; • Reliacinių duomenų lentelių atvaizdavimas; • SQL serverių rodiniai (angl. Views); • SQL duomenų užklausų naudojimas duomenų ištraukimui iš serverio; • Duomenų agregavimas: • Duomenų modeliavimas naudojant SQL užklausas; • SQL funkcijos; • Matematinių modelių taikymas naudojant SQL kodą; • Naujų lentelių ir stulpelių kūrimas traukiant duomenis iš serverio; • Lentelių ryšiai: • Reliacinių lentelių ryšių tipai; •„Vienas-su-vienu“ lentelių ryšio privalumai ir trūkumai; • „Vienas-su-daug“ lentelių ryšio privalumai ir trūkumai; • „Daug-su-daug“ lentelių ryšio privalumai ir trūkumai; • Lentelių jungimo tipai: • Lentelių raktai: • Struktūrinių duomenų jungimo principai; • Pirminiai raktai struktūrinių lentelių jungimui; • Svetimi raktai.

Struktūrizuotų duomenų saugyklų kūrimas
• MySQL serverio kūrimas: • MySQL serverio instaliavimas kompiuteryje; • SQL serverio vartotojų kūrimas; • Patogaus prisijungimo prie SQL serverio nustatymas; • Vartotojų apsaugos parametrų nustatymas; • Susipažinimas su MySQL serverio infrastruktūra: • MySQL Workbench naudojimas; • Duomenų bazių struktūra MySQL serveryje; • Naujų duomenų bazių kūrimo MySQL servery principai; • Aktyvių ir neaktyvių duomenų bazių skirtumai[ • Duomenų bazių modelių importavimas ir peržiūra MySQL serveryje; • Lentelių kūrimas ir atnaujinimas MySQL serveryje nenaudojant kodo; • Supažindinimas su rodiniais (angl. Views) ir jų koncepcija; • Supažindinimas su MySQL procedūromis; • Supažindinimas su MySQL funkcijomis; • Duomenų įkėlimas į MySQL serverį: • Duomenų lentelių įkėlimas į MySQL serverį; • Duomenų lentelių užpildymas MySQL serveryje; • Duomenų modelio sukūrimas MySQL serveryje.

Duomenų užklausų kūrimas
• Pagrindiniai SQL serverių duomenų tipai; • Duomenų formatai; • SQL užklausos: • SQL kodo sintaksė; • SQL užklausų struktūra; • Stulpelių parinkimas SELECT užklausų pagalba; • Lentelių parinkimas naudojant FROM; • Stulpelių ir lentelių pervadinimas naudojant AS; • Užklausų rezultato rikiavimas naudojant ORDER BY; • Duomenų agregavimas naudojant SQL užklausas; • SQL funkcijos: • Standartinės (angl. built-in) SQL funkcijos; • Teksto transformavimas; • Skaitinių duomenų valdymas naudojant SQL funkcijas; • SQL užklausų aritmetiniai operatoriai; • SQL užklausų palyginamieji operatoriai; • Duomenų filtravimas naudojant WHERE sintaksę; • Daugiafunkcinis filtravimas naudojant loginius operatorius; • SQL sintaksė duomenų grupavimui; • IF logikos keitimas į patogesnę CASE sintaksę; Lentelių jungimas: • Duomenų užklausų principai naudojant kelias lenteles; • Vertikalus lentelių jungimas naudojant UNION sintaksę; • Horizontalus lentelių jungimas naudojant sintaksę JOIN.

Struktūrinių duomenų bazių kūrimas ir naujinimas
• SQL užklausų sintaksės C.R.U.D. (angl. Create Read Update Delete) koncepcija; • Automatinis duomenų bazių kūrimas naudojant SQL kodą; • Automatinis lentelių su skirtingais duomenų tipais kūrimas naudojant SQL kodą; • Lentelių su raktais iš kelių stulpelių kūrimas; • Laikinų lentelių kūrimas SQL serveriuose; • Laikinų lentelių savybės ir naudojimo praktika; • Rodinių (angl. View) kūrimas naudojant SQL kodą; • SQL serverių duomenų trynimo principai ir apribojimai; • Stulpelių reliacinėse lentelėse trynimas naudojant SQL kodą; • Reliacinių lentelių trynimas naudojant SQL kodą; • Reliacinių lentelių trynimo apribojimai kai naudojami ryšiai; • SQL serverių duomenų bazių trynimas naudojant SQL kodą; • Duomenų įrašymo į SQL serverį automatizavimas naudojant INSERT INTO sintaksę; • Automatinis duomenų atnaujinimas SQL serveryje naudojant UPDATE SET WHERE sintaksę; • Duomenų atnaujinimo apribojimai SQL serveriuose; • Duomenų bazės lentelės stulpelių redagavimas naudojant ALTER TABLE.

Automatinių duomenų atvaizdavimo grafikų ir vizualizacijų kūrimas
• Verslo įžvalgų (angl. Business Intelligence) kūrimo koncepcija:• Duomenų tvarkymo etapai; • Duomenų rūšiavimas; • Duomenų agregavimas naudojant automatinius įrankius; • Duomenų interaktyvaus atvaizdavimo ypatumai; • Duomenų „pasakojimo“ kūrimas; • MS Power Platform sistemos apžvalga; • Sistemą sudarantys bendri įrankiai – Dataverse, duomenų jungtys ir DI integracijos; • Power BI verslo analizės įrankis kitų įrankių kontekste; • Duomenų lentelių tipai: • Pločio (angl. Wide) tipo duomenų lentelės; • Ilgio (angl. Long) tipo duomenų lentelės; • Power BI atnaujinimai, pakeitimų dažnis ir apimtis; • Power BI privalumai ir trūkumai lyginant su konkurentais; • Power BI architektūros sudedamosios dalys: • Prisijungimo prie duomenų lokaliuose šaltiniuose ypatumai; • Duomenų šaltiniai; • Vartotojo aplinka; • Didžiųjų duomenų (angl. BIG DATA) valdymo architektūros. • Power BI pirmtako technologija OLAP kubai; • Pažangios duomenų apdorojimo architektūros; • Duomenų apdorojimas su Azure Synapse.

Skirtingų duomenų formatu sujungimas ir parengimas analizei
• Power BI Desktop sudedamosios dalys: • Power BI Desktop konfigūravimas; • Duomenų vizualizavimo ypatybės; • Ryšių tarp lentelių kūrimo galimybės; • Prisijungimas prie duomenų su Power BI Desktop: • Standartinio prisijungimo prie skirtingų duomenų šaltinių variantai; • Duomenų skaitymas iš WEB puslapių (angl. Web Scraping); • Duomenų skaitymas iš PDF failų; • Prisijungimo būdai prie SQL serverių duomenų; • Prisijungimas prie MySQL serverio duomenų; • Duomenų importavimas į Power BI „Import“ rėžimu; • Matavimo rodiklių KPI (angl. Key Performance Indicators) identifikavimas; • SQL užklausų parengimas; • Prisijungimas prie MySQL duomenų bazės; • Parengtų SQL užklausų taikymas; • Duomenų modelio saugojimas .pbix formatu; • Meta duomenų koncepcija; • Power BI Desktop ataskaitos publikavimo į Power BI Service; • ETL (angl. Extract Transform Load) koncepcija; • ETL realizavimas su Power Query; • Power Query formulių rašymas naudojant M-Language.

Matematinių duomenų valdymo modelių kūrimas formulių pagalba
• Power BI lentelių ryšių modeliavimo galimybės; • Rankinis lentelių ryšių kūrimas; • Lentelių ryšių maketų kūrimas; • Lentelių ryšių tipai; • Aktyvus / neaktyvūs lentelių ryšiai, jų skirtumai ir naudojimo principai; • Kryžminio filtravimo kryptys, jų skirtumai ir naudojimo principai; • Lentelių ir stulpelių slėpimas; • Stulpelių ir formulių (angl. Measures) grupavimas į aplankus; • Formulių (angl. Measures) lentelės kūrimas; • Pagrindinės datų lentelės nustatymas; • DAX (angl. Data Analysis Expressions) formulių rašymas: • DAX sintaksė; • DAX formulių komentavimas; • Nesudėtingos agregavimo formulės SUM, COUNT, AVERAGE, MIN, MAX; • Specifinė DAX dalyba naudojant DIVIDE; • Lentelių filtravimas naudojant FILTER sintaksę; • Dirbtinio intelekto integracijų taikymas Power BI Desktop: • Duomenų prognozavimo funkcijos taikymas; • Kalbos atpažinimo kognityvinės funkcijos taikymas; • Pagrindinių frazių ištraukimo kognityvinės funkcijos taikymas; • Azure Machine Learning funkcionalumas.

Duomenų analizės automatinės ataskaitos interaktyvių funkcijų kūrimas
• Grafikų įkėlimas į ataskaitą; • Slicer tipo vizualizacijų naudojimas patogiam filtravimui; • Card tipo grafikų naudojimas KPI rodiklių atvaizdavimui; • Map tipo grafikų naudojimas duomenų atvaizdavimui žemėlapyje; • Matrix grafikų naudojimas duomenų atvaizdavimui lentelėje, Excel Pivot principu; • Ataskaitų temos; • Ataskaitų šablonai; • Atskirų ataskaitos puslapių kūrimas. Tema. Ataskaitos vizualizacijų navigacija: • Perėjimas iš vieno grafiko lygio į kitą (angl. Drill Down/Up); • Ataskaitos vizualizacijos atidarymas atskirame lange (angl. Focus Mode); • Vizualizacijos tikrinimas kas filtruoja duomenis; • Vizualizacijos elementų rikiavimas pagal nurodytą stulpelį; • Lentelės stulpelio rikiavimas pagal kitą tos pačios lentelės stulpelį; • Vizualizacijų interaktyvumo išjungimo galimybės; • Rolių kūrimas RLS (angl. Row Level Security) Power BI Desktop aplinkoje naudojant formules; • Lentelių, stulpelių ir formulių slėpimas.
Programavimo pagrindai naudojant Python programinę kalbą • Python programos parsisiuntimas ir instaliavimas; • Kodo redaktoriaus PyCharm parsisiuntimas ir instaliavimas; • Kodo redaktoriaus Jupyter Notebook parsisiuntimas ir instaliavimas; • Kompiuterio reikalavimai programinio kodo rašymui; • Kodo redaktorių skirtumai; • Python failų tipai .py ir .ipynb;• Skirtingų IT profesijų darbo rinka (patirtis ir darbo užmokestis); • Programavimo kalbų skirtumai ir panašumai: • Bitai; • Baitai; • Teksto konvertavimas į dvejetainį kodą – ASCII; • Programinio kodo kompiliavimas; • Programinio kodo interpretavimas; • Algoritmų koncepcija; • Bazinės Python funkcijos; • Python primityviosios duomenų struktūros; • Python bazinė matematika; • Python neprimityviosios duomenų struktūros; • Python ciklai; • Python klaidų valdymas; • Python funkcijos; • Python objektinio programavimo (OOP) koncepcija; • Python integruotieji moduliai.

Išplėstinė duomenų analizė naudojant specializuotus Python programavimo modulius
• Python trečiųjų šalių sukurtų modulių biblioteka pypi.org; • Modulio komponentų importavimo ir pervadinimo principai; • NumPy; • Pandas; • Matplotlib; • NumPy modulio pagrindu sukurti kiti moduliai; • NumPy modulio duomenų struktūros – masyvai (angl. Arrays); • Skirtingų dimensijų masyvai; • Pandas modulio instaliavimo principai skirtingose aplinkose; • Pandas modulio duomenų struktūros; • DataFrame duomenų struktūros savybės ir struktūra; • NumPy greitaveika; • Masyvų metodai; • Masyvų problematika naudojant ne skaitines reikšmes; • Duomenų formatų skaitymas ir įrašymas su Pandas; • Greitoji failų analizė; • Duomenų failo valymas (angl. Data Cleaning) naudojant Pandas; • Naujų duomenų kūrimas ir esamų keitimas; • Duomenų grupavimas, rikiavimas ir jungimas; • SQL serverio duomenų skaitymas ir įrašymas: • Prisijungimo prie serverio kredencialų nurodymo sintaksė; • SQL duomenų bazės kūrimas naudojant Python kodą.

Generuoti analitines įžvalgas ir rekomendacijas
• Grafikų braižymas naudojant Pandas modulį: • Grafikų braižymo principai skirtinguose kodų redaktoriuose; • Grafikų braižymo ypatumai Jupyter Notebook aplinkoje; • Kompleksinių grafikų braižymas su Matplotlib moduliu: • Sudėtingų Matplotlib grafikų kopijavimas; • Grafikų braižymas su Seaborn moduliu: • Seaborn modulio apžvalga; • Standartiniai duomenų paketai Seaborn modulyje; • Seaborn grafikų biblioteka; • Skirtingi grafikų tipai Seaborn modulyje; • displot grafiko braižymas; • jointplot grafiko braižymas; • pairplot grafiko braižymas; • scatterplot grafiko braižymas; • countplot grafiko braižymas; • boxplot grafiko braižymas; • violinplot grafiko braižymas; • stripplot grafiko braižymas; • regplot grafiko braižymas; • heatmap grafiko braižymas; • Mašininio mokymosi algoritmų matematinis pagrindas; • Pagrindinės mašininio mokymosi technologijos; • Klasifikacija; • KNN artimiausių kaimynų klasifikacija; • Regresijų tipai; • Tiesinė regresija; • Logistinė regresija.

Analitinių projektų kūrimas
• Baigiamojo projekto rengimas: • Hipotezių kėlimas ir nuoseklus jų tikrinimas; • Projekto tikslų nustatymas; • Projekto išvadų aprašymas; • Python funkcijų taikymas projekte; • Python ciklų naudojimas projekto algoritmuose; • Duomenų analizės pagrindimas grafikais; • Python modulių taikymas; • Mašininio mokymosi algoritmų taikymas; • Python kodo naudojimas Power BI įrankyje: • Python kodo naudojimas įkeliant duomenis į Power BI Desktop įrankį; • Python kodo naudojimas braižant Power BI Desktop grafikus; • Python modulių importavimas į Power BI aplinką; • Python kodo naudojimas transformuojant duomenis Power Query rengykjlėje; • Duomenų kodavims ir dekodavimas Power BI įrankyje naudojant Python kodą.

Darbinių įgūdžių realioje darbo vietoje formavimas
Įsivertinti ir realioje darbo vietoje demonstruoti įgytas kompetencijas. Susipažinti su būsimo darbo specifika ir adaptuotis realioje darbo vietoje. Įsivertinti asmenines integracijos į darbo rinką galimybes.