Duomenų ištraukimas naudojant SQL kodą ir automatinė duomenų analizė su Power BI

Mokymų programa:

Struktūrizuotų duomenų saugyklų kūrimas
• MySQL serverio kūrimas: • MySQL serverio instaliavimas kompiuteryje; • SQL serverio vartotojų kūrimas; • Patogaus prisijungimo prie SQL serverio nustatymas; • Vartotojų apsaugos parametrų nustatymas; • Susipažinimas su MySQL serverio infrastruktūra: • MySQL Workbench naudojimas; • Duomenų bazių struktūra MySQL serveryje; • Naujų duomenų bazių kūrimo MySQL servery principai; • Aktyvių ir neaktyvių duomenų bazių skirtumai[ • Duomenų bazių modelių importavimas ir peržiūra MySQL serveryje; • Lentelių kūrimas ir atnaujinimas MySQL serveryje nenaudojant kodo; • Supažindinimas su rodiniais (angl. Views) ir jų koncepcija; • Supažindinimas su MySQL procedūromis; • Supažindinimas su MySQL funkcijomis; • Duomenų įkėlimas į MySQL serverį: • Duomenų lentelių įkėlimas į MySQL serverį; • Duomenų lentelių užpildymas MySQL serveryje; • Duomenų modelio sukūrimas MySQL serveryje.

Duomenų analizės automatinės ataskaitos interaktyvių funkcijų kūrimas
• Grafikų įkėlimas į ataskaitą; • Slicer tipo vizualizacijų naudojimas patogiam filtravimui; • Card tipo grafikų naudojimas KPI rodiklių atvaizdavimui; • Map tipo grafikų naudojimas duomenų atvaizdavimui žemėlapyje; • Matrix grafikų naudojimas duomenų atvaizdavimui lentelėje, Excel Pivot principu; • Ataskaitų temos; • Ataskaitų šablonai; • Atskirų ataskaitos puslapių kūrimas. Tema. Ataskaitos vizualizacijų navigacija: • Perėjimas iš vieno grafiko lygio į kitą (angl. Drill Down/Up); • Ataskaitos vizualizacijos atidarymas atskirame lange (angl. Focus Mode); • Vizualizacijos tikrinimas kas filtruoja duomenis; • Vizualizacijos elementų rikiavimas pagal nurodytą stulpelį; • Lentelės stulpelio rikiavimas pagal kitą tos pačios lentelės stulpelį; • Vizualizacijų interaktyvumo išjungimo galimybės; • Rolių kūrimas RLS (angl. Row Level Security) Power BI Desktop aplinkoje naudojant formules; • Lentelių, stulpelių ir formulių slėpimas.

Duomenų užklausų kūrimas
• Pagrindiniai SQL serverių duomenų tipai; • Duomenų formatai; • SQL užklausos: • SQL kodo sintaksė; • SQL užklausų struktūra; • Stulpelių parinkimas SELECT užklausų pagalba; • Lentelių parinkimas naudojant FROM; • Stulpelių ir lentelių pervadinimas naudojant AS; • Užklausų rezultato rikiavimas naudojant ORDER BY; • Duomenų agregavimas naudojant SQL užklausas; • SQL funkcijos: • Standartinės (angl. built-in) SQL funkcijos; • Teksto transformavimas; • Skaitinių duomenų valdymas naudojant SQL funkcijas; • SQL užklausų aritmetiniai operatoriai; • SQL užklausų palyginamieji operatoriai; • Duomenų filtravimas naudojant WHERE sintaksę; • Daugiafunkcinis filtravimas naudojant loginius operatorius; • SQL sintaksė duomenų grupavimui; • IF logikos keitimas į patogesnę CASE sintaksę; Lentelių jungimas: • Duomenų užklausų principai naudojant kelias lenteles; • Vertikalus lentelių jungimas naudojant UNION sintaksę; • Horizontalus lentelių jungimas naudojant sintaksę JOIN.

Matematinių duomenų valdymo modelių kūrimas formulių pagalba
• Power BI lentelių ryšių modeliavimo galimybės; • Rankinis lentelių ryšių kūrimas; • Lentelių ryšių maketų kūrimas; • Lentelių ryšių tipai; • Aktyvus / neaktyvūs lentelių ryšiai, jų skirtumai ir naudojimo principai; • Kryžminio filtravimo kryptys, jų skirtumai ir naudojimo principai; • Lentelių ir stulpelių slėpimas; • Stulpelių ir formulių (angl. Measures) grupavimas į aplankus; • Formulių (angl. Measures) lentelės kūrimas; • Pagrindinės datų lentelės nustatymas; • DAX (angl. Data Analysis Expressions) formulių rašymas: • DAX sintaksė; • DAX formulių komentavimas; • Nesudėtingos agregavimo formulės SUM, COUNT, AVERAGE, MIN, MAX; • Specifinė DAX dalyba naudojant DIVIDE; • Lentelių filtravimas naudojant FILTER sintaksę; • Dirbtinio intelekto integracijų taikymas Power BI Desktop: • Duomenų prognozavimo funkcijos taikymas; • Kalbos atpažinimo kognityvinės funkcijos taikymas; • Pagrindinių frazių ištraukimo kognityvinės funkcijos taikymas; • Azure Machine Learning funkcionalumas.

Skirtingų duomenų formatu sujungimas ir parengimas analizei
• Power BI Desktop sudedamosios dalys: • Power BI Desktop konfigūravimas; • Duomenų vizualizavimo ypatybės; • Ryšių tarp lentelių kūrimo galimybės; • Prisijungimas prie duomenų su Power BI Desktop: • Standartinio prisijungimo prie skirtingų duomenų šaltinių variantai; • Duomenų skaitymas iš WEB puslapių (angl. Web Scraping); • Duomenų skaitymas iš PDF failų; • Prisijungimo būdai prie SQL serverių duomenų; • Prisijungimas prie MySQL serverio duomenų; • Duomenų importavimas į Power BI „Import“ rėžimu; • Matavimo rodiklių KPI (angl. Key Performance Indicators) identifikavimas; • SQL užklausų parengimas; • Prisijungimas prie MySQL duomenų bazės; • Parengtų SQL užklausų taikymas; • Duomenų modelio saugojimas .pbix formatu; • Meta duomenų koncepcija; • Power BI Desktop ataskaitos publikavimo į Power BI Service; • ETL (angl. Extract Transform Load) koncepcija; • ETL realizavimas su Power Query; • Power Query formulių rašymas naudojant M-Language.

Duomenų infrastruktūros supratimas
Duomenų transformavimas: • Automatinis duomenų surinkimas iš duomenų šaltinių; • ETL procesas (angl. Extract Transform Load); • Duomenų valymas ir parengimas analizei; • Duomenų bazių struktūros: • Struktūrinių duomenų lentelės; • Reliacinių duomenų lentelių atvaizdavimas; • SQL serverių rodiniai (angl. Views); • SQL duomenų užklausų naudojimas duomenų ištraukimui iš serverio; • Duomenų agregavimas: • Duomenų modeliavimas naudojant SQL užklausas; • SQL funkcijos; • Matematinių modelių taikymas naudojant SQL kodą; • Naujų lentelių ir stulpelių kūrimas traukiant duomenis iš serverio; • Lentelių ryšiai: • Reliacinių lentelių ryšių tipai; •„Vienas-su-vienu“ lentelių ryšio privalumai ir trūkumai; • „Vienas-su-daug“ lentelių ryšio privalumai ir trūkumai; • „Daug-su-daug“ lentelių ryšio privalumai ir trūkumai; • Lentelių jungimo tipai: • Lentelių raktai: • Struktūrinių duomenų jungimo principai; • Pirminiai raktai struktūrinių lentelių jungimui; • Svetimi raktai.

Struktūrinių duomenų bazių kūrimas ir naujinimas
• SQL užklausų sintaksės C.R.U.D. (angl. Create Read Update Delete) koncepcija; • Automatinis duomenų bazių kūrimas naudojant SQL kodą; • Automatinis lentelių su skirtingais duomenų tipais kūrimas naudojant SQL kodą; • Lentelių su raktais iš kelių stulpelių kūrimas; • Laikinų lentelių kūrimas SQL serveriuose; • Laikinų lentelių savybės ir naudojimo praktika; • Rodinių (angl. View) kūrimas naudojant SQL kodą; • SQL serverių duomenų trynimo principai ir apribojimai; • Stulpelių reliacinėse lentelėse trynimas naudojant SQL kodą; • Reliacinių lentelių trynimas naudojant SQL kodą; • Reliacinių lentelių trynimo apribojimai kai naudojami ryšiai; • SQL serverių duomenų bazių trynimas naudojant SQL kodą; • Duomenų įrašymo į SQL serverį automatizavimas naudojant INSERT INTO sintaksę; • Automatinis duomenų atnaujinimas SQL serveryje naudojant UPDATE SET WHERE sintaksę; • Duomenų atnaujinimo apribojimai SQL serveriuose; • Duomenų bazės lentelės stulpelių redagavimas naudojant ALTER TABLE.

Duomenų šaltinių identifikavimas
Duomenų šaltiniai: • SQL duomenų bazės; • Excel failai; • CSV failai; • JSON failai; • XML failai; • Tekstiniai failai. • Aprašomoji analizė; • Diagnostinė analizė; • Nuspėjamoji analizė; • Preskriptyvinė analizė. • Struktūrizuoti duomenys; • Nestruktūrizuoti duomenys; • Duomenų srautai; • Didieji duomenys ir jų formatai; • Debesijos duomenų technologijos; • Vietiniai serveriai; • SQL Serveriai: • Reliacinės duomenų lentelės; • Automatinis duomenų atnaujinimas; • NoSQL technologijos; • Duomenų sandėliai (angl. Data Warehouse); • Duomenų ežerai (angl. Data Lake); • Dirbtinio intelekto paslaigos; • Duomenų modeliavimas; • Duomenų valymas; • Duomenų integravimas.

Automatinių duomenų atvaizdavimo grafikų ir vizualizacijų kūrimas
• Verslo įžvalgų (angl. Business Intelligence) kūrimo koncepcija:• Duomenų tvarkymo etapai; • Duomenų rūšiavimas; • Duomenų agregavimas naudojant automatinius įrankius; • Duomenų interaktyvaus atvaizdavimo ypatumai; • Duomenų „pasakojimo“ kūrimas; • MS Power Platform sistemos apžvalga; • Sistemą sudarantys bendri įrankiai – Dataverse, duomenų jungtys ir DI integracijos; • Power BI verslo analizės įrankis kitų įrankių kontekste; • Duomenų lentelių tipai: • Pločio (angl. Wide) tipo duomenų lentelės; • Ilgio (angl. Long) tipo duomenų lentelės; • Power BI atnaujinimai, pakeitimų dažnis ir apimtis; • Power BI privalumai ir trūkumai lyginant su konkurentais; • Power BI architektūros sudedamosios dalys: • Prisijungimo prie duomenų lokaliuose šaltiniuose ypatumai; • Duomenų šaltiniai; • Vartotojo aplinka; • Didžiųjų duomenų (angl. BIG DATA) valdymo architektūros. • Power BI pirmtako technologija OLAP kubai; • Pažangios duomenų apdorojimo architektūros; • Duomenų apdorojimas su Azure Synapse.