SQL, Power BI ir Python programavimas: duomenų analizės ir BIG DATA pagrindai
Tipas: Kursai
Lygis: Pradedantiesiems
Baigimo pažymėjimas: Išduodamas
Kalba: Lietuvių
Trukmė: 160 ak. val.
Organizatorius:
Dataera, UAB
Kaina: 2240€
Data
Miestas
Laikas, vieta, komentaras
2024-08-19
Internetu
160 akad. val.
Lektoriai
UAB ,,Dataera" bei IT mokymų prekės ženklo Datacademy įkūrėjas ir tikras savo srities profesionalas, kuris daugelį metų dėsto prestižiniuose Lietuvos universitetuose.
Rolandas yra duomenų mokslo bei projektų valdymo ekspertas, turintis didelę darbo patirtį, kuria dalinasi B2B sektoriuje ir konsultuoja verslus bei organizacijas duomenų analitikos bei projektų valdymo sistemų klausimais.
Datacademy kursuose dėsto: Duomenų analitiką, Verslo automatizavimą, SQL, Power BI, Python, Power Apps, Virtual Agent ir Power Shell.
Ši programa yra skirta pradedantiesiems duomenų analitikams. Medžiagoje pateikiama daug pažangiosios duomenų analitikos informacijos, uždavinių ir pavyzdžių, naudojant SQL duomenų užklausas, Power BI įrankį duomenų vizualizavimui bei Python programavimo kalbą pažangiai duomenų analizei. Čia ne tik įgyjamas bendras supratimas kas yra duomenų analizė, bet ir kuriami realūs duomenų analizės sprendimai, kuriuose panaudoti įrankiai iš šio kurso. Supažindinama ir gyvai demonstruojami darbdavių reikalavimai ir realios užduotys keliamos duomenų analitikams įsidarbinimo atrankose.
Baigę šiuos kursus galėsite dirbti:
Duomenų analitikas (angl. Data Analyst)
Verslo duomenų analitikas (angl. Business Analyst)
Sistemų analitikas (angl. System Analyst)
Finansų analitikas (angl. Finance Analyst)
Duomenų mokslininkas (angl. Data Scientist)
Duomenų inžinierius (angl. Data Engineer)
Konsultantas duomenų analizės srityje (angl. Data Analytics Consultant)
Pilnai finansuojami Užimtumo tarnybos.
Kurso kodas: 223003037
Mokymų programa:
Struktūrinių duomenų bazių kūrimas ir naujinimas
• SQL užklausų sintaksės C.R.U.D. (angl. Create Read Update Delete) koncepcija; • Automatinis duomenų bazių kūrimas naudojant SQL kodą; • Automatinis lentelių su skirtingais duomenų tipais kūrimas naudojant SQL kodą; • Lentelių su raktais iš kelių stulpelių kūrimas; • Laikinų lentelių kūrimas SQL serveriuose; • Laikinų lentelių savybės ir naudojimo praktika; • Rodinių (angl. View) kūrimas naudojant SQL kodą; • SQL serverių duomenų trynimo principai ir apribojimai; • Stulpelių reliacinėse lentelėse trynimas naudojant SQL kodą; • Reliacinių lentelių trynimas naudojant SQL kodą; • Reliacinių lentelių trynimo apribojimai kai naudojami ryšiai; • SQL serverių duomenų bazių trynimas naudojant SQL kodą; • Duomenų įrašymo į SQL serverį automatizavimas naudojant INSERT INTO sintaksę; • Automatinis duomenų atnaujinimas SQL serveryje naudojant UPDATE SET WHERE sintaksę; • Duomenų atnaujinimo apribojimai SQL serveriuose; • Duomenų bazės lentelės stulpelių redagavimas naudojant ALTER TABLE.
Matematinių duomenų valdymo modelių kūrimas formulių pagalba
• Power BI lentelių ryšių modeliavimo galimybės; • Rankinis lentelių ryšių kūrimas; • Lentelių ryšių maketų kūrimas; • Lentelių ryšių tipai; • Aktyvus / neaktyvūs lentelių ryšiai, jų skirtumai ir naudojimo principai; • Kryžminio filtravimo kryptys, jų skirtumai ir naudojimo principai; • Lentelių ir stulpelių slėpimas; • Stulpelių ir formulių (angl. Measures) grupavimas į aplankus; • Formulių (angl. Measures) lentelės kūrimas; • Pagrindinės datų lentelės nustatymas; • DAX (angl. Data Analysis Expressions) formulių rašymas: • DAX sintaksė; • DAX formulių komentavimas; • Nesudėtingos agregavimo formulės SUM, COUNT, AVERAGE, MIN, MAX; • Specifinė DAX dalyba naudojant DIVIDE; • Lentelių filtravimas naudojant FILTER sintaksę; • Dirbtinio intelekto integracijų taikymas Power BI Desktop: • Duomenų prognozavimo funkcijos taikymas; • Kalbos atpažinimo kognityvinės funkcijos taikymas; • Pagrindinių frazių ištraukimo kognityvinės funkcijos taikymas; • Azure Machine Learning funkcionalumas.
Duomenų šaltinių identifikavimas
Duomenų šaltiniai: • SQL duomenų bazės; • Excel failai; • CSV failai; • JSON failai; • XML failai; • Tekstiniai failai. • Aprašomoji analizė; • Diagnostinė analizė; • Nuspėjamoji analizė; • Preskriptyvinė analizė. • Struktūrizuoti duomenys; • Nestruktūrizuoti duomenys; • Duomenų srautai; • Didieji duomenys ir jų formatai; • Debesijos duomenų technologijos; • Vietiniai serveriai; • SQL Serveriai: • Reliacinės duomenų lentelės; • Automatinis duomenų atnaujinimas; • NoSQL technologijos; • Duomenų sandėliai (angl. Data Warehouse); • Duomenų ežerai (angl. Data Lake); • Dirbtinio intelekto paslaugos; • Duomenų modeliavimas; • Duomenų valymas; • Duomenų integravimas.
Duomenų infrastruktūros supratimas
Duomenų transformavimas: • Automatinis duomenų surinkimas iš duomenų šaltinių; • ETL procesas (angl. Extract Transform Load); • Duomenų valymas ir parengimas analizei; • Duomenų bazių struktūros: • Struktūrinių duomenų lentelės; • Reliacinių duomenų lentelių atvaizdavimas; • SQL serverių rodiniai (angl. Views); • SQL duomenų užklausų naudojimas duomenų ištraukimui iš serverio; • Duomenų agregavimas: • Duomenų modeliavimas naudojant SQL užklausas; • SQL funkcijos; • Matematinių modelių taikymas naudojant SQL kodą; • Naujų lentelių ir stulpelių kūrimas traukiant duomenis iš serverio; • Lentelių ryšiai: • Reliacinių lentelių ryšių tipai; •„Vienas-su-vienu“ lentelių ryšio privalumai ir trūkumai; • „Vienas-su-daug“ lentelių ryšio privalumai ir trūkumai; • „Daug-su-daug“ lentelių ryšio privalumai ir trūkumai; • Lentelių jungimo tipai: • Lentelių raktai: • Struktūrinių duomenų jungimo principai; • Pirminiai raktai struktūrinių lentelių jungimui; • Svetimi raktai.
Automatinių duomenų atvaizdavimo grafikų ir vizualizacijų kūrimas
• Verslo įžvalgų (angl. Business Intelligence) kūrimo koncepcija:• Duomenų tvarkymo etapai; • Duomenų rūšiavimas; • Duomenų agregavimas naudojant automatinius įrankius; • Duomenų interaktyvaus atvaizdavimo ypatumai; • Duomenų „pasakojimo“ kūrimas; • MS Power Platform sistemos apžvalga; • Sistemą sudarantys bendri įrankiai – Dataverse, duomenų jungtys ir DI integracijos; • Power BI verslo analizės įrankis kitų įrankių kontekste; • Duomenų lentelių tipai: • Pločio (angl. Wide) tipo duomenų lentelės; • Ilgio (angl. Long) tipo duomenų lentelės; • Power BI atnaujinimai, pakeitimų dažnis ir apimtis; • Power BI privalumai ir trūkumai lyginant su konkurentais; • Power BI architektūros sudedamosios dalys: • Prisijungimo prie duomenų lokaliuose šaltiniuose ypatumai; • Duomenų šaltiniai; • Vartotojo aplinka; • Didžiųjų duomenų (angl. BIG DATA) valdymo architektūros. • Power BI pirmtako technologija OLAP kubai; • Pažangios duomenų apdorojimo architektūros; • Duomenų apdorojimas su Azure Synapse.
Programavimo pagrindai naudojant Python programinę kalbą
• Python programos parsisiuntimas ir instaliavimas; • Kodo redaktoriaus PyCharm parsisiuntimas ir instaliavimas; • Kodo redaktoriaus Jupyter Notebook parsisiuntimas ir instaliavimas; • Kompiuterio reikalavimai programinio kodo rašymui; • Kodo redaktorių skirtumai; • Python failų tipai .py ir .ipynb;• Skirtingų IT profesijų darbo rinka (patirtis ir darbo užmokestis); • Programavimo kalbų skirtumai ir panašumai: • Bitai; • Baitai; • Teksto konvertavimas į dvejetainį kodą – ASCII; • Programinio kodo kompiliavimas; • Programinio kodo interpretavimas; • Algoritmų koncepcija; • Bazinės Python funkcijos; • Python primityviosios duomenų struktūros; • Python bazinė matematika; • Python neprimityviosios duomenų struktūros; • Python ciklai; • Python klaidų valdymas; • Python funkcijos; • Python objektinio programavimo (OOP) koncepcija; • Python integruotieji moduliai.
Struktūrizuotų duomenų saugyklų kūrimas
• MySQL serverio kūrimas: • MySQL serverio instaliavimas kompiuteryje; • SQL serverio vartotojų kūrimas; • Patogaus prisijungimo prie SQL serverio nustatymas; • Vartotojų apsaugos parametrų nustatymas; • Susipažinimas su MySQL serverio infrastruktūra: • MySQL Workbench naudojimas; • Duomenų bazių struktūra MySQL serveryje; • Naujų duomenų bazių kūrimo MySQL servery principai; • Aktyvių ir neaktyvių duomenų bazių skirtumai[ • Duomenų bazių modelių importavimas ir peržiūra MySQL serveryje; • Lentelių kūrimas ir atnaujinimas MySQL serveryje nenaudojant kodo; • Supažindinimas su rodiniais (angl. Views) ir jų koncepcija; • Supažindinimas su MySQL procedūromis; • Supažindinimas su MySQL funkcijomis; • Duomenų įkėlimas į MySQL serverį: • Duomenų lentelių įkėlimas į MySQL serverį; • Duomenų lentelių užpildymas MySQL serveryje; • Duomenų modelio sukūrimas MySQL serveryje.
Duomenų analizės automatinės ataskaitos interaktyvių funkcijų kūrimas
• Grafikų įkėlimas į ataskaitą; • Slicer tipo vizualizacijų naudojimas patogiam filtravimui; • Card tipo grafikų naudojimas KPI rodiklių atvaizdavimui; • Map tipo grafikų naudojimas duomenų atvaizdavimui žemėlapyje; • Matrix grafikų naudojimas duomenų atvaizdavimui lentelėje, Excel Pivot principu; • Ataskaitų temos; • Ataskaitų šablonai; • Atskirų ataskaitos puslapių kūrimas. Tema. Ataskaitos vizualizacijų navigacija: • Perėjimas iš vieno grafiko lygio į kitą (angl. Drill Down/Up); • Ataskaitos vizualizacijos atidarymas atskirame lange (angl. Focus Mode); • Vizualizacijos tikrinimas kas filtruoja duomenis; • Vizualizacijos elementų rikiavimas pagal nurodytą stulpelį; • Lentelės stulpelio rikiavimas pagal kitą tos pačios lentelės stulpelį; • Vizualizacijų interaktyvumo išjungimo galimybės; • Rolių kūrimas RLS (angl. Row Level Security) Power BI Desktop aplinkoje naudojant formules; • Lentelių, stulpelių ir formulių slėpimas.
Išplėstinė duomenų analizė naudojant specializuotus Python programavimo modulius
• Python trečiųjų šalių sukurtų modulių biblioteka pypi.org; • Modulio komponentų importavimo ir pervadinimo principai; • NumPy; • Pandas; • Matplotlib; • NumPy modulio pagrindu sukurti kiti moduliai; • NumPy modulio duomenų struktūros – masyvai (angl. Arrays); • Skirtingų dimensijų masyvai; • Pandas modulio instaliavimo principai skirtingose aplinkose; • Pandas modulio duomenų struktūros; • DataFrame duomenų struktūros savybės ir struktūra; • NumPy greitaveika; • Masyvų metodai; • Masyvų problematika naudojant ne skaitines reikšmes; • Duomenų formatų skaitymas ir įrašymas su Pandas; • Greitoji failų analizė; • Duomenų failo valymas (angl. Data Cleaning) naudojant Pandas; • Naujų duomenų kūrimas ir esamų keitimas; • Duomenų grupavimas, rikiavimas ir jungimas; • SQL serverio duomenų skaitymas ir įrašymas: • Prisijungimo prie serverio kredencialų nurodymo sintaksė; • SQL duomenų bazės kūrimas naudojant Python kodą.
Analitinių projektų kūrimas
• Baigiamojo projekto rengimas: • Hipotezių kėlimas ir nuoseklus jų tikrinimas; • Projekto tikslų nustatymas; • Projekto išvadų aprašymas; • Python funkcijų taikymas projekte; • Python ciklų naudojimas projekto algoritmuose; • Duomenų analizės pagrindimas grafikais; • Python modulių taikymas; • Mašininio mokymosi algoritmų taikymas; • Python kodo naudojimas Power BI įrankyje: • Python kodo naudojimas įkeliant duomenis į Power BI Desktop įrankį; • Python kodo naudojimas braižant Power BI Desktop grafikus; • Python modulių importavimas į Power BI aplinką; • Python kodo naudojimas transformuojant duomenis Power Query rengykjlėje; • Duomenų kodavims ir dekodavimas Power BI įrankyje naudojant Python kodą.
Duomenų užklausų kūrimas
• Pagrindiniai SQL serverių duomenų tipai; • Duomenų formatai; • SQL užklausos: • SQL kodo sintaksė; • SQL užklausų struktūra; • Stulpelių parinkimas SELECT užklausų pagalba; • Lentelių parinkimas naudojant FROM; • Stulpelių ir lentelių pervadinimas naudojant AS; • Užklausų rezultato rikiavimas naudojant ORDER BY; • Duomenų agregavimas naudojant SQL užklausas; • SQL funkcijos: • Standartinės (angl. built-in) SQL funkcijos; • Teksto transformavimas; • Skaitinių duomenų valdymas naudojant SQL funkcijas; • SQL užklausų aritmetiniai operatoriai; • SQL užklausų palyginamieji operatoriai; • Duomenų filtravimas naudojant WHERE sintaksę; • Daugiafunkcinis filtravimas naudojant loginius operatorius; • SQL sintaksė duomenų grupavimui; • IF logikos keitimas į patogesnę CASE sintaksę; Lentelių jungimas: • Duomenų užklausų principai naudojant kelias lenteles; • Vertikalus lentelių jungimas naudojant UNION sintaksę; • Horizontalus lentelių jungimas naudojant sintaksę JOIN.
Generuoti analitines įžvalgas ir rekomendacijas
• Grafikų braižymas naudojant Pandas modulį: • Grafikų braižymo principai skirtinguose kodų redaktoriuose; • Grafikų braižymo ypatumai Jupyter Notebook aplinkoje; • Kompleksinių grafikų braižymas su Matplotlib moduliu: • Sudėtingų Matplotlib grafikų kopijavimas; • Grafikų braižymas su Seaborn moduliu: • Seaborn modulio apžvalga; • Standartiniai duomenų paketai Seaborn modulyje; • Seaborn grafikų biblioteka; • Skirtingi grafikų tipai Seaborn modulyje; • displot grafiko braižymas; • jointplot grafiko braižymas; • pairplot grafiko braižymas; • scatterplot grafiko braižymas; • countplot grafiko braižymas; • boxplot grafiko braižymas; • violinplot grafiko braižymas; • stripplot grafiko braižymas; • regplot grafiko braižymas; • heatmap grafiko braižymas; • Mašininio mokymosi algoritmų matematinis pagrindas; • Pagrindinės mašininio mokymosi technologijos; • Klasifikacija; • KNN artimiausių kaimynų klasifikacija; • Regresijų tipai; • Tiesinė regresija; • Logistinė regresija.
Skirtingų duomenų formatu sujungimas ir parengimas analizei
• Power BI Desktop sudedamosios dalys: • Power BI Desktop konfigūravimas; • Duomenų vizualizavimo ypatybės; • Ryšių tarp lentelių kūrimo galimybės; • Prisijungimas prie duomenų su Power BI Desktop: • Standartinio prisijungimo prie skirtingų duomenų šaltinių variantai; • Duomenų skaitymas iš WEB puslapių (angl. Web Scraping); • Duomenų skaitymas iš PDF failų; • Prisijungimo būdai prie SQL serverių duomenų; • Prisijungimas prie MySQL serverio duomenų; • Duomenų importavimas į Power BI „Import“ rėžimu; • Matavimo rodiklių KPI (angl. Key Performance Indicators) identifikavimas; • SQL užklausų parengimas; • Prisijungimas prie MySQL duomenų bazės; • Parengtų SQL užklausų taikymas; • Duomenų modelio saugojimas .pbix formatu; • Meta duomenų koncepcija; • Power BI Desktop ataskaitos publikavimo į Power BI Service; • ETL (angl. Extract Transform Load) koncepcija; • ETL realizavimas su Power Query; • Power Query formulių rašymas naudojant M-Language.
Darbinių įgūdžių realioje darbo vietoje formavimas
Įsivertinti ir realioje darbo vietoje demonstruoti įgytas kompetencijas. Susipažinti su būsimo darbo specifika ir adaptuotis realioje darbo vietoje. Įsivertinti asmenines integracijos į darbo rinką galimybes.
Atsiliepimai:
Parašykite atsiliepimą:
Mokymų ir kursų temos
Grožis ir menas (311)
Masažo kursai (134)
Kosmetologijos ir visažisto kursai (50)
Blakstienų priauginimo kursai (32)
Kirpėjo kursai (25)
Fotografijos kursai (15)
Siuvimo kursai (14)
Šunų kirpimo kursai (12)
Nagų priauginimo kursai (10)
Dailės kursai (7)
IT kursai (239)
Programavimo kursai (51)
MS Office programos (44)
Grafinio dizaino, maketavimo kursai (44)
DI srities mokymai (20)
Kibernetinis saugumas (20)
Tinklalapių kūrimo kursai (17)
Duomenų bazės (13)
Operacinės sistemos (10)
IT projektų valdymas (9)
Kompiuterinių tinklų administravimas (6)
ECDL (3)
Vadovavimas ir verslas (206)
Mokymai vadovams (82)
Personalo valdymas (48)
Audito kursai (23)
Projektų valdymas (20)
Verslo kūrimas (16)
Derybų mokymai (14)
Pramonė ir gamyba (14)
Asmeninis tobulėjimas (179)
Psichologijos kursai (35)
Viešo kalbėjimo kursai (21)
Santykių ir bendravimo kursai (20)
Streso valdymo mokymai (13)
Laiko planavimo mokymai (12)
Sporto ir sveikatingumo mokymai (9)
Moteriškumo kursai (6)
Profesiniai kursai (177)
Mokymai pedagogams (23)
Mokymai medicinos darbuotojams (22)
Autokrautuvas ir kėlimo įrenginiai (20)
Statybų sektorius (19)
Mokymai socialiniams darbuotojams (19)
Logistikos kursai (16)
Kulinarija (12)
Suvirinimas, metalo pjaustymas (5)
Apsaugos darbuotojams (4)
Aviacijos mokymai (4)
Sauga (158)
Darbų saugos mokymai (63)
Higienos mokymai (27)
Maisto sauga (24)
Priešgaisrinė saugos mokymai (14)
Pirmosios pagalbos mokymai (10)
Aukštalipio kursai (8)
Aplinkosaugos mokymai (6)
Energetikos sektorius (6)
Pardavimai ir rinkodara (148)
Pardavimų mokymai (59)
Marketingo kursai (48)
Komunikacijos mokymai (27)
Klientų aptarnavimo mokymai (24)
Apskaita ir finansai (117)
Viešasis sektorius ir teisė (70)
Teisės kursai (23)
Viešųjų pirkimų mokymai (22)
Biuro administravimo kursai (16)
Viešasis administravimas (9)
Užsienio kalbos (68)
Anglų kalbos kursai (32)
Ispanų kalbos kursai (14)
Rusų kalbos kursai (3)
Danų kalbos kursai (3)
Prancūzų kalbos kursai (2)
Vokiečių kalbos kursai (2)
Norvegų kalbos kursai (1)
Lenkų kalbos kursai (1)
Kinų kalbos kursai (1)
Italų kalbos kursai (1)
Lietuvių kalbos kursai (1)
Švedų kalbos kursai (1)
Vairavimo kursai (38)
B kategorija (10)
C kategorija (4)
CE kategorija (4)
A kategorija (3)
B1 kategorija (3)
D kategorijos (2)
BE kategorija (1)