Duomenų ištraukimas iš serverių naudojant SQL kodą ir Python programavimo pagrindai

Mokymų programa:

Struktūrizuotų duomenų saugyklų kūrimas
• MySQL serverio kūrimas: • MySQL serverio instaliavimas kompiuteryje; • SQL serverio vartotojų kūrimas; • Patogaus prisijungimo prie SQL serverio nustatymas; • Vartotojų apsaugos parametrų nustatymas; • Susipažinimas su MySQL serverio infrastruktūra: • MySQL Workbench naudojimas; • Duomenų bazių struktūra MySQL serveryje; • Naujų duomenų bazių kūrimo MySQL servery principai; • Aktyvių ir neaktyvių duomenų bazių skirtumai[ • Duomenų bazių modelių importavimas ir peržiūra MySQL serveryje; • Lentelių kūrimas ir atnaujinimas MySQL serveryje nenaudojant kodo; • Supažindinimas su rodiniais (angl. Views) ir jų koncepcija; • Supažindinimas su MySQL procedūromis; • Supažindinimas su MySQL funkcijomis; • Duomenų įkėlimas į MySQL serverį: • Duomenų lentelių įkėlimas į MySQL serverį; • Duomenų lentelių užpildymas MySQL serveryje; • Duomenų modelio sukūrimas MySQL serveryje.

Išplėstinė duomenų analizė naudojant specializuotus Python programavimo modulius
• Python trečiųjų šalių sukurtų modulių biblioteka pypi.org; • Modulio komponentų importavimo ir pervadinimo principai; • NumPy; • Pandas; • Matplotlib; • NumPy modulio pagrindu sukurti kiti moduliai; • NumPy modulio duomenų struktūros – masyvai (angl. Arrays); • Skirtingų dimensijų masyvai; • Pandas modulio instaliavimo principai skirtingose aplinkose; • Pandas modulio duomenų struktūros; • DataFrame duomenų struktūros savybės ir struktūra; • NumPy greitaveika; • Masyvų metodai; • Masyvų problematika naudojant ne skaitines reikšmes; • Duomenų formatų skaitymas ir įrašymas su Pandas; • Greitoji failų analizė; • Duomenų failo valymas (angl. Data Cleaning) naudojant Pandas; • Naujų duomenų kūrimas ir esamų keitimas; • Duomenų grupavimas, rikiavimas ir jungimas; • SQL serverio duomenų skaitymas ir įrašymas: • Prisijungimo prie serverio kredencialų nurodymo sintaksė; • SQL duomenų bazės kūrimas naudojant Python kodą.

Struktūrinių duomenų bazių kūrimas ir naujinimas
• SQL užklausų sintaksės C.R.U.D. (angl. Create Read Update Delete) koncepcija; • Automatinis duomenų bazių kūrimas naudojant SQL kodą; • Automatinis lentelių su skirtingais duomenų tipais kūrimas naudojant SQL kodą; • Lentelių su raktais iš kelių stulpelių kūrimas; • Laikinų lentelių kūrimas SQL serveriuose; • Laikinų lentelių savybės ir naudojimo praktika; • Rodinių (angl. View) kūrimas naudojant SQL kodą; • SQL serverių duomenų trynimo principai ir apribojimai; • Stulpelių reliacinėse lentelėse trynimas naudojant SQL kodą; • Reliacinių lentelių trynimas naudojant SQL kodą; • Reliacinių lentelių trynimo apribojimai kai naudojami ryšiai; • SQL serverių duomenų bazių trynimas naudojant SQL kodą; • Duomenų įrašymo į SQL serverį automatizavimas naudojant INSERT INTO sintaksę; • Automatinis duomenų atnaujinimas SQL serveryje naudojant UPDATE SET WHERE sintaksę; • Duomenų atnaujinimo apribojimai SQL serveriuose; • Duomenų bazės lentelės stulpelių redagavimas naudojant ALTER TABLE.

Programavimo pagrindai naudojant Python programinę kalbą
• Python programos parsisiuntimas ir instaliavimas; • Kodo redaktoriaus PyCharm parsisiuntimas ir instaliavimas; • Kodo redaktoriaus Jupyter Notebook parsisiuntimas ir instaliavimas; • Kompiuterio reikalavimai programinio kodo rašymui; • Kodo redaktorių skirtumai; • Python failų tipai .py ir .ipynb;• Skirtingų IT profesijų darbo rinka (patirtis ir darbo užmokestis); • Programavimo kalbų skirtumai ir panašumai: • Bitai; • Baitai; • Teksto konvertavimas į dvejetainį kodą – ASCII; • Programinio kodo kompiliavimas; • Programinio kodo interpretavimas; • Algoritmų koncepcija; • Bazinės Python funkcijos; • Python primityviosios duomenų struktūros; • Python bazinė matematika; • Python neprimityviosios duomenų struktūros; • Python ciklai; • Python klaidų valdymas; • Python funkcijos; • Python objektinio programavimo (OOP) koncepcija; • Python integruotieji moduliai.

Duomenų užklausų kūrimas
• Pagrindiniai SQL serverių duomenų tipai; • Duomenų formatai; • SQL užklausos: • SQL kodo sintaksė; • SQL užklausų struktūra; • Stulpelių parinkimas SELECT užklausų pagalba; • Lentelių parinkimas naudojant FROM; • Stulpelių ir lentelių pervadinimas naudojant AS; • Užklausų rezultato rikiavimas naudojant ORDER BY; • Duomenų agregavimas naudojant SQL užklausas; • SQL funkcijos: • Standartinės (angl. built-in) SQL funkcijos; • Teksto transformavimas; • Skaitinių duomenų valdymas naudojant SQL funkcijas; • SQL užklausų aritmetiniai operatoriai; • SQL užklausų palyginamieji operatoriai; • Duomenų filtravimas naudojant WHERE sintaksę; • Daugiafunkcinis filtravimas naudojant loginius operatorius; • SQL sintaksė duomenų grupavimui; • IF logikos keitimas į patogesnę CASE sintaksę; Lentelių jungimas: • Duomenų užklausų principai naudojant kelias lenteles; • Vertikalus lentelių jungimas naudojant UNION sintaksę; • Horizontalus lentelių jungimas naudojant sintaksę JOIN.

Duomenų šaltinių identifikavimas
Duomenų šaltiniai: • SQL duomenų bazės; • Excel failai; • CSV failai; • JSON failai; • XML failai; • Tekstiniai failai. • Aprašomoji analizė; • Diagnostinė analizė; • Nuspėjamoji analizė; • Preskriptyvinė analizė. • Struktūrizuoti duomenys; • Nestruktūrizuoti duomenys; • Duomenų srautai; • Didieji duomenys ir jų formatai; • Debesijos duomenų technologijos; • Vietiniai serveriai; • SQL Serveriai: • Reliacinės duomenų lentelės; • Automatinis duomenų atnaujinimas; • NoSQL technologijos; • Duomenų sandėliai (angl. Data Warehouse); • Duomenų ežerai (angl. Data Lake); • Dirbtinio intelekto paslaigos; • Duomenų modeliavimas; • Duomenų valymas; • Duomenų integravimas.

Temos pavadinimas Trumpas temos aprašymas
Struktūrizuotų duomenų saugyklų kūrimas • MySQL serverio kūrimas: • MySQL serverio instaliavimas kompiuteryje; • SQL serverio vartotojų kūrimas; • Patogaus prisijungimo prie SQL serverio nustatymas; • Vartotojų apsaugos parametrų nustatymas; • Susipažinimas su MySQL serverio infrastruktūra: • MySQL Workbench naudojimas; • Duomenų bazių struktūra MySQL serveryje; • Naujų duomenų bazių kūrimo MySQL servery principai; • Aktyvių ir neaktyvių duomenų bazių skirtumai[ • Duomenų bazių modelių importavimas ir peržiūra MySQL serveryje; • Lentelių kūrimas ir atnaujinimas MySQL serveryje nenaudojant kodo; • Supažindinimas su rodiniais (angl. Views) ir jų koncepcija; • Supažindinimas su MySQL procedūromis; • Supažindinimas su MySQL funkcijomis; • Duomenų įkėlimas į MySQL serverį: • Duomenų lentelių įkėlimas į MySQL serverį; • Duomenų lentelių užpildymas MySQL serveryje; • Duomenų modelio sukūrimas MySQL serveryje.
Išplėstinė duomenų analizė naudojant specializuotus Python programavimo modulius • Python trečiųjų šalių sukurtų modulių biblioteka pypi.org; • Modulio komponentų importavimo ir pervadinimo principai; • NumPy; • Pandas; • Matplotlib; • NumPy modulio pagrindu sukurti kiti moduliai; • NumPy modulio duomenų struktūros – masyvai (angl. Arrays); • Skirtingų dimensijų masyvai; • Pandas modulio instaliavimo principai skirtingose aplinkose; • Pandas modulio duomenų struktūros; • DataFrame duomenų struktūros savybės ir struktūra; • NumPy greitaveika; • Masyvų metodai; • Masyvų problematika naudojant ne skaitines reikšmes; • Duomenų formatų skaitymas ir įrašymas su Pandas; • Greitoji failų analizė; • Duomenų failo valymas (angl. Data Cleaning) naudojant Pandas; • Naujų duomenų kūrimas ir esamų keitimas; • Duomenų grupavimas, rikiavimas ir jungimas; • SQL serverio duomenų skaitymas ir įrašymas: • Prisijungimo prie serverio kredencialų nurodymo sintaksė; • SQL duomenų bazės kūrimas naudojant Python kodą.
Struktūrinių duomenų bazių kūrimas ir naujinimas • SQL užklausų sintaksės C.R.U.D. (angl. Create Read Update Delete) koncepcija; • Automatinis duomenų bazių kūrimas naudojant SQL kodą; • Automatinis lentelių su skirtingais duomenų tipais kūrimas naudojant SQL kodą; • Lentelių su raktais iš kelių stulpelių kūrimas; • Laikinų lentelių kūrimas SQL serveriuose; • Laikinų lentelių savybės ir naudojimo praktika; • Rodinių (angl. View) kūrimas naudojant SQL kodą; • SQL serverių duomenų trynimo principai ir apribojimai; • Stulpelių reliacinėse lentelėse trynimas naudojant SQL kodą; • Reliacinių lentelių trynimas naudojant SQL kodą; • Reliacinių lentelių trynimo apribojimai kai naudojami ryšiai; • SQL serverių duomenų bazių trynimas naudojant SQL kodą; • Duomenų įrašymo į SQL serverį automatizavimas naudojant INSERT INTO sintaksę; • Automatinis duomenų atnaujinimas SQL serveryje naudojant UPDATE SET WHERE sintaksę; • Duomenų atnaujinimo apribojimai SQL serveriuose; • Duomenų bazės lentelės stulpelių redagavimas naudojant ALTER TABLE.
Programavimo pagrindai naudojant Python programinę kalbą • Python programos parsisiuntimas ir instaliavimas; • Kodo redaktoriaus PyCharm parsisiuntimas ir instaliavimas; • Kodo redaktoriaus Jupyter Notebook parsisiuntimas ir instaliavimas; • Kompiuterio reikalavimai programinio kodo rašymui; • Kodo redaktorių skirtumai; • Python failų tipai .py ir .ipynb;• Skirtingų IT profesijų darbo rinka (patirtis ir darbo užmokestis); • Programavimo kalbų skirtumai ir panašumai: • Bitai; • Baitai; • Teksto konvertavimas į dvejetainį kodą – ASCII; • Programinio kodo kompiliavimas; • Programinio kodo interpretavimas; • Algoritmų koncepcija; • Bazinės Python funkcijos; • Python primityviosios duomenų struktūros; • Python bazinė matematika; • Python neprimityviosios duomenų struktūros; • Python ciklai; • Python klaidų valdymas; • Python funkcijos; • Python objektinio programavimo (OOP) koncepcija; • Python integruotieji moduliai.
Duomenų užklausų kūrimas • Pagrindiniai SQL serverių duomenų tipai; • Duomenų formatai; • SQL užklausos: • SQL kodo sintaksė; • SQL užklausų struktūra; • Stulpelių parinkimas SELECT užklausų pagalba; • Lentelių parinkimas naudojant FROM; • Stulpelių ir lentelių pervadinimas naudojant AS; • Užklausų rezultato rikiavimas naudojant ORDER BY; • Duomenų agregavimas naudojant SQL užklausas; • SQL funkcijos: • Standartinės (angl. built-in) SQL funkcijos; • Teksto transformavimas; • Skaitinių duomenų valdymas naudojant SQL funkcijas; • SQL užklausų aritmetiniai operatoriai; • SQL užklausų palyginamieji operatoriai; • Duomenų filtravimas naudojant WHERE sintaksę; • Daugiafunkcinis filtravimas naudojant loginius operatorius; • SQL sintaksė duomenų grupavimui; • IF logikos keitimas į patogesnę CASE sintaksę; Lentelių jungimas: • Duomenų užklausų principai naudojant kelias lenteles; • Vertikalus lentelių jungimas naudojant UNION sintaksę; • Horizontalus lentelių jungimas naudojant sintaksę JOIN.
Duomenų šaltinių identifikavimas Duomenų šaltiniai: • SQL duomenų bazės; • Excel failai; • CSV failai; • JSON failai; • XML failai; • Tekstiniai failai. • Aprašomoji analizė; • Diagnostinė analizė; • Nuspėjamoji analizė; • Preskriptyvinė analizė. • Struktūrizuoti duomenys; • Nestruktūrizuoti duomenys; • Duomenų srautai; • Didieji duomenys ir jų formatai; • Debesijos duomenų technologijos; • Vietiniai serveriai; • SQL Serveriai: • Reliacinės duomenų lentelės; • Automatinis duomenų atnaujinimas; • NoSQL technologijos; • Duomenų sandėliai (angl. Data Warehouse); • Duomenų ežerai (angl. Data Lake); • Dirbtinio intelekto paslaigos; • Duomenų modeliavimas; • Duomenų valymas; • Duomenų integravimas.

Duomenų infrastruktūros supratimas
Duomenų transformavimas: • Automatinis duomenų surinkimas iš duomenų šaltinių; • ETL procesas (angl. Extract Transform Load); • Duomenų valymas ir parengimas analizei; • Duomenų bazių struktūros: • Struktūrinių duomenų lentelės; • Reliacinių duomenų lentelių atvaizdavimas; • SQL serverių rodiniai (angl. Views); • SQL duomenų užklausų naudojimas duomenų ištraukimui iš serverio; • Duomenų agregavimas: • Duomenų modeliavimas naudojant SQL užklausas; • SQL funkcijos; • Matematinių modelių taikymas naudojant SQL kodą; • Naujų lentelių ir stulpelių kūrimas traukiant duomenis iš serverio; • Lentelių ryšiai: • Reliacinių lentelių ryšių tipai; •„Vienas-su-vienu“ lentelių ryšio privalumai ir trūkumai; • „Vienas-su-daug“ lentelių ryšio privalumai ir trūkumai; • „Daug-su-daug“ lentelių ryšio privalumai ir trūkumai; • Lentelių jungimo tipai: • Lentelių raktai: • Struktūrinių duomenų jungimo principai; • Pirminiai raktai struktūrinių lentelių jungimui; • Svetimi raktai.

Generuoti analitines įžvalgas ir rekomendacijas
• Grafikų braižymas naudojant Pandas modulį: • Grafikų braižymo principai skirtinguose kodų redaktoriuose; • Grafikų braižymo ypatumai Jupyter Notebook aplinkoje; • Kompleksinių grafikų braižymas su Matplotlib moduliu: • Sudėtingų Matplotlib grafikų kopijavimas; • Grafikų braižymas su Seaborn moduliu: • Seaborn modulio apžvalga; • Standartiniai duomenų paketai Seaborn modulyje; • Seaborn grafikų biblioteka; • Skirtingi grafikų tipai Seaborn modulyje; • displot grafiko braižymas; • jointplot grafiko braižymas; • pairplot grafiko braižymas; • scatterplot grafiko braižymas; • countplot grafiko braižymas; • boxplot grafiko braižymas; • violinplot grafiko braižymas; • stripplot grafiko braižymas; • regplot grafiko braižymas; • heatmap grafiko braižymas; • Mašininio mokymosi algoritmų matematinis pagrindas; • Pagrindinės mašininio mokymosi technologijos; • Klasifikacija; • KNN artimiausių kaimynų klasifikacija; • Regresijų tipai; • Tiesinė regresija; • Logistinė regresija.

Analitinių projektų kūrimas
• Baigiamojo projekto rengimas: • Hipotezių kėlimas ir nuoseklus jų tikrinimas; • Projekto tikslų nustatymas; • Projekto išvadų aprašymas; • Python funkcijų taikymas projekte; • Python ciklų naudojimas projekto algoritmuose; • Duomenų analizės pagrindimas grafikais; • Python modulių taikymas; • Mašininio mokymosi algoritmų taikymas.