D O K U M E N T U M A Z O N O S Í T Ó   U R L : https://dka.oszk.hu/124900/124975  F á j l n é v : kerteszgabor_gepi_tanulas_az_ELKH_Cloudon.jpg  B é l y e g k é p : https://dka.oszk.hu/124900/124975/kerteszgabor_gepi_tanulas_az_ELKH_Cloudon_kiskep.jpg C Í M  F ő c í m : Gépi tanulás az ELKH Cloudon B e s o r o l á s i   c í m : Gépi tanulás az ELKH Cloudon A L K O T Ó  S z e r e p : létrehozó B e s o r o l á s i   n é v : Kertész U t ó n é v : Gábor I n v e r t á l a n d ó   n é v : N D Á T U M  E s e m é n y : felvéve I d ő p o n t : 2021-11-10 E s e m é n y : elérhető I d ő p o n t : 2021-04-08 D á t u m r a   v o n a t k o z ó   m e g j e g y z é s : Az előadás időpontja. D O K U M E N T U M T Í P U S  A   t í p u s   n e v e : prezentáció A   t í p u s   n e v e : előadás R É S Z G Y Ű J T E M É N Y  M e g n e v e z é s : Prezentáció M e g n e v e z é s : Könyvtártudomány - prezentáció M e g n e v e z é s : Networkshop 2021 E R E D E T I   K I A D V Á N Y ,   O B J E K T U M  S Z Á R M A Z Á S I   H E L Y  M e g n e v e z é s : Videotorium U R L : https://kifu.videotorium.hu/hu/recordings/42324 J O G K E Z E L É S  A   j o g t u l a j d o n o s   n e v e : Kertész Gábor S z e r z ő i   j o g i   m e g j e g y z é s e k : Jogvédett T É M A  T é m a k ö r : Számítástechnika, hálózatok A l t é m a k ö r : Mesterséges intelligencia T Á R G Y S Z Ó  T á r g y s z ó : mesterséges intelligencia M i n ő s í t ő : tárgyszó/kulcsszó T á r g y s z ó : tanulás M i n ő s í t ő : tárgyszó/kulcsszó T á r g y s z ó : rendszer M i n ő s í t ő : tárgyszó/kulcsszó T á r g y s z ó : felhő alapú szolgáltatás M i n ő s í t ő : tárgyszó/kulcsszó T á r g y s z ó : neurális hálózat M i n ő s í t ő : tárgyszó/kulcsszó I D Ő - H E L Y   T Á R G Y S Z Ó  T á r g y s z ó : 2021 M i n ő s í t ő : időszak L E Í R Á S  K é p a l á í r á s : Gépi tanulás az ELKH Cloudon N y e r s   v a g y   O C R - e s   s z ö v e g : Gépi tanulás az ELKH Cloudon Kertész Gábor tudományos munkatárs, SZTAKI-LPDS A gépi tanulás hardveres követelményei Gépi tanulás Olyan megoldások, amelyeknél a működés, a teljesítmény tapasztalatszerzés által javul: tanulásra képes rendszerek Mesterséges neurális háló Döntési fa Regressziós modellek Támasztó-vektor gép (SVM) Bayes hálók Genetikus algoritmus KNN K-means Gépi tanulás Jellemzően két nagy csoportra szokás bontani: Felügyelt tanulás Felügyelet nélküli tanulás Felügyelt tanulás esetén rendelkezésre állnak olyan tanítóminták, ahol ismert az elvárt kimenet is, így tanításkor mérhető a pontosság. Felügyelet nélküli tanítás esetén címkézetlen adatok közötti összefüggések felismerése a cél, amely jellemzően csoportosítást, klaszterezést jelent. Data-driven A gépi tanulás adatvezérelt: több tanítóminta jobb modelleket eredményez A nagy mennyiségű adat kezelése többszintű kihívás: "Big Data" Nagy mennyiségű adat tárolása, kezelése, feldolgozása Maga a feladat is nagy számításigényű Felhők, szuperszámítógépek szükségesek Mély Neurális Hálózatok Mély Neurális Hálózatok A mély hálózat több rétegből áll, a rétegekben nagy számban vannak tanítható paraméterek Akkor teljesít kiemelkedően, ha nagy számú tanítóminta áll rendelkezésre (Big Data) Ha nincs elégséges számú tanítóminta, akkor lehet hogy a tanítási adatokra túlságosan illeszkedni fog a modell, és így nem általánosít majd jól (overfitting) A tanítás folyamata így memóriaigényes, és a számítási komplexitás magas A mély tanulás költséges Háttértár Tanítóminták tárolására A tárterület mellett az elérési idő is számít! Memória A modell paramétereinek A tanítási lépés ideiglenes változóinak Az aktuális tanítómintáknak Számítási komplexitás Rengeteg lépés A mély tanulás számítási komplexitása A tanítás folyamata memóriaigényes, és a számítási komplexitás magas A feladat azonban nagyszerűen párhuzamosítható multiprocesszoros környezetben, kifejezetten GPU gyorsítókkal A mini batcheken alapuló backpropagation algoritmust lehetséges adatpárhuzamosan implementálni Erre nagyszerű eszköz a grafikus gyorsító, amely több ezer műveletvégző egységgel rendelkezik A 2010-es évek elején jelentek meg az első GPGPU-implementációk A hardvergyártók esetenként már dedikáltan multiprocesszoros feldolgozásra terveznek eszközöket Nem grafikai renderelésre, hanem kutatáshoz készülnek Ezen költséges eszközök beszerzése helyett felhő alapú, igény szerint történő felhasználásuk a logikus A mély tanulás költséges! Tárhely Memória GPU Tápegység Hűtés Modern gépi tanulás a felhőben Framework TensorFlow, Keras, Pytorch Python alapú keretrendszerek TensorFlow Google Brain csapat által fejlesztett Python (C++, JS) függvénykönyvtár adatfolyam programozáshoz 2015 novemberében publikálták először CPU/GPU támogatás, több platformon Keras Felismerve, hogy a TensorFlow (és más frameworkok) jellemzően alacsony szintű hozzáférést adnak a fejlesztőknek, megjelent az igény a magas szintű APIkra "Being able to go from idea to result with the least possible delay is key to doing good research." Francois Chollet, a Google mérnöke 2015 óta fejleszti Felső rétegként használható több framework felett is, például TensorFlow is alkalmazható mint Keras backend TensorBoard Egy gyakran használt eszköz a fejlesztés támogatására Webes felületen követhető a modell tanítása során a különböző paraméterek változása, de a modell architekturája is vizualizálható Jupyter Jupyter Notebook Interaktív webes felületű környezet Jupyter Lab Komplett fejlesztőkörnyezet Jupyter Hub Multi-user környezet Referencia architektúrák @ ELKH Cloud A felhasználást segítő szolgáltatások referencia architektúrák formájában vannak megadva Occopus orkesztrációs eszköz segítségével kiépíthető a kívánt környezet Tensorflow & Keras, Jupyter Notebook / Jupyter Lab Külön GPU-enabled verzió https://science-cloud.hu/jupyterlab Elosztott gépi tanulás a felhőben GPU feldolgozás A modell paraméterei és a tanítóminták az eszközre másolódnak, majd a mátrixműveletek párhuzamosan kerülnek végrehajtásra Több GPU használatával a feldolgozás ideje elvben csökkenthető Adatok szerinti felbontással az egyes gyorsítók a különböző részhalmazzal tanítják a modelljük másolatát Azonban ekkor a GPU-k közötti kommunikáció lesz a szűk keresztmetszet, a paraméterek frissítésekor Elosztott feldolgozás A fizikai korlátok elérésekor érdemes elgondolkodni a horizontális skálázáson, azaz a feladat részfeladatokra bontásán és elosztott feldolgozásán A backpropagation algoritmus esetén sajnos ez nem triviális Az adatdekompozíción alapuló megközelítés népszerű, és könnyen implementálható A modellről másolatok készülnek klaszter minden elemére Minden állomáson lezajlik a tanítás egy-egy kötegnyi tanítómintán A kiszámolt gradiensek megosztásra kerülnek egymással, a súlyparaméterek együtt kerülnek módosításra Elosztott mély tanulás Az elosztott mély tanulás sarokpontja a kommunikáció A gradiensek cseréje és a paraméterek módosítása költséges is lehet Nagyobb, mélyebb modell több paramétert jelent, amely nagyobb átviteli költséget eredményez Léteznek megoldások, amelyek magas hatékonyságot ígérnek a skálázáshoz Mély tanulási klasztert nem érdemes saját eszközökből kialakítani, az idő jelentős részében kihasználatlan lenne - éppen erre jó a felhő Apache Spark MLlib További, nem mély neuronhálókon alapuló gépi tanulási megoldásokra Skálázható megoldás, felhőben kiépíthető számítási klaszterekre Az ELKH Cloud weboldalán elérhető referencia architektúrák között részletes leírás található Apache Spark klaszter telepítéséről Python vagy R fejlesztői környezettel Összefoglalás Gépi tanulás Nagy memória és számításigényű feladat, speciális eszközökkel hatékony Költségek Grafikus gyorsítók és szerverek költségesek, kihasználatlanság esetén nem gazdaságos ezeket beszerezni Üzemelttetés, fenntartás, karbantartás, fejlesztés ELKH Cloud Felhő alapú tanítás, hatékony választás minden szempontból Elosztott gépi tanulás Szolgáltatástámogatás, referencia architektúrák Tensorflow, Jupyter Apache Spark, Jupyter / RStudio Köszönöm a figyelmet! kertesz.gabor@sztaki.hu D o k u m e n t u m   n y e l v e : magyar K A P C S O L A T O K  K a p c s o l ó d ó   d o k u m e n t u m   n e v e : Kacsuk Péter: Az MTA Cloud kutatási infrastruktúrától az ELKH Cloud projektig U R L : https://dka.oszk.hu/124900/124973 F O R M Á T U M  A   f o r m á t u m   n e v e : PowerPoint prezentáció O l d a l a k   s z á m a : 26 T e c h n i k a i   m e g j e g y z é s : Microsoft Office PowerPoint 2016 M e t a a d a t   a   d o k u m e n t u m b a n : N A   f o r m á t u m   n e v e : PDF dokumentum O l d a l a k   s z á m a : 26 M e t a a d a t   a   d o k u m e n t u m b a n : N A   f o r m á t u m   n e v e : HTML dokumentum T e c h n i k a i   m e g j e g y z é s : HTML 5 verzió M e t a a d a t   a   d o k u m e n t u m b a n : N M I N Ő S É G  L e g j o b b   f o r m á t u m : JPEG képállomány L e g n a g y o b b   k é p m é r e t : 770x433 pixel L e g j o b b   f e l b o n t á s : 72 DPI S z í n : színes T ö m ö r í t é s   m i n ő s é g e : közepesen tömörített M E G J E G Y Z É S  Á l t a l á n o s   m e g j e g y z é s : Networkshop 2021 konferencia S T Á T U S Z  A z   a d a t r e k o r d   s t á t u s z a : KÉSZ F E L D O L G O Z Ó  S z e r e p   /   m i n ő s é g : katalogizálás A   f e l d o l g o z ó   n e v e : Nagy Zsuzsanna