Data Platform
A "data platform" egy átfogó, teljeskörű megoldás az összes adat számára. Egy valódi adatplatform képes a szervezeten belüli összes rendszer és infrastruktúra által generált adatok importálására, feldolgozására, elemzésére és bemutatására.
Egyes szoftverek és alkalmazások adatplatformként hivatkoznak saját magukra, de gyakran csak az adatéletciklus egy vagy két területét támogatják ( például az adattárolást vagy az adatelemzést). Vagy csak bizonyos forrásokra (saját alkalmazásból származó eseményekre) korlátozódnak. Egy valódi adatplatform végponttól végpontig működik, és minden forrásból képes adatokat gyűjteni és elemezni, amint azt látni fogjuk.
Ebben a témában sok mindent meg kell érteni és figyelembe kell venni. Vessünk tehát egy pillantást az adatplatformokra, beleértve a definíciót és a kapcsolódó kifejezéseket, az előnyöket és a felhasználási eseteket, valamint azt, hogyan kezdje el az adatstratégia kialakítását.
Mi az az adatplatform?
A teljes adatéletciklusra kiterjedő, valódi adatplatform lehetővé teszi az adatok végponttól végpontig tartó kezelését a teljes környezetében. Az adatplatform sokkal, de sokkal több, mint puszta adattárolás vagy csupán üzleti intelligencia platform. Valójában a legtöbb ma kapható adatplatform"szerű" termék csak részmegoldás és célzott alkalmazás, amely az adatéletciklusnak csak egy vagy néhány aspektusát kezeli.
Tehát, pontosan mi is tartozik egy adatplatformhoz? Úgy is elképzelhető ez a modell, hogy többrétegű funkciókkal rendelkezik, amelyek mindegyike az egész szervezet döntéshozatalának javítását szolgálja. Az adatplatformok funkcióit az alábbi kategóriákba sorolhatjuk:
- Adattárolás
- Adatbevitel
- Adattranszformáció (például normalizálás és ETL)
- Adatmodellezés (strukturált data frame-ek tervezése)
- Üzleti intelligencia
- Data observability
Ahogy az adatai a tárolástól a magasabb rétegeken keresztül fejlődnek, már egyre inkább az elérhető információról és a betekintésről szólnak.
Az adatsilókkal kapcsolatos kihívások
A szervezetek manapság természetesen testre szabhatják infrastruktúrájukat, amely több ezer alkalmazást és szolgáltatást tartalmazó adatforrásból áll össze, hogy saját egyedi igényeiket kielégítsék. Ez persze nem könnyű. Ami még rosszabb, hogy problémák merülnek fel, ha ez a számos szigetszerű megoldás nem tud integrálódni a hálózat vagy az IT infrastruktúra többi részével.
Az integráció hiánya gyakran adatsilókat eredményez - olyan adathalmazokat, amelyeket nem lehet megosztani más csapatokkal és más célokra, ami megakadályozza, hogy sok fontos feladatot elvégezhessen, például:
- fenyegetések azonosítása
- szolgáltatási és biztonsági incidensek megoldása
- rendelkezésre állás és az üzemidő biztosítása
- raktárkészlet és a kereslet összevetése
- hatékonysági hiányosságok megértése
Végső soron ezen információk azok, amikre szüksége van a hatékony üzleti döntések meghozatalához.
Napjainkban a vállalatok modern adatplatformokat választanak e kihívások megoldására, és ehhez kevesebb - de jobb - terméket szeretnének. (stop the tool sprawl!) Az adatplatformok eltüntethetik az "adatszigeteket" és lehetővé teszik az adatok zökkenőmentes megosztását.
Az adatplatformok előnyei
Az adatplatformok az adatok központosítását kínálják - egyetlen platformot, amely a szervezet egészére kiterjedő átláthatóságot biztosít. (Ez viszont lebontja a silókat, és a szervezet adatainak holisztikus áttekintésén alapuló, hasznosítható betekintést nyújt).
A hatékonyabb működéshez az adatplatformoknak képesnek kell lenniük szinte bármilyen forrásból származó adatok bevitelére anélkül, hogy a komplexitást növelnék. Végső soron az adatplatformnak integrálódnia kell a meglévő infrastruktúrába, hogy javítsa az összes adatra vonatkozó cselekvési képességét.
Valójában pontosan a végponttól végpontig tartó funkciók kombinációja váltja fel a szigetszerű megoldásokat, amelyek lehetővé teszik a valódi "data-informed data operation" műveleteket.
Egy adatplatform képes integrálni az egyes megoldások képességeit, és az összes adatot egyetlen helyre gyűjteni, ahol azokat a leghatékonyabban lehet tárolni, megosztani és felhasználni. Az adatplatformok több jelentős előnyt kínálnak a nagy szervezetek számára, többek között:
- Az adatfunkciók központosítása és szabványosítása egyetlen platformon. Ezek a funkciók közé tartozik az adatbevitel, tárolás, elemzés, jelentéskészítés stb.
- Az adatkezelés támogatása, és ezáltal a compliance előírásoknak (például a GDPR-nak) való megfelelés.
- A riportolás egyszerűsítése és javítása, gyakran az adatgyűjtő táblák és adatvizualizációk képességével.
- A mesterséges intelligencia és a gépi tanulás kihasználása a hatékony automatizálás és a prediktív meglátások érdekében.
Egy hatékony adatplatform lehetővé teszi, hogy bármilyen data set-el dolgozhasson, függetlenül attól, hogy mi az, hol tárolják, vagy mekkora az adatmennyiség (és olyan sebességgel, amely használható, valós idejű betekintést nyújt).
Milyen komponesensekből áll egy data platform?
A modern adatplatform gyakran sokféle adattípust fogad be, és sokféle eszközt és funkciót tartalmaz. Például:
- adatbevitel
- többszintű tárolás
- adatelemzés és üzleti intelligencia
- adatkezelés
- adatbiztonság és adatvédelem
Egyes platformok bizonyos típusú munkaterhelésekre vannak optimalizálva, beleértve a konkrét felhasználási eseteket célzó funkciókészleteket. Az adatplatformoknak rugalmasnak és gyártófüggetlnennek kell lenniük, hogy integrálni lehessen a szervezet egyedi üzleti és adatigényeihez igazított nyílt forráskódú és szabadalmaztatott eszközöket (és elkerülhető legyen a gyártókhoz való kötöttség.) Alapvetően az adatplatformnak nem szabad korlátoznia a jövőbeni lehetőségeket.
Ezek a „must-have” komponensek néhány alapvető pillért jelentenek, amelyek megalapozzák az adatplatform működését:
- Sokoldalúság: Az adatáramlás irányításának képessége, hogy a szervezet minden területe könnyen hozzáférhessen a releváns adatokhoz.
- Intelligencia: Az adatbevitelnek és -megosztásnak automatizáltnak kell lennie, és megbízhatóan kell kategorizálnia és a megfelelő szintre juttatnia az adatokat, képesnek kell lennie a változásokra való reagálásra, a hibák azonosítására és mérséklésére, valamint a felhasználói igények előrejelzésére.
- Biztonság: A tárolt adatok megfelelő biztonságának és védelmének képessége nem lehet vita tárgya, amelyet erős titkosítás és az összes vonatkozó szabályozásnak és törvénynek megfelelő, robusztus adatéletciklus-kezelés tesz lehetővé.
- Skálázhatóság: Az adatplatformnak alkalmazkodnia kell az előre jelzett növekedéshez, ahogy az adatmennyiségek bővülnek.
Ezeknek az elemeknek az adatplatformba való beépítése rugalmas modellt hoz létre, amely segít az adatok olyan módon történő biztosításában, elemzésében és tárolásában, amely növeli a digitális ellenálló képességet, és jövőállóvá teszi vállalkozását a változások és a növekedés szempontjából.
Adatplatformok és kapcsolódó adatfogalmak
Az adatokkal kapcsolatban számos terminológia létezik. Tisztázzunk minden félreértést.
Big data platform
A „big data platform” nem különbözik a „data platform”-tól, mindkettő célja az adatok méretarányos kezelése. Három alapvető jellemző határozza meg a „big data” fogalmát:
- Mennyiség: A generált és tárolt adatok mennyisége
- Minőség: Vagyis az adatok típusa és jellege
- Feldolgozási sebesség: Az adatok keletkezésének és feldolgozásának sebessége
De ezen a ponton minden adat "big data", amely magában foglalja mind a strukturált, mind a strukturálatlan adatokat. Az egyes fogyasztók petabyte-nyi tárolási kapacitással rendelkező hardverekhez és cloud rendszerekhez férnek hozzá. A szervezetek elképesztő mennyiségű adatot és metaadatot generálnak.
Adatplatform vs. adatarchitektúra
Az adatarchitektúra lényegében a szervezet adatkörnyezetének keretrendszere. Az adatarchitektúra az adatok bevitelének, tárolásának és átadásának terve, míg az data platform az a modul, amely hozzáfér az adatokhoz, mozgatja, elemzi, korrelálja és validálja azokat a végfelhasználók számára.
Ez adja az adatarchitektúra fontosságát - hiszen ez a data-driven szervezetek gerince, az a robusztus infrastruktúra, amely támogatja a meglévő adatigényeket, és az adatok és az infrastruktúra növekedésének megfelelően skálázódik.
Adatplatform vs. adattárházak és data lake-ek
A data lake-ek és az adattárházak egyaránt olyan adattároló rendszerek, amelyek a vállalati adatokat központi tárolókba integrálják, de meglehetősen eltérően működnek:
- Az adattárházak szervezettek és az üzleti igények szempontjából azonnal használhatóak, bár bizonyos korlátozásokkal. Az adattárházak nagy mennyiségű adatot tárolhatnak, és ezen a tárolón belül az adatok bizonyos mértékig feldolgozhatók és elemezhetők (nagy gyártók e szegmensben pl.: Snowflakes, BigQuery, Redshift, S3). Az adattárházon belüli adatok azonban önmagukban nem értékesek - ehelyett munkát és elemzést igényelnek az információk kinyeréséhez. Az adattárházak egyfajta reneszánszukat élték a cloud alapú számítástechnika kitörésével, amely a régi, on-premise rendszerekhez képest skálázhatóbb, rugalmasabb és költséghatékonyabb modellt kínált.
- A data lake-ek ezzel szemben nagyrészt strukturálatlan, nyers adatokat tárolnak. Azért hívják őket tavaknak, mert nincs struktúrájuk, és az adatok nagy része csak ott "lebeg", arra várva, hogy valamilyen műveletet hajtsunk végre rajta, például egy adattárházba, egy adatbázisba vagy közvetlenül egy adatplatformba helyezzük át.
Hogyan válasszuk ki a megfelelő adatplatformot
A megfelelő adatplatform kiválasztása hét alapvető megfontolásból történik.
1. On-premise, cloud, vagy hibrid
Több tényező határozza meg, hogy az adatokat saját adatközpontban, egy cloud szolgáltatón keresztül vagy a kettő kombinációjával - a hibrid modellel - kezelje. Ettől függetlenül olyan tényezőket kell figyelembe vennie, mint például:
- Biztonsági és compliance követelmények
- A különböző szoftver licence modellek költségei
- Milyen készségeket / funkciókat szeretne fenntartani a házon belüli IT csapatában
- Milyen készségeket / funkciókat szerezne meg beszállítókon vagy partnereken keresztül
2. Skálázhatóság
Az adatplatformnak képesnek kell lennie a mai léptékű teljesítményre, és alkalmazkodnia kell az adattárolók elkerülhetetlen növekedéséhez. Valójában ez a skálázhatósági követelmény az, ami egyre több embert ösztönöz az adatplatformok bevezetésére.
3. Rugalmasság
A rugalmasság elengedhetetlen. Ki tud-e szolgálni a platform jelenleg több csoportot és felhasználási esetet? Viszonylag egyszerűen hozzá lehet-e adni új funkciókat és felhasználási eseteket a platformhoz? Van-e olyan robusztus az ökoszisztéma, amelyek képesek támogatni az új funkciókat?
4. Használhatóság
Egyszerűen telepíthető és konfigurálható-e az Ön által fontolgatott platform a különböző készségszintű felhasználók számára? Milyen a tanulási görbe? Az adatok alkalmazása minden döntéshez megköveteli, hogy a szervezetében bárki - az informatikai gurutól a kevésbé műszaki beállítottságú alkalmazottakig - képes legyen az adatokkal dolgozni.
5. Biztonság és compliance
Meg kell akadályoznia az olyan típusú adatvesztéseket, amelyek a címlapokat uralják, és veszélybe sodorják a vállalatokat, az ügyfeleket. Ez azt jelenti, hogy gondoskodnia kell arról, hogy az adatplatformja robusztus biztonsági funkciókkal rendelkezzen, vagy olyan eszközökkel, amelyek integrálhatók a meglévő biztonsági megoldásaival.
Ugyanez igaz a megfelelőségre is - egy olyan adatkezelési platform, amely betartja az adott ország vagy régió szabályozó szervei által meghatározott kereteket és irányelveket, elengedhetetlen, ha az Ön szervezete az adott országban vagy régióban folytat üzleti tevékenységet.
6. Intelligencia és automatizálás
Hatalmas mennyiségű adatot nem tudnak kizárólag emberek megérteni, még akkor sem, ha ők a legelszántabb elemzők. A technológiai innovációk, különösen a gépi tanulás (ML) és a mesterséges intelligencia (AI) körül, új lehetőségeket teremtettek minden méretű szervezet számára, hogy hasznot húzzanak az adatvezérelt meglátásokból.
7. Nyílt forráskód vs. szabadalmaztatott modulok
Bár ma sok adatplatform szabadalmaztatott jellegű - egy márka egyetlen, átfogó adatplatformot kínál -, technikailag lehetséges saját adatplatformot építeni nyílt forráskódú technológiák felhasználásával. Természetesen mindegyiknek vannak előnyei és hátrányai:
- A nyílt forráskódú eszközök teljes testreszabást tesznek lehetővé, és a legtöbb rendszerrel integrálhatók. Az Ön pontos igényei szerint történő felépítésük azonban technikai szakértelemmel rendelkező emberekből álló csapatot, további erőforrásokat igényel a karbantartáshoz és a megvalósításhoz. Hirtelen előfordulhat, hogy a nyílt forráskódú megoldásoktól várt költségmegtakarítás valójában nem válik be.
- Ha a nagyfokú testreszabhatóság, a beépített funkciók, a vállalati és közösségi támogatás, valamint a folyamatos kiberbiztonság mellett a kulcsrakész használatot is szeretné, válassza a zárt forráskódú megoldásokat, például a Splunk-ot.
Kezdje el az adatplatformokkal: összpontosítson az igényeire
A sok rendelkezésre álló lehetőség miatt az adatplatform kiválasztása túlterhelőnek tűnhet. Tegye félre a hatalmas választékot és a termékek, szolgáltatások és megoldások különböző címkéit, és a keresést az Ön igényeiből kiindulva közelítse meg:
- Ismerje a céljait. Nem tudja hatékonyan kezelni az igényeit, ha nem tudja, mit szeretne elérni.
- Kezdje kicsiben. Kezdetben összpontosítson egy kis léptékű projektre - az adatkezelési platformmal való munka hatékonyságának bizonyítása a legjobb módja annak, hogy szélesebb körű elfogadásra ösztönözze szervezetét.
- Építsen ki egy adatkultúrát. Az adatelemzés elérhetővé tétele a szervezet számára csak az egyenlet egyik fele - olyan kultúrát kell létrehoznia, amely az adatokból származó meglátásokkal vezet.
- Gondolkodjon nagyban. Az adatok rendkívül nagy jelentőségűek, és a vállalkozás minden része számára hasznosak lehetnek. Győződjön meg róla, hogy az Ön által választott platform mindenhol használható, ahol az adatok hasznosak lehetnek - az egész szervezetében.
Az adatplatformok jövője
A jövőben az adatplatformoknak nagyobb sebességű, változatosabb és nagyobb volumenű adathalmazokat kell kezelniük, miközben lehetővé teszik a felhasználók széles körének - az adattudósoktól az üzleti vezetőkig -, hogy minden kérdéshez, döntéshez és intézkedéshez valós idejű adatokat hozzanak. Az adatplatformnak lehetővé kell tennie a felhasználók számára az adatok vizsgálatát, nyomon követését és elemzését - és a feltárt felismerések alapján hatékony lépéseket kell tennie.
Ahogy az új technológiák egyre több adatot hoznak, egyre több formátumban, az adatplatformoknak is fejlődniük kell. A jelen és a jövő kihívásainak való megfelelés érdekében az adatplatformoknak integrálniuk kell a gépi tanulást és a mesterséges intelligenciát, hogy proaktívan segítsék a szervezeteket az adatokkal kapcsolatos céljaik elérésében.
A teljes cikk elérhető az alábbi linken:
