Meny

Data Mart Tutorial - Typer, eksempler og implementering av Data Mart

  • Hoved
  • Annen
  • Data Mart Tutorial - Typer, eksempler og implementering av Data Mart

data mart tutorial types

Prøv Instrumentet Vårt For Å Eliminere Problemer

Denne opplæringen forklarer Data Mart-konsepter som inkluderer Data Mart Implementation, Typer, Structure as well as Differences Between Data Warehouse Vs Data Mart:

I dette Komplett datalageropplæringsserie , så vi på de forskjellige Datalagerskjemaer i detalj.

Denne opplæringen vil hjelpe deg å lære Data Mart-konsepter i detalj sammen med enkle eksempler.

Vi får se Hva er en datamart? Når trenger vi en datamart? Kostnadseffektiv datamartsing, Kostnad for et datamartslag, Typer datamarts, Fremgangsmåte for implementering av et datamartslag, Strukturen til et datamartslag, Når er en pilot Data Mart nyttig? Datamart ulemper og forskjellene mellom Data Warehouse vs Data Mart.

Data Mart i ETL

Målgruppe

  • Datalager / ETL-utviklere og testere.
  • Database fagpersoner med grunnleggende kunnskap om databasekonsepter.
  • Databaseadministratorer / Big data-eksperter som ønsker å forstå Data warehouse / ETL-konsepter.
  • Høgskoleutdannede / Freshers som leter etter jobber med datalager.

Hva du vil lære:

Hva er en datamarts?

En datamart er en liten del av datalageret som hovedsakelig er relatert til et bestemt forretningsdomene som markedsføring (eller) salg etc.

Dataene som er lagret i DW-systemet er enorme, derfor er datamarkeringer designet med en delmengde av data som tilhører individuelle avdelinger. Dermed kan en bestemt brukergruppe enkelt bruke disse dataene til analysen.

I motsetning til et datalager som har mange kombinasjoner av brukere, vil hver datamart ha et bestemt sett med sluttbrukere. Mindre antall sluttbrukere resulterer i bedre responstid.

Data marts er også tilgjengelig for Business Intelligence (BI) verktøy. Datamerk inneholder ikke dupliserte (eller) ubrukt data. De blir oppdatert med jevne mellomrom. De er fagorienterte og fleksible databaser. Hvert team har rett til å utvikle og vedlikeholde sine datamarkeder uten å endre data warehouse (eller) andre data mart data.

En datamart er mer egnet for små bedrifter, da det koster veldig mindre enn et datalagersystem. Tiden som kreves for å bygge et datamart er også mindre enn tiden det tar å bygge et datalager.

Bildemessig fremstilling av flere datamarkeringer:

Flere data mars

Når trenger vi datamart?

Basert på nødvendigheten, planlegg og utform en datamart for avdelingen din ved å engasjere interessentene, fordi driftskostnadene for datamart kan være høye noen ganger.

Tenk på årsakene nedenfor for å lage en datamart:

  • Hvis du vil dele dataene med et sett med tilgangsstyringsstrategi for brukere.
  • Hvis en bestemt avdeling ønsker å se søkeresultatene mye raskere i stedet for å skanne enorme DW-data.
  • Hvis en avdeling ønsker at data skal bygges på annen maskinvare (eller) programvareplattformer.
  • Hvis en avdeling ønsker at data skal utformes på en måte som passer for verktøyene.

Kostnadseffektive data Mart

En kostnadseffektiv datamart kan bygges ved å følge trinnene:

  • Identifiser de funksjonelle delene: Del organisasjonsdataene i hver data mart (avdelings) spesifikke data for å oppfylle kravene, uten ytterligere organisatorisk avhengighet.
  • Identifiser krav til verktøy for brukertilgang: Det kan være forskjellige brukertilgangsverktøy i markedet som trenger forskjellige datastrukturer. Datamarkeringer brukes til å støtte alle disse interne strukturene uten å forstyrre DW-dataene. Én datamart kan assosieres med ett verktøy i henhold til brukerens behov. Datamerk kan også gi oppdaterte data til slike verktøy daglig.
  • Identifiser problemer med tilgangskontroll: Hvis forskjellige datasegmenter i et DW-system trenger personvern og skal være tilgjengelig av et sett med autoriserte brukere, kan alle slike data flyttes til datamarts.

Kostnad for data Mart

Kostnaden for datamart kan estimeres som følger:

  • Maskinvare- og programvarekostnad: Enhver nylig lagt til datamart kan trenge ekstra maskinvare, programvare, prosessorkraft, nettverk og disklagringsplass for å jobbe med spørsmål som sluttbrukerne krever. Dette gjør datamarkering til en kostbar strategi. Derfor bør budsjettet planlegges nøyaktig.
  • Nettverkstilgang: Hvis datamartens plassering er forskjellig fra datalagerets, bør alle dataene overføres med data-mart-lasteprosessen. Dermed bør det gis et nettverk for å overføre store datamengder som kan være dyre.
  • Tidsvindu Begrensninger: Tiden det tar for data-mart-lasteprosessen vil avhenge av forskjellige faktorer som kompleksitet og datamengder, nettverkskapasitet, dataoverføringsmekanismer, etc.

Sammenligning av datalager mot data Mart

S. nr Datavarehus Databutikk
1Kompleks og koster mer å implementere.Enkelt og billigere å implementere.
toJobber på organisasjonsnivå for hele virksomheten.Omfanget er begrenset til en bestemt avdeling.
3Spørring av DW er vanskelig for forretningsbrukere på grunn av enorme dataavhengigheter.Spørring av datamart er enkelt for forretningsbrukere på grunn av begrensede data.
4Implementeringstiden er mer kan være i måneder eller år.Gjennomføringstiden er mindre kan være i dager, uker eller måneder.
5Samler inn data fra forskjellige eksterne kildesystemer.Samler inn data fra noen få sentraliserte DW (eller) interne (eller) eksterne kildesystemer.
6Strategiske beslutninger kan tas.Forretningsbeslutninger kan tas.

Typer datamarkeringer

Datamarkeringer er klassifisert i tre typer, dvs. avhengig, uavhengig og hybrid. Denne klassifiseringen er basert på hvordan de har blitt befolket, dvs. enten fra et datalager (eller) fra andre datakilder.

Ekstraksjon, transformasjon og transport (ETT) er prosessen som brukes til å fylle ut data mart data fra alle kildesystemer.

La oss ta en titt på hver type i detalj !!

# 1) Avhengig datamart

I et avhengig datamarked kommer data fra selve det eksisterende datalageret. Dette er en top-down-tilnærming fordi den delen av omstrukturerte data i datamartet er hentet fra det sentraliserte datalageret.

En datamat kan bruke DW-data enten logisk eller fysisk som vist nedenfor:

  • Logisk visning: I dette scenariet skilles data fra data ikke fysisk fra DW. Det refererer til DW-data gjennom virtuelle visninger (eller) tabeller logisk.
  • Fysisk delmengde: I dette scenariet er datamartsdata fysisk skilt fra DW.

Når en eller flere datamarkeringer er utviklet, kan du la brukerne bare få tilgang til datamerkene (eller) for å få tilgang til både Datamerk og Datalager.

ETT er en forenklet prosess i tilfelle avhengige datamarkeringer fordi de brukbare dataene allerede eksisterer i den sentraliserte DW. Det nøyaktige settet med oppsummerte data skal bare flyttes til de respektive datamerkene.

Et bilde av Dependent Data Mart er vist nedenfor :

programvare testing intervju spørsmål og svar for ferskere

Avhengig data Mart

# 2) Uavhengig Data Mart

En uavhengig datamart er best egnet for små avdelinger i en organisasjon. Her kommer ikke data fra det eksisterende datalageret. The Independent data mart er verken avhengig av enterprise DW eller andre data marts.

Uavhengige datamarkeringer er frittstående systemer der data blir hentet ut, transformert og lastet fra eksterne (eller) interne datakilder. Disse er enkle å designe og vedlikeholde til de støtter enkle avdelingsvise forretningsbehov.

Du må jobbe med hver fase av ETT-prosessen i tilfelle uavhengige datamarkeringer på en lignende måte som hvordan dataene er behandlet til sentralisert DW. Imidlertid kan antall kilder og dataene som er fylt til datamarkedet være mindre.

Bildemessig fremstilling av en Independent Data Mart :

Uavhengig Datamart

# 3) Hybrid Data Mart

I en hybrid datamart er data integrert fra både DW og andre operativsystemer. Hybrid data marts er fleksible med store lagringsstrukturer. Det kan også referere til andre data marts data.

Bildemessig fremstilling av en Hybrid Data Mart:

Hybrid Data mart

Implementation Steps Of A Data Mart

Implementeringen av Data Mart som anses å være litt kompleks er forklart i trinnene nedenfor:

  • Design: Siden den tiden forretningsbrukere ber om en datamart, involverer designfasen kravinnsamling, oppretting av passende data fra respektive datakilder, oppretting av logiske og fysiske datastrukturer og ER-diagrammer.
  • Konstruksjon: Teamet vil designe alle tabeller, visninger, indekser osv. I datamartsystemet.
  • Befolker: Data blir hentet ut, transformert og lastet inn i datamart sammen med metadata.
  • Tilgang: Data Mart-data er tilgjengelig for sluttbrukere. De kan spørre om dataene for analyse og rapporter.
  • Administrerende: Dette innebærer forskjellige ledelsesoppgaver som brukertilgangskontroller, finjustering av ytelsesdata, opprettholdelse av eksisterende datamarts og oppretting av datamartsgjenopprettingsscenarier i tilfelle systemet mislykkes.

Structure Of A Data Mart

Strukturen til hver datamart er opprettet i henhold til kravet. Data Mart-strukturer kalles Star join. Denne strukturen vil variere fra en datamart til en annen.

Stjerneforbindelser er flerdimensjonale strukturer som er dannet med fakta- og dimensjonstabeller for å støtte store mengder data. Star join vil ha et faktatabell i sentrum omgitt av dimensjonstabellene.

Respektive faktatabeldata er assosiert med dimensjonstabeldata med en fremmednøkkelreferanse. Et faktatabell kan være omgitt av 20-30 dimensjonstabeller.

I likhet med DW-systemet inneholder faktatabellene også bare numeriske data i stjerneforbindelser, og de respektive tekstdataene kan beskrives i dimensjonstabeller. Denne strukturen ligner et stjerneskjema i DW.

Bildemessig fremstilling av en Star Join Structure.

Star Join Structure

Men de detaljerte dataene fra den sentraliserte DW er basen for data-data. Mange beregninger vil bli utført på normaliserte DW-data for å transformere dem til flerdimensjonale data marts data som er lagret i form av kuber.

Dette fungerer på samme måte som hvordan data fra eldre kildesystemer blir omgjort til normaliserte DW-data.

Når er en pilotdatamart nyttig?

En pilot kan distribueres i et lite miljø med et begrenset antall brukere for å sikre om distribusjonen er vellykket før den fullverdige distribusjonen. Dette er imidlertid ikke viktig hele tiden. Pilotutplasseringene vil ikke være til nytte når formålet er oppfylt.

Du må vurdere nedenstående scenarier som anbefaler for pilotutplassering:

  • Hvis sluttbrukerne er nye i datalagersystemet.
  • Hvis sluttbrukerne ønsker å føle seg komfortable med å hente data / rapporter av seg selv før de går til produksjon.
  • Hvis sluttbrukerne ønsker hands-on med de nyeste verktøyene (eller) teknologiene.
  • Hvis ledelsen vil se fordelene som et bevis på konseptet før de gjør det som en stor utgivelse.
  • Hvis teamet ønsker å sikre at alle ETL-komponenter (eller) infrastrukturkomponenter fungerer i god tid før utgivelsen.

Ulemper med Data Mart

Selv om data marts har noen fordeler i forhold til DW, har de også noen ulemper som forklart nedenfor:

  • Uønskede datamarts som er opprettet er vanskelig å vedlikeholde.
  • Datamarts er ment for småbedriftsbehov. Å øke størrelsen på datamarkeder vil redusere ytelsen.
  • Hvis du oppretter mer antall datamarts, bør ledelsen ordentlig ta vare på deres versjonering, sikkerhet og ytelse.
  • Datamerk kan inneholde historiske (eller) oppsummerte (eller) detaljerte data. Imidlertid kan det hende at oppdateringer av DW-data og data-mart-data ikke kan skje samtidig på grunn av problemer med datainkonsistens.

Konklusjon

Mange organisasjoner retter seg mot datamarts fra et kostnadsbesparende perspektiv. Derfor har denne opplæringen fokusert på de tekniske aspektene ved datamarkeringer i datalagersystemet.

Metadata i ETL er forklart i detalj i vår kommende opplæring.

=> Besøk her for å se opplæringsserien for datalagring for alle.

Anbefalt lesing

^