etl testing data warehouse testing tutorial
ETL Testing / Data Warehouse Process og utfordringer:
I dag, la meg ta et øyeblikk og forklare testbrorskapet mitt om en av de mye etterspurte og kommende ferdighetene til testervennene mine, dvs. ETL-testing (Extract, Transform, and Load).
Denne opplæringen vil gi deg en komplett ide om ETL-testing og hva vi gjør for å teste ETL-prosessen.
Komplett listeopplæring i denne serien:
- Opplæring # 1 : ETL Testing Data Warehouse Testing Introduksjonsveiledning
- Opplæring # 2 : ETL-testing ved hjelp av Informatica PowerCenter Tool
- Opplæring # 3 : ETL vs. DB Testing
- Opplæring # 4 : Business Intelligence (BI) Testing: Hvordan teste forretningsdata
- Opplæring # 5 : Topp 10 ETL-testverktøy
Det har blitt observert at uavhengig verifisering og validering får et enormt markedspotensial, og mange selskaper ser dette nå som potensiell forretningsgevinst.
Kundene har fått tilbud om et annet produktsortiment når det gjelder tjenestetilbud, distribuert på mange områder basert på teknologi, prosess og løsninger. ETL eller datalager er et av tilbudene som utvikler seg raskt og vellykket.
Gjennom ETL-prosessen blir data hentet fra kildesystemene, transformert i henhold til forretningsregler og til slutt lastet til målsystemet (datalageret). Et datalager er en bedriftsomfattende butikk som inneholder integrerte data som hjelper til med å ta beslutningsprosessen. Det er en del av forretningsinformasjon.
Hva du vil lære:
- Hvorfor trenger organisasjoner datalager?
- ETL-prosess
- ETL testteknikker
- ETL / Data Warehouse Testing Process
- Forskjellen mellom databasetesting og datavarehus
- ETL-testutfordringer
- Anbefalt lesing
Hvorfor trenger organisasjoner datalager?
Organisasjoner med organisert IT-praksis ser frem til å skape neste nivå av teknologitransformasjon. De prøver nå å gjøre seg mye mer operasjonelle med data som er enkle å samarbeide.
Når det er sagt at data er den viktigste delen av enhver organisasjon, kan det være hverdagsdata eller historiske data. Data er ryggraden i enhver rapport, og rapportene er grunnlinjen der alle viktige ledelsesbeslutninger tas.
De fleste av selskapene tar et skritt fremover for å konstruere sitt datalager for å lagre og overvåke sanntidsdata så vel som historiske data. Å lage et effektivt datalager er ikke en enkel jobb. Mange organisasjoner har distribuerte avdelinger med forskjellige applikasjoner som kjører på distribuert teknologi.
ETL-verktøy brukes for å gjøre en feilfri integrasjon mellom forskjellige datakilder fra forskjellige avdelinger. ETL-verktøyet fungerer som en integrator, og trekker ut data fra forskjellige kilder; transformere det til det foretrukne formatet basert på forretningsomdannelsesreglene og laste det i sammenhengende DB kjent er Data Warehouse.
Godt planlagt, veldefinert og effektivt testomfang garanterer jevn konvertering av prosjektet til produksjonen. En virksomhet får den virkelige oppdriften når ETL-prosessene er verifisert og validert av en uavhengig gruppe eksperter for å sikre at datalageret er konkret og robust.
ETL- eller datalagertesting er kategorisert i fire forskjellige engasjementer uavhengig av teknologi eller ETL-verktøy som brukes:
- Ny datalagertesting - Ny DW er bygget og verifisert fra bunnen av. Datainput er hentet fra kundenes krav og forskjellige datakilder, og nytt datalager bygges og verifiseres ved hjelp av ETL-verktøy.
- Migrasjonstesting - I denne typen prosjekter vil kunden ha en eksisterende DW og ETL som utfører jobben, men de ønsker å pakke nytt verktøy for å forbedre effektiviteten.
- Forespørsel om endring - I denne typen prosjekter blir nye data lagt til fra forskjellige kilder til en eksisterende DW. Det kan også være en tilstand der kunden trenger å endre sin eksisterende forretningsregel, eller de kan integrere den nye regelen.
- Rapporter testing - Rapport er sluttresultatet av ethvert datavarehus og det grunnleggende forslaget som DW bygger for. Rapporten må testes ved å validere layout, data i rapporten og beregning.
ETL-prosess
( Merk : Klikk på bildet for forstørret visning)
ETL testteknikker
1) Testing av datatransformasjon : Bekreft at data er transformert riktig i henhold til ulike forretningskrav og regler.
2) Kilde til måltellingstesting : Forsikre deg om at antall poster som er lastet inn i målet samsvarer med forventet antall.
3) Kilde til måldatatesting : Forsikre deg om at alle projiserte data er lastet inn i datalageret uten tap av data og avkorting.
4) Testing av datakvalitet : Forsikre deg om at ETL-applikasjonen på riktig måte avviser, erstatter med standardverdier og rapporterer ugyldige data.
5) Ytelsestesting : Forsikre deg om at data er lastet inn i datalageret innenfor foreskrevne og forventede tidsrammer for å bekrefte forbedret ytelse og skalerbarhet.
hvordan å rippe DVD gratis
6) Testing av produksjonsvalidering: Valider dataene i produksjonssystemet og sammenlign dem med kildedataene.
7) Testing av dataintegrasjon : Forsikre deg om at dataene fra forskjellige kilder er lastet riktig til målsystemet og at alle terskelverdiene er sjekket.
8) Søknadsmigrasjonstesting : I denne testingen er det sikret at ETL-applikasjonen fungerer bra med å flytte til en ny boks eller plattform.
9) Kontroll av data og begrensninger : Datatype, lengde, indeks, begrensninger osv. Testes i dette tilfellet.
10) Dupliser datakontroll : Test om det finnes duplikatdata i målsystemene. Dupliserte data kan føre til feil analytiske rapporter.
Bortsett fra de ovennevnte ETL-testmetodene, utføres også andre testmetoder som systemintegrasjonstesting, brukerakseptstesting, inkrementell testing, regresjonstesting, retesting og navigasjonstesting for å sikre at alt er jevnt og pålitelig.
ETL / Datavarehus Testprosess
I likhet med alle andre tester som ligger under uavhengig verifisering og validering, går ETL også gjennom samme fase.
- Kravsforståelse
- Validerer
- Testestimering basert på en rekke tabeller, kompleksiteten i regler, datavolum og ytelsen til en jobb.
- Testplanlegging basert på innspillene fra testestimering og forretningskrav. Vi må her identifisere at hva som er i omfang og hva som er utenfor omfang. Vi ser også etter avhengigheter, risikoer og avbøtningsplaner i denne fasen.
- Designe testtilfeller og test scenarier fra alle tilgjengelige innganger. Vi må også designe kartleggingsdokumenter og SQL-skript.
- Når alle testtilfellene er klare og er godkjent, fortsetter testteamet med å utføre førutførelseskontroll og forberedelse av testdata for testing
- Til slutt utføres utførelsen til utgangskriteriene er oppfylt. Så eksekveringsfasen inkluderer å kjøre ETL-jobber, overvåke jobbkjøringer, kjøring av SQL-skript, feillogging, mangeltesting og regresjonstesting.
- Etter vellykket gjennomføring utarbeides en sammendragsrapport og avslutningsprosessen gjøres. I denne fasen gis avmelding for å markedsføre jobben eller koden til neste fase.
De to første fasene, dvs. kravforståelse og validering, kan betraktes som før-trinn i ETL-testprosessen.
Så, hovedprosessen kan vises som nedenfor:
Det er nødvendig å definere teststrategi som skal aksepteres gjensidig av interessenter før faktisk testing. En veldefinert teststrategi vil sørge for at riktig tilnærming er fulgt for å oppfylle testaspirasjonen.
ETL / Data Warehouse-testing kan kreve at du skriver SQL-setninger mye av testteamet eller kanskje skreddersyr SQL levert av utviklingsteamet. Uansett må et testteam være klar over resultatene de prøver å få ved hjelp av disse SQL-setningene.
Forskjellen mellom databasetesting og datavarehus
Det er en populær misforståelse at databasetesting og datavarehus er lik mens faktum er at begge holder forskjellige retninger i testingen.
- Databasetesting utføres ved hjelp av en mindre skala av data, normalt med OLTP-databaser (online transaksjonsbehandling), mens datalagertesting gjøres med stort volum med data som involverer OLAP-databaser (online analytisk behandling).
- I databasetesting injiseres vanligvis data konsekvent fra ensartede kilder, mens det i datalagertesting kommer mesteparten av dataene fra forskjellige typer datakilder som er sekventielt inkonsekvente.
- Vi utfører vanligvis den eneste CRUD-operasjonen (Opprett, les, oppdater og slett) i databasetesting mens vi i datalagertesting bruker skrivebeskyttet (Velg) -operasjon.
- Normaliserte databaser brukes i DB-testing mens demoralisert DB brukes i datalagertesting.
Det er en rekke universelle verifikasjoner som må utføres for enhver form for datalagertesting.
Nedenfor er listen over objekter som behandles som essensielle for validering i denne testen:
- Kontroller at datatransformasjon fra kilde til destinasjon fungerer som forventet
- Kontroller at forventede data er lagt til målsystemet
- Kontroller at alle DB-felt og feltdata er lastet inn uten avkorting
- Bekreft datasjekksummen for samsvar med rekordtall
- Kontroller at for avviste data genereres riktige feillogger med alle detaljer
- Bekreft NULL-verdifelter
- Kontroller at dupliserte data ikke er lastet
- Bekreft dataintegriteten
=> Kjenn forskjell mellom ETL / Data warehouse testing & Database Testing .
ETL-testutfordringer
Denne testen er ganske forskjellig fra konvensjonell testing. Det er mange utfordringer vi møtte når vi utførte datalagertesting.
Her er noen utfordringer jeg opplevde på prosjektet mitt:
- Uforenlige og dupliserte data
- Tap av data under ETL-prosessen
- Utilgjengelighet av den inkluderende testsengen
- Testere har ingen privilegier til å utføre ETL-jobber alene
- Volum og kompleksitet av data er veldig stort
- Feil i forretningsprosess og prosedyrer
- Problemer med å skaffe og bygge testdata
- Ustabilt testmiljø
- Mangler informasjon om forretningsflyt
Data er viktig for bedrifter å ta kritiske forretningsbeslutninger. ETL-testing spiller en viktig rolle for å validere og sikre at forretningsinformasjonen er nøyaktig, konsistent og pålitelig. Det minimerer også faren for tap av data i produksjonen.
Håper disse tipsene vil bidra til at ETL-prosessen din er nøyaktig og datalagerbygningen av dette er en konkurransefortrinn for virksomheten din.
Komplett liste over ETL-testopplæringer:
- Opplæring # 1 : ETL Testing Data Warehouse Testing Introduksjonsveiledning
- Opplæring # 2 : ETL-testing ved hjelp av Informatica PowerCenter Tool
- Opplæring # 3 : ETL vs. DB Testing
- Opplæring # 4 : Business Intelligence (BI) Testing: Hvordan teste forretningsdata
- Opplæring # 5 : Topp 10 ETL-testverktøy
Dette er et gjestepost av Vishal Chhaperia som jobber i et MNC i en testledelsesrolle. Han har lang erfaring med å administrere multiteknologi QA-prosjekter, prosesser og team.
Har du jobbet med ETL-testing? Del dine ETL / DW testtips og utfordringer nedenfor.
Anbefalt lesing
- Alpha Testing og Beta Testing (En komplett guide)
- ETL Testing Intervju Spørsmål og svar
- Beste verktøy for testing av programvare 2021 [QA Test Automation Tools]
- Topp 10 ETL-testverktøy i 2021
- Build Verification Testing (BVT Testing) Komplett guide
- Funksjonstesting mot ikke-funksjonell testing
- De 4 trinnene til Business Intelligence (BI) -testing: Hvordan teste forretningsdata
- Testing Primer eBook Download