ETL vs. DB Testing - En nærmere titt på ETL Testing Need, Planning og ETL Tools

etl vs db testing closer look etl testing need

Software Testing har en rekke områder som skal konsentreres. Hovedvarianter er funksjonell og ikke-funksjonell testing. Funksjonstesting er den prosedyremessige måten å sikre at den utviklede funksjonaliteten fungerer som forventet. Ikke-funksjonell testing er tilnærmingen der ikke-funksjonelle aspekter som forbedret eller ytelse på et akseptabelt nivå kan sikres.

Det er en annen smak av testing som heter DB-testing . Data er organisert i databasen i form av tabeller. For virksomheten kan det være strømmer der dataene fra flere tabeller kan slås sammen eller behandles til en enkelt tabell og omvendt.

ETL-testing er hverandre slags testing som er foretrukket i forretningssaken der det søkes et slags rapporteringsbehov av kundene. Rapporteringen er søkt for å analysere kravene, behovene og tilbudet slik at kunder, bedrifter og sluttbrukere får svært god betjening og nytte.

Hva vil du lære i denne veiledningen?

I denne opplæringen vil du lære hva som er databasetesting, hva er ETL-testing, en forskjell mellom DB-testing og ETL-testing, og mer informasjon om ETL-testbehov, prosess og planlegging med reelle eksempler.

Vi har også dekket ETL-testing mer detaljert på siden nedenfor. Ta også en titt på det.

=> ETL Testing / Data Warehouse Testing Tips and Techniques

Hva du vil lære:

• DB Testing vs. ETL Testing
  • Sammenlignende studie av ETL- og DB-testing
  • Hvorfor skal virksomheten gå for ETL?
  • ETL-testplanlegging
  • Kritiske ETL-behov
  • Grunnleggende problemer i ETL-testing
  • Poeng å huske mens ETL-testplanlegging og -utførelse
  • ETL-verktøy og deres betydelige bruk
  • Konklusjon
  • Anbefalt lesing

DB Testing vs. ETL Testing

De fleste av oss er litt forvirret over å ta i betraktning at både databasetesting og ETL-testing er like og de samme. Faktum er at de er like, men ikke de samme.

DB-testing:

DB Testing brukes vanligvis mye i forretningsstrømmene der det forekommer flere datastrømmer i applikasjonen fra flere datakilder til en enkelt tabell. Datakilden kan være en tabell, flat fil, applikasjon eller noe annet som kan gi utdata.

I sin tur kan de fremskaffede dataene fremdeles brukes som input for den sekvensielle forretningsstrømmen. Derfor, når vi utfører DB-testing, er det viktigste som må fanges, måten dataene kan forvandles fra kilden sammen med hvordan de blir lagret på destinasjonsstedet.

Synkronisering er en viktig og viktig ting som må vurderes når du utfører DB-testing. På grunn av plasseringen av applikasjonen i den arkitektoniske strømmen, kan det være få problemer med data- eller DB-synkronisering. Derfor må du ta vare på dette når du utfører testingen, da dette kan overvinne potensialet ugyldige feil eller feil.

Eksempel 1:

Prosjekt “A” har integrert arkitektur der den aktuelle applikasjonen bruker data fra flere andre heterogene datakilder. Derfor må integriteten til disse dataene med destinasjonsstedet gjøres sammen med valideringene for følgende:

• Validering av fremmed nøkkel
• Kolonnen verdsetter integritet
• Nullverdier for alle kolonner

Hva er ETL-testing?

ETL Testing er en spesiell type testing som klienten ønsker å få gjort for prognoser og analyser av virksomheten. Dette brukes mest til rapporteringsformål. For eksempel, hvis kundene trenger å ha rapportert om kundene som bruker eller går for produktet sitt basert på dagen de kjøper, må de benytte seg av ETL-rapportene.

Post analyse og rapportering , disse dataene er datalageret til et datalager hvor de gamle historiske forretningsdataene må flyttes.

hvordan du åpner SWF-filer på Windows

Dette er tester på flere nivåer da dataene fra kilden blir transformert til flere miljøer før de når den endelige destinasjonen.

Eksempel 2:

Vi vil vurdere en gruppe 'A' som driver privatkundevirksomhet gjennom et shoppingmarked der kunden kan kjøpe husholdningsartikler som er nødvendige for den daglige overlevelsen. Her får alle kundene som besøker et unikt medlems-ID som de kan få poeng med hver gang de kommer for å kjøpe ting fra shoppingmarkedet.

Regelverket gitt av gruppen sier at poengene som oppnås utløper hvert år. Og avhengig av bruken, kan medlemskapet enten oppgraderes til et høyere karakter eller nedgradere til et lavere karakter sammenlignet med dagens karakter.

Etter 5 år med shoppingmarkedsetablering ser ledelsen etter å øke virksomheten sammen med inntektene.

Derfor krevde de få forretningsrapporter for å kunne markedsføre sine kunder.

I databasetesting utfører vi følgende:

#1) Valideringer på måltabellene som er opprettet med kolonner med logiske beregninger som beskrevet i det logiske kartleggingsarket og datarutedokumentet.

#to) Manipuleringer som å sette inn, oppdatere og slette kundedataene kan utføres på ethvert sluttbruker-POS-program i et integrert system sammen med back-end-databasen slik at de samme endringene gjenspeiles i sluttsystemet.

# 3) DB-testing må sikre at det ikke er noen kundedata som er feiltolket eller til og med avkortet. Dette kan føre til alvorlige problemer som feil kartlegging av kundedata med deres lojalitet

I ETL-testing sjekker vi for følgende:

#1) Forutsatt at det er 100 kunder i kilden, vil du sjekke om alle disse kundene sammen med dataene fra de 100 radene er flyttet fra kildesystemet til målet. Dette er kjent som verifisering av Fullstendighetskontroll av data.

#to) Kontrollerer om kundedataene er riktig manipulert og demonstrert i de 100 radene. Dette kalles ganske enkelt verifisering av Kontroll av datanøyaktighet .

# 3) Rapporter for kundene som har fått poeng mer enn x-verdier innen en bestemt periode.

Sammenlignende studie av ETL- og DB-testing

ETL- og DB-testing har få av de aspektene som er forskjellige i seg selv, og som er viktigere å forstå før de utføres. Dette hjelper oss med å forstå verdiene og betydningen av testingen og måten den hjelper virksomheten på.

Følgende er et skjema som beskriver den grunnleggende oppførselen til begge testformatene.

Hvorfor skal virksomheten gå for ETL?

Mange forretningsbehov er tilgjengelige for dem å vurdere ETL-testing. Hver bedrift må ha sitt unike oppdrag og sin bransje. All virksomhet har sin produkts livssyklus som tar generisk form:

Det er veldig klart at ethvert nytt produkt kommer inn i markedet med en enorm vekst i salget og til et stadium som kalles modenhet, og deretter faller det ned i salget. Denne gradvise endringen er vitne til et klart fall i virksomhetsveksten. Derfor er det viktigere å analysere kundens behov for forretningsveksten og andre faktorer som kreves for å gjøre organisasjonen mer lønnsom.

Så i virkeligheten ønsker klientene å analysere historiske data og komme med noen rapporter strategisk.

ETL-testplanlegging

Et av hovedtrinnene i ETL-testing handler om å planlegge testen som skal utføres. Det vil ligne på Testplan for systemtesting som vanligvis utføres bortsett fra få attributter som krav og testtilfeller.

nettsted for å se anime gratis

Her er kravene ikke annet enn a kartleggingsark som vil ha en slags kartlegging mellom data i forskjellige databaser. Som vi er klar over at ETL-testingen skjer på flere nivåer, er det forskjellige kartlegginger som trengs for å validere dette.

Det meste av tiden dataene er hentet fra kildedatabasene, er ikke direkte. Alle kildedataene vil ha tabellenes oversikt hvor dataene kan brukes.

Eksempel: Følgende er et eksempel på hvordan tilordningene kan leveres. De to kolonnene VIEW_NAME og TABLE_NAME kan brukes til å representere visningene for å lese data fra henholdsvis kilden og tabellen i ETL-miljøet.

Det anbefales å opprettholde navnekonvensjonen som kan hjelpe oss når vi planlegger for automatisering. Generisk notasjon som kan brukes, er bare å prefiksere navnet på miljøet.

Det viktigste i ETL handler om å identifisere viktige data og tabellene fra kilden. Det neste viktige trinnet er kartleggingen av tabeller fra kilden til ETL-miljøet.

Følgende er et eksempel på hvordan kartleggingen mellom tabellene fra de forskjellige miljøene kan relateres til ETL-formålet.

Kartleggingen ovenfor forutsetter dataene fra kildetabellen til iscenesettingstabellen. Og fra da av til bordene i EDW og deretter til OLAP som er det endelige rapporteringsmiljøet. Derfor er datasynkronisering til enhver tid veldig viktig for ETLs skyld.

Kritiske ETL-behov

Som vi forstår er ETL behovet for prognoser, rapportering og analyse av virksomheten for å fange kundens behov på en mer suksessiv måte. Dette vil gjøre det mulig for bedriften å ha høyere krav enn tidligere.

Her er noen av de kritiske behovene som ETL-testing ikke kan oppnås uten:

1. Data og tabeller identifikasjon : Dette er viktig ettersom det kan være mange andre irrelevante og unødvendige data som kan være av minst betydning når man prognoser og analyserer kundens behov. Derfor må relevante data og tabeller velges før du starter ETL-arbeidene.
2. Kartleggingsark : Dette er et av de kritiske behovene mens du gjør ETL-arbeider. Kartlegging av riktig tabell fra kilde til destinasjon er obligatorisk, og eventuelle problemer eller feil data i dette arket kan påvirke hele ETL-leveransen.
3. Tabelldesign og data, kolonnetype : Dette er det neste store trinnet når man vurderer kartlegging av kildetabeller til de bestemte tabellene. Kolonnetypen må samsvare med tabellene på begge stedene osv.
4. Databasetilgang : Det viktigste er tilgang til databasen der ETL fortsetter. Eventuelle begrensninger på tilgangen vil ha tilsvarende innvirkning.

ETL rapportering og testing

Rapportering i ETL er viktigere ettersom det forklarer og dirigerer kundene kunden trenger. Ved dette kan de forutsi og analysere de nøyaktige kundebehovene

Eksempel 3:

Et selskap som produserer silke stoff ønsket å analysere deres årlige salg. Ved gjennomgang av deres årlige salg fant de i løpet av august og september at det var et enormt fall i salget ved bruk av rapporten de genererte.

Derfor bestemte de seg for å lansere kampanjetilbudet som bytte, rabatter osv. Som forbedret deres salg.

Grunnleggende problemer i ETL-testing

Det kan være en rekke problemer mens du utfører ETL-testing, som følgende:

• Enten tilgangen til kildetabellene eller visningene vil ikke være gyldig.
• Kolonnenavnet og datatypen fra kilden til neste lag samsvarer kanskje ikke.
• Et antall poster fra kildetabellen til den skjematiske tabellen samsvarer kanskje ikke.

Og det kan være mye mer.

Følgende er et eksempel på kartleggingsark der det er kolonner som VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE og TRANSFORMATION LOGIC.

De første 3 kolonnene representerer detaljene i kildedatabasen, og de neste 3 er detaljene for den nærmeste foregående databasen. Den siste kolonnen er veldig viktig. Transformasjonslogikk er måten dataene fra kilden leses og lagres i den bestemte databasen. Dette avhenger av virksomheten og ETL-behovene.

Poeng å huske mens ETL-testplanlegging og -utførelse

Det viktigste i ETL-testing er innlasting av data basert på utvinningskriteriene fra kilden DB. Når dette kriteriet er ugyldig eller foreldet, vil det ikke være data i tabellen for å utføre ETL-testing som virkelig gir flere problemer.

Følgende er noen av punktene som skal tas vare på under ETL-testplanlegging og -utførelse:

#1) Data hentes fra de heterogene datakildene
#to) ETL-prosesshåndtering i det integrerte miljøet som har forskjellige:

godkjenning krevde brukernavn og passordruter

• DBMS
• DU
• Maskinvare
• Kommunikasjonsprotokoller

# 3) Nødvendigheten av å ha et logisk datakartingsark før de fysiske dataene kan transformeres
# 4) Forståelse og undersøkelse av datakildene
# 5) Startbelastning og trinnvis belastning
# 6) Revisjonskolonner
# 7) Laster inn fakta og dimensjoner

ETL-verktøy og deres betydelige bruk

ETL-verktøy brukes i utgangspunktet til å bygge og konvertere transformasjonslogikk ved å ta data fra kilden til en annen som bruker transformasjonslogikken. Du kan også kartlegge skjemaene fra kilden til destinasjonen som forekommer på unike måter, transformere og rydde opp data før de kan flyttes til destinasjonen, sammen med lasting på destinasjonen på en effektiv måte.

Dette kan redusere den manuelle innsatsen betydelig da kartleggingen kan gjøres som brukes til nesten all ETL-validering og verifisering.

ETL verktøy :

1. Informatikk - PowerCenter - er et av de populære ETL-verktøyene som er introdusert av Informatica Corporation. Dette har en veldig god kundebase som dekker store områder. De viktigste komponentene i verktøyet er verktøyene for klienter og depotverktøyene og serverne. Klikk på for å vite mer om verktøyet her
2. IBM - Infosphere Information Server - IBM, som er markedsledende når det gjelder datateknologi, har utviklet Infosphere Information-serveren som ble brukt til informasjonsintegrering og -administrasjon i år 2008. For å vite mer om verktøyet, klikk her
3. Oracle - dataintegrator - Oracle Corporation har utviklet sitt ETL-verktøy i navnet Oracle - Data Integrator. Deres økende kundesupport har fått dem til å oppdatere ETL-verktøyene sine i forskjellige versjoner. Klikk på for å vite mer om verktøyet her

Flere eksempler på bruk av ETL-testing:

Tatt i betraktning noen flyselskaper som ønsker å lansere kampanjer og tilbud om å tiltrekke seg kunder strategisk. For det første vil de prøve å forstå kravene og behovene til kundens spesifikasjoner. For å oppnå dette, vil de kreve historiske data, fortrinnsvis de to foregående års data. Ved hjelp av dataene vil de analysere og utarbeide noen rapporter som vil være nyttige for å forstå kundenes behov.

Rapportene kan være av følgende slag:

1. Kunder fra region A som reiser til region B på bestemte datoer
2. Kunder med spesifikt alderskriterium reiser til byen XX

Og det kan være mange andre rapporter.

Analysering av disse rapportene vil hjelpe kundene med å identifisere hva slags kampanjer og tilbud som vil være til fordel for kundene, og som samtidig kan være til nytte for bedrifter der dette kan bli en vinn-vinn-situasjon. Dette kan enkelt oppnås ved ETL-testing og rapporter.

Parallelt står IT-segmentet overfor et alvorlig DB-problem som er lagt merke til som har stoppet flere tjenester, som igjen har potensial til å forårsake innvirkning på virksomheten. Ved etterforskning ble det identifisert at noen ugyldige data har ødelagt noen få databaser som måtte korrigeres manuelt.

I det tidligere tilfellet er det ETL-rapporter og testing som er påkrevd.

Mens sistnevnte tilfelle er der DB-testing må gjøres riktig for å løse problemer med ugyldige data.

Konklusjon

Håper opplæringen ovenfor har gitt en enkel og klar oversikt over hva ETL-testing er, og hvorfor det må gjøres sammen med forretningseffektene eller fordelene de gir. Dette stopper ikke her, men det kan utvides til å gi framsyn i vekst i virksomheten.

Om forfatteren: Denne opplæringen er skrevet av Nagarajan. Han er en testleder med over 6 års erfaring med programvaretesting innen forskjellige funksjonelle områder som bank, flyselskap og telekom når det gjelder både manuell og automatisering.

Gi oss beskjed om dine tanker / spørsmål i kommentarene nedenfor.

Anbefalt lesing

• ETL Testing Intervju Spørsmål og svar
• ETL Testing Tutorial Data Warehouse Testing Tutorial (En komplett guide)
• Topp 10 ETL-testverktøy i 2021
• Hvordan utføre ETL-testing ved hjelp av Informatica PowerCenter Tool
• 31 Topp Database Testing Intervju Spørsmål og svar
• 40+ beste databasetestverktøy - populære datatestløsninger
• Fullstendig guide for databasetesting (hvorfor, hva og hvordan du tester data)
• Selenium Database Testing (Bruk WebDriver og JDBC API)