8 key performance indicators
Denne artikkelen forklarer 8 viktige ytelsesindikatorer for kvalitetsutgivelser ved hjelp av Panaya Test Dynamix end-to-end testløsning:
Det er ingen hemmelighet at programvarekvalitetsledere står overfor et økende press for å levere programvare av høy kvalitet med rekordhastighet.
Spørsmålet som vi alle ofte stiller er - 'hvordan måler vi suksessen' når det gjelder programvarekvalitet?
Speed-to-market er en mye enklere beregning, men å måle resultatene våre når det gjelder å levere programvare av høy kvalitet, avhenger av mange faktorer som prosjektmetodikken (foss, hybrid, smidig), programvarens kompleksitet, nivået på teknisk involvert gjeld, antall grensesnitt og mye mer.
I et nøtteskall, antall variabler som spiller inn i et akseptabelt nivå på høy alvorlighetsfeil skal ikke undervurderes. Derfor, for å overleve på denne markedsplassen, må vi utvikle oss kontinuerlig, både i våre meninger og våre målestokker.
Det er grunnen til at jeg har utviklet denne listen over topp 8 KPI-er som du bør legge til i kvalitetspoengkortet ditt, og begynne å spore for å redusere frigjøringsrisiko, forbedre kvaliteten og måle suksessen din med en gang.
Hva du vil lære:
- Viktige ytelsesindikatorer for kvalitetsutgivelser
- Hva mer bør du vite om denne løsningen
- Konklusjon
- Anbefalt lesing
Viktige ytelsesindikatorer for kvalitetsutgivelser
# 1) Effektivitet for deteksjonsdeteksjon (DDE, AKA Prosent av deteksjonsdeteksjon)
Dette er et mål på din generell regresjonstesting effektivitet. Det beregnes som et forhold mellom mangler funnet før og etter løslatelse av kundene dine.
Feil funnet etter at du har løslatt er vanligvis kjent som “Hendelser” og er logget inn i et helpdesk-system, mens feilene som ble funnet i testfasene ( F.eks. , Enhet, system, regresjon eller UAT) identifiseres før utgivelse og dokumenteres med verktøyene som Panaya Test Dynamix .
For å beregne denne KPI-en riktig, bør du alltid kategorisere programvareversjonen som hver feil ble identifisert i, før den slippes ut i produksjonsmiljøet ditt.
Formelen som ofte brukes for DDE:
Antall feil identifisert i programvareversjonsversjon /
Antall feil i programvareutgivelse + rømte feil identifisert av sluttbrukere (F.eks., Hendelser)
Her er en enkel illustrasjon:
wifi er standard gateway ikke tilgjengelig
Anta at det ble funnet 95 feil under regresjonstestsyklusen den siste månedlige SAP Service Pack og 25 feil ble logget etter utgivelsen. DDE vil bli beregnet som 95 delt på (95 + 25) = 79%.
Husk at DDE skal overvåkes med et linjediagram som starter 100% dagen etter at du slipper den til produksjonen. Og når dine interne sluttbrukere og kunder begynner å jobbe med den nyeste SAP-servicepakken som et eksempel, vil de uunngåelig logge noen få hendelser.
Det har vært min erfaring at 'fôringsvanskap' oppstår i løpet av den første uken to dager etter at en Service Pack treffer det produktive miljøet. Det er da du vil merke et raskt fall fra 100% til ca 95% når hendelser blir logget. Hvis bedriften din har en månedlig Service Pack-utgivelseskadens, måler du DDE i en 30-dagers periode på hver Service Pack.
På den annen side, hvis firmaet bare kjører fire (4) store utgivelsessykluser per år, måler du det i 90 dager for å se hvordan det avtar over den tidsperioden.
Hva blir betraktet som en “god DDE”?
Det er omtrent som blodtrykksmålingene som enhver organisasjon og person utvikler seg over tid.
Selv om det medisinske miljøet definerer den 'optimale' blodtrykksavlesningen til 120/80 - er det naturlig å se en økning i systolisk blodtrykk når vi blir eldre. Med DDE har industriutøvere og tankeledere vært kjent for å si at 90% er prisverdig i de fleste bransjer.
Imidlertid har jeg sett organisasjoner oppnå> 95% DDE på et jevnt grunnlag ved å skifte til venstre med verktøy for endringseffekt simulering som Panayas virkningsanalyse .
# 2) System-Wide Defects (SWD)
Har du noen gang opplevd flere feil som er knyttet til de samme objektene? Det ville du sikkert ha. Det er et vanlig fenomen som mange testledere møter.
Plutselig ser du en enorm stigning i antall feil rapportert i en UAT-syklus. Heldigvis vedder jeg på at du er av typen som overvåker feil hvert 15. minutt og manuelt 'kobler' duplikatene sammen eller leser gjennom hver eneste beskrivelse for å oppdage rotårsaken selv, ikke sant? Tvilsom.
Så, hva er alternativene dine for å håndtere det uunngåelige dramaet om 'mangel på inflasjon?'
Dramaet som følger på den nattlige oppsummeringen med ledelsen i HQ om 'Hvorfor en så plutselig stigning i mangler i dag?' (Pause .... Pust dypt før du svarer) ... 'Jeg er i ferd med å jobbe med våre funksjonelle ledere for å utføre en manuell rotårsaksanalyse.
Men vi tror at mange av problemene er knyttet til et vanlig problem, men det har ikke blitt identifisert ennå ”, høres kjent ut?
Mitt forslag er at du begynner å spore hva Panaya kaller “System-Wide Defects” . Å spore dette manuelt tar for alltid - tro meg, jeg har prøvd det mange ganger. Det er også vondt å gjøre mens du bruker eldre ALM-verktøy der alt du har igjen er muligheten til å knytte feilene til hverandre og legge til en kommentar.
Wow, det hjalp virkelig! (fornemme sarkasmen?). Men hvis du ikke har et valg i verktøy nå, må du sette av tid til å spore systemdefekter på riktig måte for å 'tydelig forklare'? hvorfor feiltrendelinjen beveger seg oppover mot slutten av en testsyklus i stedet for ned.
Hvis du får en sjanse, sjekk ut Panaya Test Dynamix, den har SWD innebygd i selve motoren som automatisk beregner SWD for deg på farten.
Edderkoppnettet - Dette er en «kraftig cockpit» til denne plattformen, og er en kraftig, men likevel enkel fremstilling av de seks ytterligere viktige ytelsesindikatorene som avrunder de viktigste KPI-ene som hver kvalitets-, test- og utgivelsesleder skal spore.
# 3) Fullføring av krav
QA-ledere forstår risikoen på et dypere nivå som bare kan realiseres med en kode eller transportnivå synlighet rullet opp til hvert krav. Dette krever riktig sett med verktøy.
Panaya-verktøyet vil svare på behovene til SAP-drevne organisasjoner som søker intelligente forslag til enhetstester og risikoanalyse basert på transportaktivitet.
Dette nivået på sporing er tilgjengelig innen Panaya Release Dynamix (RDx) .
# 4) Utvikling fullført
Vi lever i en tid der kunder er kongen, og dette driver hver organisasjons digitale transformasjonsstrategi. I dag og tid har vi ikke råd til å la oss tømme eller tenke eller organisere oss når det gjelder kvalitetssikring og levering av programvare.
Våre tradisjonelle ALM-modeller fra før var ikke designet for dagens kontinuerlige leveringsmodell. For å bekjempe denne gamle tenkemåten, må QA og testledere legge seg inn i handlingen med applikasjonsutvikling, noe som betyr å ha en puls på levering av brukerhistorier.
Det er ikke nok å 'sitte og vente' på at en brukerhistorie skal nå ferdig status. Snarere må vi følge utviklingen i en brukerhistorie, delta på daglige Scrum-møter og snakke åpent om risikoen som utspiller seg med viktige endringer i applikasjonen som testes.
# 5) Dekningsplan for testplan
Dette er en av mine favoritt KPI å spore fordi jeg ikke er henvist til å spore systemet, integrering, regresjon og UAT-dekning alene.
I den virkelige ånden til å skifte mot venstre har jeg begynt å gi råd om viktigheten av å spore dekning for testing av enheter. Høres gal ut, ikke sant? Det er det ikke, spesielt hvis du har de riktige verktøyene for å gjøre det enkelt å utføre enhetstester, men gjør det enda enklere å fange de faktiske resultatene (bevis).
Med Panaya Test Dynamixs innebygde testopptak-og-spill-mulighet på, vil din deltakelse i enhetstesting skyte i været. Du vil ikke bare være i stand til å stolt vise en sporbarhetsmatrise med krav som viser en helhet-til-slutt-dekning, men vil også enkelt vise de faktiske resultatene til revisjonsavdelingen din fra enhet til regresjonstesting.
# 6) Endringsrisikoanalyse
En risiko er iboende for enhver endring vi gjør i et program som testes, men vi vet ikke alltid om vi tester de riktige tingene.
Mange organisasjoner har sin egen definisjon av hva 'endringsrisiko' betyr for dem. Innenfor 'Risk Cockpit' i Panaya's Release Dynamix (RDx), kan du ta gjetningen ut av å spore endringene med en konsekvensanalyse for prosjektet ditt eller neste utgivelse.
RDx beregner systematisk risikoen for hvert krav og holder deg oppdatert på hvordan det endres når du beveger deg lenger inn i leveransesyklusen.
# 7) Testutførelsesrisiko
Det er for vanlig at alle organisasjoner sporer KPI-er som forfattertester, bestått tester, automatiserte tester og utførte tester, men hva med å spore de faktiske trinnene som er utført i hver av testene?
Har du noen gang lagt merke til at mange av populære ALM-plattformer ikke gir out-of-the-box rapporteringsfunksjoner for å spore fremdriften for test 'trinn' utførelse? Når du har mange forskjellige 'hand-offs' som forekommer over en UAT-syklus , er det fornuftig å spore testutførelsesrisiko og status, ikke bare på testnivå, men også på forretningsprosessnivå.
Panaya Test Dynamix gjør det bare utenom boksen.
# 8) Feilutførelse
Sporingsfeil har i seg selv også en negativ konnotasjon.
I tillegg til å spore aktive feil, defekter som er løst per dag, avviste feil og alvorlige feil, foreslår vi også å overvåke løsningen av feil når de er relatert til innlagte krav.
Mange organisasjoner tar ikke et kravdrevet syn på mangeloppløsning.
Hvorfor denne løsningen for testing?
Med en end-to-end-sporbarhet innebygd i både Release Dynamix og Panaya Test Dynamix, kan organisasjonen din spore arbeidsflyten for feiloppløsning fra start til slutt på kravnivået.
venstre ytre sammenføyning mot venstre sammenføyning
Dette er spesielt nyttig for frigjørings-, kvalitet- og testledere som ønsker et fugleperspektiv på et prosjekt eller utgivelsessyklus.
Panaya akselererer testprosessen for tekniske IT- og forretningsbrukere, og reduserer dermed den totale testinnsatsen med 30-50%:
- Ledere: Sanntidsvarsler for testing og mangler og forebygging av flaskehalser.
- Forretningsbrukere: Automatisert dokumentasjon av testbevis og mangler.
- Funksjonelle analytikere: Automatisering av repetitive testaktiviteter.
- Profesjonelle testere: Forbedrer fangst av forretningskunnskap sømløst
- Feilløsere: Reduserer frem og tilbake med testerne.
Hva mer bør du vite om denne løsningen
# 1) Panaya Test Dynamix er en SaaS-løsning noe som betyr at du får sømløs integrasjon, hyppige og smertefrie oppgraderinger, samt overvåking av lokale automatiseringsverktøy.
# 2) Innebygde samarbeidsverktøy strømlinjeforme testsykluser med innebygde varsler og kommunikasjonsverktøy.
Automatisk overlevering av teststrinn til neste bruker eliminerer inaktiv tid, avlaster arbeidsmengde flaskehalser og sørger for optimale arbeidsflyter.
# 3) Smart feilhåndtering gjør det mulig for brukere å overvåke defekter, løsningen og forretningsprosessene som er berørt av dem sentralt.
Når en feil blir funnet, identifiserer den automatisk alle de andre testene som er berørt av den, og blokkerer eller sender varsler til testere til hovedfeilen er løst. Den løste mangelen lukkes automatisk ved å eliminere mangelfull etterspørsel.
# 4) Med en forretningsprosessentrert tilnærming til UAT og SIT, kryssfunksjonelle og geografisk spredte fageksperter validerer UAT-sykluser basert på de faktiske forretningsprosessene (pakkede applikasjoner).
# 5) Test automatiseringskontakter gi en komplett integrasjon av Panaya Test Dynamix med eksisterende automatiseringsverktøy for effektive regresjonssykluser på minimum tid og krefter med helhetlige sporings- og overvåkingsfunksjoner.
# 6) Testbevisautomatisering automatiserer manuell testing som tradisjonelt administreres i Excel og Word.
Sparer tid ved enkelt å dokumentere hver testutførelse - inkludert testbevis og en oversikt over trinn for reproduksjon av tester mens du reduserer frem og tilbake mellom utviklere og testere. Dokumentasjon er revisjonsklar , sikrer overholdelse av alle interne og eksterne kvalitetsstandarder.
# 7) Autonom testingSM for SAP muliggjør oppretting og vedlikehold av testsaker uten null berøring, slik at du ikke lenger trenger å håndtere smertene knyttet til fangst av forretningskunnskap og prosessen med å lage og vedlikeholde manuelt konstruerte skript.
Skript kan tilpasses mens maskinlæring tilbyr validering og forslag basert på mengdeanalyse.
# 8) Automatisert virksomhetskunnskap - Omega oppretter automatisk testtilfeller fra virkeligheten basert på forretningsbrukeraktiviteter sømløst fanget i produksjonen ved hjelp av maskinlæringsalgoritmer (SAP).
Konklusjon
Programvarekvalitetsledere og alle relevante interessenter kan møte sine test-KPI-er for å drive mer innovasjon og samtidig redusere innsatsen med 30-50%, uten å gå på kompromiss med omfang eller kvalitet ved å bruke Panaya.
Standardiserer testprosessen og måler suksess ettersom alle interessenter bruker samme testmetodikk for å få sanntidssynlighet over alle testsyklusene, inkludert storskala UAT.
For mer informasjon kan du utforske Panaya Test Dynamix .
Gi oss beskjed om dine tanker / spørsmål i kommentarene nedenfor.
Anbefalt lesing
- Hva er kvalitetsattributtene?
- MongoDB Performance: Låsing av ytelse, sidefeil og databaseprofilering
- Forskjellen mellom kvalitetssikring og kvalitetskontroll (QA vs QC)
- Falske Gud for kvalitet versus sanne mennesker - Hvem er ansvarlig for programvarekvalitet?
- Georgia Tech standardiserer ytelsestesting på RadView WebLOAD
- HTTP vs HTTPS: En grundig sammenligning av funksjoner og ytelse
- Forskjellen mellom ytelsestestplan og ytelsesteststrategi
- Hvordan utføre manuell ytelsestesting?