Hvordan smidig testing gir økt kvalitet Praktiske erfaringer fra utvikling av en kritisk løsning med høye kvalitetskrav
Hvordan smidig testing gir økt kvalitetPraktiske erfaringer fra utvikling av en kritisk løsning med høye kvalitetskrav
2
Om Statnett
• Statnett er systemansvarlig i det
norske kraftsystemet
• Ca 11000 km med høyspentlinjer
• 150 stasjoner over hele landet
• Driften overvåkes av en
landsentral og tre
regionsentraler
3
Kraftsystemet er en balansekunst
• Produksjon og forbruk svinger mer enn før
• Kreves fleksibilitet, kapasitet og velfungerende
kraftmarkeder
• Holde balansen
• Forbruk = Produksjon
• Transport og markeder
4
Hvordan fungerer kraftmarkedet?
• I Norge produseres mest vannkraft
• I utlandet produseres kraft også
fra andre kilder, som kullkraft og
kjernekraft
• Strømforbruket fordeles mellom
industri og private husholdninger
• Strøm er en ekstrem ferskvare
• Kraftbalansen må holdes
5
Produksjon og forbruk
• Strømnettet transporterer strøm til der den brukes
• Ikke hensiktsmessig å bygge flere kraftledninger
6
Transport
• Nordisk kraftbørs Nord Pool
• Kraftleverandører kjøper
• Kraftprodusentene selger
• Prisen fastsettes mellom tilbud og etterspørsel
• Fri konkurranse i kraftmarkedet
7
Handel
• Er Norsk Sluttstrøm løsningen?
– Video
8
Hva hvis det blir for mye strøm?
• Gammel IT løsning
• Hva med fremtiden?
• Nye EU-krav, nye markeder
• Ny løsning påstartet 2009
• Fremtidsrettet arkitektur
• LARM prosjektet leverer nytt MMS
9
Statnetts systemansvar
10
LARM
LARMSystem B System C
System A
System D
LARM kommuniserer med mange systemer. Stor meldingsflyt.
Relativt store mengder sanntidsdata.
11
Smidig testing – normal situasjon
• Testing skjer under sprintene
• Kontrollpunkt etter hver sprint
• Leveranser i hver sprint
12
Smidig prosjekt
Sprint 1 Sprint 1 Sprint 1 Sprint 2 Sprint 2 Sprint 2 Sprint 3 Sprint 3 Sprint 3
KP 1 KP 2
Normal smidig testing. Kontrollpunkt hver 3. uke
• Gradvis testing i hvert KP
• Tilpasset kontrakt
• Hvordan oppnå kvalitet?
• Manglet plan på test
• Stykkvise leveranser
• Kritisk funksjonalitet ble levert sent
• Dårlig koordinasjon mot tilgrensende systemer
• Tidvis ustabile testmiljøer
• Planer uten “slakk”
• Tilgjengelighet på kritiske ressurser
13
Smidig prosjekt, smidig testing –fortsatt utfordringer for test og kvalitet
14
Hvordan ble det gjort?
Fortsetter…
• Hyppige minidemoer under konstruksjon
– Raskere å oppdage misforståelser og svakheter
– Raskere å komme frem til endelig løsning
– Tidlig testing av løsningen
• Tettere samarbeid med leverandør på test
– Høy kvalitet på test fra leverandør
15
Hvordan ble det gjort?
Fortsetter…
• Kontinuerlig testing gjennom kontrollpunktene
– 2 testmiljøer som oppdateres annenhver uke
– Ukentlige testrapporter fra leverandør
– Formelt kontrollpunkt hver tredje uke
• Leverandør må være forutsigbar på leveransene
– Felles plan med leverandør
– Forutsigbare leveranser
– 3 ukers detaljert plan
16
Hvordan ble det gjort?
Fortsetter…
• Tilgrensende systemer
– Synkronisering av leveranser
– Koordinert testing
– Risiko redusering
• Stabile testmiljøer
– Styrte oppgraderinger
– Miljøvakt
– Prioritert tilgang på instanser
– Detaljert installasjonsplan
17
Hvordan ble det gjort?
• Deltagelse i fremdriftsplaner
– Innspill i fremdriftsplan
– Risiko redusering
• Tilgang på kritiske ressurser
– Bestilling av testere
– Ferie- og fraværslister
– Nedprioritere fravær
– Minimere linjeoppgaver
• Kontinuerlig testing
• Gode ukentlige testrapporter
• Test ideer for utforskende testing
• God kontroll test caser
18
Hvordan tilpasset vi smidig testing for å få økt kvalitet?
Sprint 1 Sprint 1 Sprint 1 Sprint 2 Sprint 2 Sprint 2 Sprint 3 Sprint 3 Sprint 3
KP 1 KPtestKPtest KPtest
KPtest KPtest KP 2 KPtest
Kontinuerlig smidig testing. 2 testmiljøer. Kontrollpunkt hver 3. uke
• Felles plan for test
• Minidemoer flere ganger
• Leveransene i logisk rekkefølge
• Kontinuerlig testing
• Forutsigbare planer
• Stabile testmiljøer
• Planer med “slakk”
• Kritiske ressurser tilgjengelig
19
Smidig prosjekt, smidig testing –hvilken effekt gav dette?
20
Hvor mye bedre ble kvaliteten?
• Kvaliteten i produksjon har hele tiden vært bra
• Kvaliteten ble målt på følgende måte:
– Antall vekter i leveransen (1 vekt = x antall timer)
– Antall avvik funnet under akseptansetest
Avvik
funnet
totalt
Avvik funnet
akseptansetest
Vekt Avvik/vekt
DL4 469 176 150 1,17
DL5 420 164 180 0,91
DL6 921 121 310 0,39