ISTQB Metodolojisi ile Test Planlama ve Tahminleme 29 ARALIK 2014 Beşiktaş / İstanbul Vedat Çelikel
ISTQB Metodolojisi ile Test Planlama ve Tahminleme
29 ARALIK 2014
Beşiktaş / İstanbul
Vedat Çelikel
Eğiti İçeriği
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Bölüm 1: Test Planlama (Test Planing)
Bölüm 2: Test Planlama Adımları (Test Planing Activities)
Bölüm 3: Test Tahminleme (Test Estimation)
Bölüm 4: Test Stratejisi,Test Yaklaşımı (Test Strategy,Test Approach)
Bölüm 5: ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru
Örnekleri
Eğiti İçeriği
t
Bölüm 1 : Test Planlama
Certified Tester
Faundation Level Syllabus
Relesed
Version 2011
International Softwair Testing
Qualifications Board
Test Planlama (Test Planing) Test Planı
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Planı Nedir?
Test planı,yapılacak bir testin proje planıdır.
Test Planı,Tasarım özelliklerini, durumlarını ya da prosedürleri içeren bir doküman değildir;detaylı ayrıntıları adreslemez
Proje test kapsamının,riskinin,amacının yazıldığı dokümandır. Hem müşteri hem de projedeki diğer ekiplerin farkındalığının artmasına katkıda bulunur
"Yazılım Testi Dokümantasyonu Standardı" (IEEE Std 829-1998) kapsamında değinilmektedir
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Önemli noktalar üzerine odaklanmayı sağlamak.
Proje ekibi çalışanları,test yapanlar,yöneticiler ve diğer paydaşlar arasında ki iletişimi sağlamak.
Projedeki değişikliklerin yönetilmesinde yardımcı olmak. (Projenin erken aşamasında,ek bilgi elde edilmesi gibi
durumlarda plan revize edilebilir.)
1 • Odaklanma
2 • İletişim
3 • Değişiklik
Test Planlama (Test Planing) Test Planına Neden Gerek duyulur?
Amaç
Projedeki değişiklikler ile test planı uyumlandırılır.
Kilometre taşları güncellendikçe,proje ve test uyumlandırılır.
Testler çalıştırıldığında sonuçlar planlara yansıtılır.
t
Bölüm :2 Test Planlama Adımları
Certified Tester
Faundation Level Syllabus
Relesed
Version 2011
International Softwair Testing
Qualifications Board
Test Planlama Adımları
ISTQB Metodolijisi ile Test planlama ve Tahminleme
1. Kapsamı ve riskleri tanımlama ve testin hedeflerini belirleme
Test Planlama (Test Planing)
5. Test analizi ve tasarım aktivitelerinin zaman planlamasını yapma
6, Test uyarlama, yürütme ve değerlendirmenin zaman
planlamasını yapma
8. Test dokümantasyonu için miktarı, ayrıntı
seviyesini, yapıyı ve şablonları tanımlama
9. Test hazırlığı ve
yürütme, hata çözümleme ve risk
konularını görüntüleme ve kontrol etmek için
metrik yöntem belirlemek
10. Yeniden üretilebilir test hazırlığını ve
yürütmeyi sağlamak amacıyla test
prosedürlerinin ayrıntı seviyesini belirleme
2. Test seviyelerinin, giriş ve çıkış kriterinin tanımı da
dahil testin genel yaklaşımını tanımlama
3. Test aktivitelerini, yazılım yaşam döngüsü adımlarıyla (alma, sağlama, geliştirme,
operasyon ve bakım) entegre ve koordine etme
4. Neyin test edileceği, rollerin, test yönteminin
belirlenmesi ve test sonuçlarının nasıl
değerlendirilmesi gerektiği ile ilgili kararlar verme
7. Tanımlanan aktiviteler için kaynakları atama
İyi bir test planı kısa ve odaklanmış olmalıdır.
Zaman 1 Tanım
Koord
Karar Hedef
Zaman 2
Kaynak
Şablon
Metrik
Prosedür
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Giriş kriteri, teste ne zaman başlanacağını,gerekli girdileri ve ihtiyaçları belirler (test seviyesinin başlangıcında veya bir dizi
test yürütmeye hazır olduğunda).
Test Planlama (Test Planing) Test Planı Hedefleri ve Kriterleri Nelerdir?
1. Test ortamı elverişliliği ve araç gereç hazırlığı,
Giriş Kriteri
3. Tahminlenen kalan ve kaç adet çözüldü.
2. Test edilecek maddelerin başlama ve bitiş durumları.
4. Kaç kez test işletildi,geçenler,geçmeyen
ler,bloke edilenler, atlananlar.
Test Planı Hedefleri Nelerdir?
1. Başlama (Giriş) zamanını belirleme
2.Bitiş (Çıkış) zamanını belirleme
3. Başlama (Giriş) ve Bitiş (Çıkış) kriterlerini belirleme
5. Test edilen yazılım oranı,test edilmeyen kısmı.
Temin Etme
Test Maddeleri
Kapsama
Kusurlar
Testler
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Planlama (Test Planing) Test Planı Kriterleri
Çıkış Kriterlerini (exit criteria) belirlerken,başarılı projelerde belirlenen kalite,bütçe ve zamanlama arasındaki dengeyi unutmamak gerekir.
Çıkış kriteri, testin ne zaman durdurulacağını belirler (test seviyesinin sonunda veya bir dizi test hedefine ulaşıldığında)
1. Kodun kapsamı, fonksiyonalite veya risk gibi bütünlük ölçümleri
Çıkış Kriteri
2. Piyasaya sunma gibi zaman planlamaları. İstenmeyen
çıktılar,örneğin pazara geç çıkış(Pazar payında kayıplar),pazara erken
çıkış(test edilmemiş kısımlar,gizli kusurlar.)
3. Bir sonraki kusur bulma maliyetinin mevcut test seviyesi içerisinde bulup sonraki test seviyesi (ya da üretim) içerisindeki maliyeti ile karşılaştırma
4. Düzeltilmeyen hatalar veya belirli
alanlarda test kapsamının yeterli olmaması gibi riskler ve güvenilirlik
ölçülerinin tahminleri
Hata yoğunluğu
Kalite
Maliyet
Riskler
t
Bölüm :3 Test Tahminleme
Certified Tester
Faundation Level Syllabus
Relesed
Version 2011
International Softwair Testing
Qualifications Board
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Tahminleme(Test Estimation) Test Tahminleme
5. Test Kapama
Test çalışmaları tek bir aktivite değil fazlara bölünmüş süreçlerden oluşur.
1. Planlama ve Kontrol
2. Analiz ve Tasarım
3. Uygulama ve yürütme
4. Çıkış kriterlerini değerlendirme ve Raporlama
Her fazın içerisindeki aktiviteler,görevler ve alt görevler belirlenir.
Süreç
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Tahminleme(Test Estimation) Test Tahminleme
Performans testi için planlama aşamasında,ayrı bir detaylı test plan dökümanı hazırlanır.Taslak olarak gereken zaman tahminlenir,performans test planı gözden
geçirilir ve sonlandırılır.
Doğru bir tahminleme için çalışma yeterince küçük work package’lere
ayrılır.
Görevlerin süresi 1-3 gün kadar kısa olmalıdır.
İş kırılım yapısı (WBS) oluşturulurken,projenin başında tahminleme ve proje devam ederken izleme ve kontrol birlikte düşünülür.
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Tahminleme(Test Estimation) Test Tahminleme
Daha önceki veya benzer projelere ya da genel değerlere dayanarak test çabasını tahmin etme.
Test eforu tahmin edildiğinde kaynaklar belirlenebilir ve bir zaman çizelgesi çizilebilir.
Test tahminleme için iki yaklaşım bulunmaktadır.
1. Metrik Bazlı Yaklaşım
2. Uzman Bazlı Yaklaşım
Testte yapılacak işlerin sahibi veya uzmanlar tarafından yapılan tahminlere dayanarak görevleri tahmin etmek.
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Tahminleme(Test Estimation) Test Eforu
Test modelleri için kullanılan gereksinim ve diğer bilgilerin kalitesi (örn. test esası), yazılımın boyutu, problemli alanın karmaşıklığı, güvenilirlik ve güvenlik için gereksinimler ve dokümantasyon gereksinimleri
Kuruluşun kararlılığı, kullanılan araçlar, test süreci, katılan kişilerin becerileri ve zaman kısıtlaması
Test eforu birçok faktöre bağlı olabilir: Test Eforu birçok faktöre bağlı olabilir:
Hataların sayısı ve gereken yeniden çalışma eforu
1. Yazılım Özellikleri
2. Geliştirme sürecinin Özellikleri
3. Test ürünü/çıktısı
t
Bölüm :4 Test Stratejisi, Test Yaklaşı ı
Certified Tester
Faundation Level Syllabus
Relesed
Version 2011
International Softwair Testing
Qualifications Board
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach)
Test Stratejisi, Test Yaklaşımı
Test yaklaşımı nedir?
Adım 1
• Gereksinimler gözden geçirilir. • Kullanım seneryoları incelenir. • Kurumsal kalite kuralları incelenir
Adım 2 • Test tipleri ve mantıksal test seviyeleri belirlenir.
Adım 3
• Başlama ve tamamlanma kıriterleri,varsayımlar, test ortamları,öncelikler,test kabul/red kriterleri ve riskler belirlenir.
Test yaklaşımı,bir test projesi için test stratejisinin uyarlanmasıdır.
Süreç
Test yaklaşımı, test planlarında ve test tasarımlarında tanımlanır ve düzenlenir.
Uygulama alanı
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach)
Test Stratejisi, Test Yaklaşımı
Girdiler Çıktılar
1.Teknik ve fonksiyonel
gereksinimler,tasarım dökümanları
2.Varsayımlar,kısıtlar(sağlanması
mümkün olmayan talepler)
6.Test metodolojisi (organizasyon standartları)
5.Roller,sorumluluklar,beceri seviyeleri.
3. Değişiklik talepleri
4.Yazılım/donanım ortam
tanımları,test araçları ve ilgili
veriler.
1.Mutabakat sağlanmış,kabul edilmiş strateji
dökümanı,kaba test planı,temel test
seneryo ve durumları
2.Çözüm bekleyen test
konuları/sorunlar (issues)
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach) Test Stratejisi, Test Yaklaşımı
Endüstriye özel standartlar tarafından belirlenenler veya çeşitli çevik metotlar gibi
Süreç veya standartlara uyumlu yaklaşımlar
Test yaklaşımlarına aşağıdakiler örnek verilebilir
Regresyon hassasiyetli yaklaşımlar
Var olan test materyalinin, test komut dosyalarının ve test gruplarının yeniden kullanımını içeren yaklaşımlar gibi
Analitik yaklaşımlar
Testin en riskli alanlara yönlendirildiği risk bazlı test gibi
Model bazlı yaklaşımlar
Kullanım oranları gibi istatistiksel bilgileri kullanan stokastik testler
Metotlu yaklaşımlar
Arıza bazlı, tecrübeye dayalı, kontrol listesi bazlı ve kalite özelliği bazlı gibi
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach)
Test Stratejisi, Test Yaklaşımı
Gereksinimlerin Belirlenmesi
1. Öncelikler?
2. Hangi test tipleri kullanılacak?
3. Nasıl teknikler-yöntemler kullanılacak?
7. Roller,sorumluluklar?
8. Testler nasıl işletilecek?
9. Test sonlandırma kriterleri nelerdir?
4. Tool ihtiyacı nedir?
5.Testler hangi seviyelerde gerçekleştirilecek?
6. Test seviyeleri için nasıl bir test ortamı gerekecek?
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach)
Test Stratejisi, Test Yaklaşımı
Test Stratejisi-Test Tipleri Seçimi
Test Tipi Fonksiyonel Test
Seneryo Testleri (Spesifikasyona- dayalı, Black Box) Bilgi girilir,beklenen sonuç ile çıkan karşılaştırılır. Yapısal Testler (White Box) Kod üzerinde tüm olası yollardan geçerek denemek.
Kullanırlık Grafik ekranları kalitesi,görünüşü,menüler,yardım ekranları,yönlendirici mesajlar,hata mesajları v.s.
Güvenlik/Sağlamlık
Kod Tutarlılığı Yazılım hatalrından arınmışlık,kodlama standartlarına uyumluk,yapısal programlama vs.
Sistem Kaynak Kullanımı Ne kadar disk,bellek ve işlemci kullanıyor,network üzerinde ne kadar yük yaratıyor.
Güvenirlik Hata oluştuğunda uygulamanın davranışı,sorunlu hallerde bellek ve bilgi kayıpları araştırılır.
Performans
Karşılaştırma(Benchmark) Farklı ortamlarda,zamanlarda benzer yük ile sınama. Yükleme(Load) Sistemin farklı yüklerde davranışını izlemek için sınama. Stress Beklenmeyen durum seneryoları ile sınama. Hacim (Volume) Yüksek miktarlı data ile sınama
Desteklenebilirlik
Dağıtım testi Dağıtım sonrası,yenilenmeyen kodların varlıklarını sürdürebilmeleri Güvenlik
Uygulama Seviyesinde Data ve Fonksiyon koruması Sistem Seviyesinde Giriş işlemi ve Uzaktan erişim v.s.
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach)
Test Stratejisi, Test Yaklaşımı
Test Stratejisi-Test Seviyesi,Ortam ve Tipleri
Test Stratejisi Test Seviyesi,Ortam ve Tipleri Test Stratejisi
TEST ORTAMI Birim Test Bütünleştirme Kullanıcı Kabul
MANTIKSAL TEST AŞAMASI Birim İleri Birim Bütünleştirme Sistem Kabul Testi Test Tipleri
Fonksiyonalite
Seneryo Testleri x x x x
Yapısal Kod Testler (White Box) x Kullanabilirlik
Kullanabilirlik x Güvenlik/Sağlamlık
Kod Tutarlılığı x Sistem Kaynak Kullanımı x
Performans Karşılaştırma(Benchmark) x
Yükleme(Load) x Stress x
Hacim (Volume) x Desteklenebilirlik
Dağıtım testi x
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach)
Test Stratejisi, Test Yaklaşımı
Test Stratejisi: Rol/Sorumluluk/Araç/Yöntem
Test Stratejisi:Rol/Sorumluluk/Araç/Yöntem
MEVCUT DURUM
Yazılı Geliştir. İş A alisti Sistem Yön. Proje Yön. Tek Yön. ARAÇ YÖNTEM
Fonksiyonel Test
Seneryo Testleri (Black Box) x x E/H Man/Auto
Yapısal Kod Testler White Bo E Man/Auto
Kulla ırlık
Güvenirlik
Kod Tutarlılığı x H Göz.geçir
Siste Ka ak Kulla ı ı x E Manuel
Da a ıklılık x H Manuel
Performans
Karşılaştır a Be ch ark x x x E Auto
Yükleme(Load) E Auto
Stress E Auto
Hacim (Volume) E/H Auto
Desteklenebilirlik
Dağıtı testi x E/H Manuel
Güvenlik
Uygulama Seviyesi x E/H Man/Auto
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Test Strateji,Test Yaklaşım (Test Strategy,Test Approach)
Test Stratejisi, Test Yaklaşımı
Takıma ve Test yöneticisine geri bildirim sağlar.
1. Günlük durumu ölçer
2. Test kapsama ve test maddelerinin tamamlanıp-
tamamlanmadığına ait exit(çıkış) kriterlerini belirler.
3. Gelecekteki test eforlarının tahminlemesi için veri toplar.
4. Küçük projelerde test sürecindeki ilerlemeri Test
Lideri basit db.ler kullanarak izler.
5. Büyük projelerde test eforları verimli ve tutarlı bir
şekilde veri toplama işlemini otomatize eden araçlar
tarafından yapılır.
Test İzleme
t
Bölüm :5 ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
Certified Tester
Faundation Level Syllabus
Relesed
Version 2011
International Softwair Testing
Qualifications Board
ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
Soru 1
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Soru : Aşağıdakilerden hangisi temel test sürecinin aşaması değildir?
A. Test planlama ve kontrol
B. Test kurulum ve yürütme
C. İster Analizi
D. Çıkış kriterleri değerlendirmesi ve raporlama
Cevap : C. Temel test sürecinin aşamaları; Planlama,yürütme, Çıkış kriteri değerlendirmesi ve raporlama.
Soru 2
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Soru :Test Tahminleme Yaklaşımı aşağıdakilerden hangisi değildir?
A. Metrik Bazlı Yaklaşım
B. Gereksinim Bazlı Yaklaşım
C. Uzman Bazlı Yaklaşım
D. Metrik ve Uzman Bazlı Yaklaşım
Cevap : B. Test tahminleme yaklaşımı ,Metrik ve Uzman Bazlı yaklaşımlardır.
ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
Soru 3
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Soru : Aşağıdakilerden hangisi Test Planın amacı değildir?
A. Odaklanma
B. İletişim
C. Değişiklik
D. Çıkış
Cevap : D.Test planının amacı; Odaklanma,İletişim ve Değişiklik dir.
ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
Soru 4
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Soru : Test Planın Hedefi aşağıdakilerden hangisidir?
A. Giriş,İletişim,Çıkış
B. Giriş ve Çıkış
C. Giriş,Değişiklik,İletişim
D. Giriş,Çıkış,Giriş ve Çıkış Kriterleri
Cevap : D.Test planının hedefi; Giriş,Çıkış,Giriş ve Çıkış Kriterleri.
ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
Soru 5
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Soru : Yazılım Testi Dokümantasyonu Standardı ?
A. ISO Std 829-1998 kapsamında değinilmektedir.
B. IEEE Std 829-1998 kapsamında değinilmektedir.
C. IEEE Std 1089-1998 kapsamında değinilmektedir.
D. ISO Std 1001-1998 kapsamında değinilmektedir.
Cevap : B. Yazılım testi dökümantasyonu standardı; IEEE Std 829-1998 kapsamında değinilmektedir.
ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
Soru 6
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Soru : Test çalışması süreci aşağıdaki maddelerden hangisinde doğru sıralanmıştır ?
A. Planlama,Analiz,Uygulama,Kontrol ve Çıkış
B. Analiz,Planlama,Uygulama,Kontrol ve Çıkış
C. Kontrol,Analiz,Planlama,Çıkış,Uygulama
D. Planlama,Analiz,Kontrol,Uygulama ve Çıkış
Cevap : A. Fazlara bölünmüş test çalışması süreci; Planlama,Analiz,Uygulama,Kontrol ve Çıkış şeklinde sıralannır.
ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
Soru 7
ISTQB Metodolijisi ile Test planlama ve Tahminleme
Soru : Hangisi Test Planlama adımlarından biri değildir?
A. Hedef,Tanım,Koordinasyon,
B. Karar,Zaman,Kaynak
C. Şablon,Metrik,Prosedür
D. Planlama,Analiz,Kontrol
Cevap : D. Planlama, Analiz ve kontrol test çalışmaları sürecidir.
ISTQB Metodolojisi ile Test Planlama ve Tahminleme Soru Örnekleri
[email protected] www.thebasolutions.com