PFZ Workshop - Automatiseren van functionele tests

WORKSHOPDAG 27 APRIL 2013Automatiseren van functionele tests met Behat en Mink

&

VOORBEREIDING• Download en installeer Virtualbox (https://www.virtualbox.org/)

• Download en installeer Vagrant (http://www.vagrantup.com/)

• https://github.com/pfznl/wsd13-functionaltesting/

• $ git clone https://github.com/pfznl/wsd13-functionaltesting.git

• $ cd wsd13-functionaltesting

• $ vagrant up

• ???

• Profit

WAT HEB JE NODIG?• Computer/laptop

• PHP 5.3

• [Java] (als je selenium wilt draaien)

• Virtualbox

• [Vagrant]

https://github.com/pfznl/wsd13-functionaltesting/

EVEN VOORSTELLEN

• @Richard_Tuin

• Software ontwikkelaar

• Speciale interesse in kwaliteit

• Werkzaam bij Enrise

EN WIE ZIJN JULLIE?

HET PROBLEEM

• Verschillend beeld op scope/werking van de oplevering

• De klant weet soms achteraf pas hoe het systeem precies gebruikt kan worden

• “Het is wel mooi, maar zou x toch y kunnen werken?”

• “Bedankt voor de nieuwe feature, maar nu werkt x niet meer”

HET PROBLEEM

• Verschillend beeld op scope/werking van de oplevering

• De klant weet soms achteraf pas hoe het systeem precies gebruikt kan worden

• “Het is wel mooi, maar zou x toch y kunnen werken?”

• “Bedankt voor de nieuwe feature, maar nu werkt x niet meer”

WANT EIGENLIJK...

• ... hebben we een gezamenlijk doel

• ... willen we wat we gaan bouwen zo nauwkeurig mogelijk definiëren

• ... willen we constante kwaliteit leveren

MAAR ER IS NOG EEN PROBLEEM...

Developers zijn lui

DAT BETEKENT DAT...

• ... we beter, en op gelijk niveau moeten communiceren

• ... we een documentatiesysteem moeten bedenken voor de afstemming

• ... we regelmatig moeten valideren dat wat we leveren nog volgens specificaties is

DAT BETEKENT DAT...

• ... we beter, en op gelijk niveau moeten communiceren

• ... we een documentatiesysteem moeten bedenken voor de afstemming

• ... we regelmatig moeten valideren dat wat we leveren nog volgens specificaties is

Automatiseren?

SAMENWERKEN & DOCUMENTEREN

REGELMATIG (HER)VALIDEREN VAN ACCEPTATIECRITERIA

Documentatie

LATEN WE BIJ HET BEGIN BEGINNEN...(dus nog even geen code)

KWALITEITWat is dat nou eigenlijk?

KWALITEIT=

SOFTWARE DIE AAN DE EISEN VOLDOET

HOE ZORG JE DAN VOOR KWALITEIT?

SAMENWERKEN & DOCUMENTEREN

ITERATIEFis het sleutelwoord

ITERATIEF“Stapsgewijs naar een optimum gaan.”

SOFTWAREONTWIKKELING

AGILE MANIFESTO

Mensen en hun onderlinge interactie > processen and tools

Werkende software > allesomvattende documentatie

Samenwerking met de klant > contractonderhandelingen

Inspelen op verandering > het volgen van een plan

SAMENWERKEN EN DOCUMENTEREN

SAMENWERKEN EN DOCUMENTEREN

1

SAMENWERKEN EN DOCUMENTEREN

1

2

SAMENWERKEN EN DOCUMENTEREN

1

2

3

OPSTELLEN VAN REQUIREMENTS

• Omschrijven hoe een probleem opgelost wordt

• Gezamenlijk met de klant opstellen

• In de taal (technische) van de klant

• Functioneel gericht, niet technisch gericht

Ik wil graag een zoekmachine bouwen, zodat mijn bezoekers het hele internet kunnen

doorzoeken!

Ik wil graag een zoekmachine bouwen, zodat mijn bezoekers het hele internet kunnen

doorzoeken!

Wow, leuke klus!Ik ga direct aan de slag

Alstublieft! Hier is de zoekmachine, mooi hè?

Alstublieft! Hier is de zoekmachine, mooi hè?

Jawel, mooie foto op de achtergrond. En het zoeken werkt, maar ik bedoelde ook dat bezoekers op afbeeldingen kunnen

zoeken!

Alstublieft! Hier is de zoekmachine, mooi hè?

Jawel, mooie foto op de achtergrond. En het zoeken werkt, maar ik bedoelde ook dat bezoekers op afbeeldingen kunnen

zoeken!

Ja zeg, daar kom je nu mee

Alstublieft! Hier is de zoekmachine, mooi hè?

Jawel, mooie foto op de achtergrond. En het zoeken werkt, maar ik bedoelde ook dat bezoekers op afbeeldingen kunnen

zoeken!

Ja zeg, daar kom je nu mee

SCHRIJF VOORBEELDEN!Ter ondersteuning van de communicatie

STAPPENPLAN

1. Omschrijf de feature in één zin

2. Omschrijf de intentie

3. Schrijf realistische scenario’s

PRAKTIJK

Feature: {feature omschrijving}

{intentie}As a {personage(s)}I want {feature}So that {intentie}

Scenario: {scenario omschrijving}Given {context} And {meer context}When {actie}Then {resultaat}

Scenario: ...

Informatie: http://dannorth.net/whats-in-a-story/

VOORBEELD ZOEKFUNCTIEFeature: Search on the internet As a bing.com visitor I want to use the search engine So that i can find information on the internet

Scenario: Simple keyword search Given I am on the homepage When I search the term “PHP” Then I should see search results containing “PHP”

LEVENDE DOCUMENTATIE

• Alle features en scenario’s bij elkaar zijn de documentatie

• Bij een change request werk je deze documentatie daarom bij

OVERWEGINGEN

• Hoe gedetailleerd schrijf je de scenario’s?

• Wie leest/schrijft de scenario’s?

COMMUNICATIE IS DE FOCUSAutomatiseren is maar bijzaak

Developers zijn lui

AUTOMATISERENKun je leren...

“A php framework for testing your business expectations.”

“Mink is an open source acceptance test framework for web applications, written in PHP 5.3.”

+

+

AWESOME

COMPONENTEN VAN EEN FUNCTIONELE TESTSUITE

• Features

• Feature parser

• Browser controller client

• Browser controller/simulator

• Stappen programmeren met browser automatisering

COMPONENTEN VAN EEN FUNCTIONELE TESTSUITE

• Features

• Feature parser

• Browser controller client

• Browser controller/simulator

• Stappen programmeren met browser automatisering

Documentatie

COMPONENTEN VAN EEN FUNCTIONELE TESTSUITE

• Features

• Feature parser

• Browser controller client

• Browser controller/simulator

• Stappen programmeren met browser automatisering

Documentatie

Behat

COMPONENTEN VAN EEN FUNCTIONELE TESTSUITE

• Features

• Feature parser

• Browser controller client

• Browser controller/simulator

• Stappen programmeren met browser automatisering

Documentatie

Behat

Mink

COMPONENTEN VAN EEN FUNCTIONELE TESTSUITE

• Features

• Feature parser

• Browser controller client

• Browser controller/simulator

• Stappen programmeren met browser automatisering

Documentatie

Behat

Mink

Selenium, Sahi, Goutte, etc.

COMPONENTEN VAN EEN FUNCTIONELE TESTSUITE

• Features

• Feature parser

• Browser controller client

• Browser controller/simulator

• Stappen programmeren met browser automatisering

Documentatie

Behat

Mink

Selenium, Sahi, Goutte, etc.

MinkExtension

COMPONENTEN OVERZICHT

TO YOUR BATTLESTATIONS!Tijd voor code

START DE VIRTUALBOX$ vagrant up

Of importeer de OVAOf gebruik je lokale PHP installatie

INSTALLEREN VAN BEHAT1. Maak een map genaamd “testsuite”2. Installeer composer (http://docs.behat.org/quick_intro.html#installation)

3. Maak een bestand composer.json met de volgende inhoud:

4. $ php composer.phar install

{ "require": { "behat/behat": "2.4.*@stable" }, "minimum-stability": "dev", "config": { "bin-dir": "bin/" }}

$ curl http://getcomposer.org/installer | php

INSTALLEREN VAN BEHAT1. Maak een map genaamd “testsuite”2. Installeer composer (http://docs.behat.org/quick_intro.html#installation)

3. Maak een bestand composer.json met de volgende inhoud:

4. $ php composer.phar install

{ "require": { "behat/behat": "2.4.*@stable" }, "minimum-stability": "dev", "config": { "bin-dir": "bin/" }}

That’s it!

$ curl http://getcomposer.org/installer | php

HELLO BEHAT

1. Initialiseer een Behat testsuite met het commando: $ bin/behat --init

2. Behat heeft de volgende mappen en bestanden aangemaakt:

3. Run de testsuite: $ bin/behat

STEPS? (TERMINOLOGIE)

Feature: {feature omschrijving}

{intentie}As a {personage(s)}I want {feature}So that {intentie}

Scenario: {scenario omschrijving}Given {context} And {meer context}When {actie}Then {resultaat}

Scenario: ...

STEPS? (TERMINOLOGIE)

Feature: {feature omschrijving}

{intentie}As a {personage(s)}I want {feature}So that {intentie}

Scenario: {scenario omschrijving}Given {context} And {meer context}When {actie}Then {resultaat}

Scenario: ...

Feature, user story, module

STEPS? (TERMINOLOGIE)

Feature: {feature omschrijving}

{intentie}As a {personage(s)}I want {feature}So that {intentie}

Scenario: {scenario omschrijving}Given {context} And {meer context}When {actie}Then {resultaat}

Scenario: ...

Feature, user story, module

Scenario

STEPS? (TERMINOLOGIE)

Feature: {feature omschrijving}

{intentie}As a {personage(s)}I want {feature}So that {intentie}

Scenario: {scenario omschrijving}Given {context} And {meer context}When {actie}Then {resultaat}

Scenario: ...

Feature, user story, module

Scenario

Steps

VOORBEELD FEATURE

UITBREIDING COMPOSER.JSON{ "require": { "behat/behat": "2.4.*@stable", "behat/mink-extension": "*", "behat/mink": "*", "behat/mink-selenium2-driver": "*", "behat/mink-goutte-driver": "*", "behat/mink-zombie-driver": "*", "behat/mink-sahi-driver": "*" }, "minimum-stability": "dev", "config": { "bin-dir": "bin/" }}

$ composer.phar update

VOORBEELD ZOEKFUNCTIE

Feature: Search on the internet As a bing.com visitor I want to use the search engine So that i can find information on the internet

Scenario: Simple keyword search Given I am on the homepage When I search the term “PHP” Then I should see search results containing “PHP”

features/search.feature

STEP DEFINITIES/** * @Given /^I am on the homepage$/ */public function iAmOnTheHomepage(){ throw new PendingException();}

/** * @When /^I search the term "([^"]*)"$/ */public function iSearchTheTerm($arg1){ throw new PendingException();}

Deze kun je in FeatureContext.php plaatsen, echter...

MINKEXTENSION1. Is een set van (basis) voorgedefinieerde steps

2. Maakt gebruik van Mink

3. Maar... niet alle teksten van de steps zijn even bruikbaar

/** * Opens homepage. * * @Given /^(?:|I )am on (?:|the )homepage$/ * @When /^(?:|I )go to (?:|the )homepage$/ */public function iAmOnHomepage(){ $this->getSession()->visit($this->locatePath('/'));}

MINK TERMINOLOGIE

• Driver = Browser controller/emulator• Session = Browser• Page = Document(Element)

• Element• Selectors

• XPath• CSS• Named

./BEHAT.YMLdefault: extensions: Behat\MinkExtension\Extension: default_session: goutte goutte: ~ base_url: "http://www.bing.com" context: parameters: foo: "bar"

En dan....

$ bin/behat

MINK STEPSGiven /^(?:|I )am on (?:|the )homepage$/When /^(?:|I )go to (?:|the )homepage$/Given /^(?:|I )am on "(?P<page>[^"]+)"$/When /^(?:|I )fill in "(?P<field>(?:[^"]|\\")*)" with "(?P<value>(?:[^"]|\\")*)"$/When /^(?:|I )press "(?P<button>(?:[^"]|\\")*)"$/When /^(?:|I )follow "(?P<link>(?:[^"]|\\")*)"$/Then /^(?:|I )should be on "(?P<page>[^"]+)"$/Then /^(?:|I )should see "(?P<text>(?:[^"]|\\")*)"$/

$ bin/behat -dl

/** * Clicks link with specified id|title|alt|text. * * @When /^(?:|I )follow "(?P<link>(?:[^"]|\\")*)"$/ */public function clickLink($link){ $link = $this->fixStepArgument($link); $this->getSession()->getPage()->clickLink($link);}

FEATURECONTEXT.PHP

• Alles wat je in beginsel nodig hebt

• De class voor je:

• Step definitions

• Hooks

• Initialisatie

STEP DEFINITIES MAKEN/** * @When /^I search the term "([^"]*)"$/ */public function iSearchTheTerm($searchTerm){ $this->fillField('q', $searchTerm); // Mink definities $this->pressButton('go');}

/** * @When /^I search the term "([^"]*)"$/ */public function iSearchTheTerm($searchTerm){ $page = $this->getSession()->getPage(); $page->fillField('q', $searchTerm); $page->pressButton('go');}

UITKOMST

SELECTORS

• Selecteren van elementen

• XPath, CSS, Names$elements = $page->findAll('xpath', './/div[@class="sa_mc"]');$elements = $page->findAll('css', 'div[class="sa_mc"]');$elements = $page->findAll('named', array('link', 'Register');$elements = $page->findAll('named', array('button', 'Search');

DE LAATSTE STAPThen I should see search results containing “PHP”

/** * @Then /^I should see search results containing (.*)$/ */public function iShouldSeeSearchResultsContaining($searchTerm){ $searchTerm = quotemeta($searchTerm); $regex = sprintf('/%s/mi', $searchTerm);

$page = $this->getSession()->getPage(); $elements = $page->findAll('xpath', './/div[@class="sa_mc"]'); foreach ($elements as $element) { if (!preg_match($regex, $element->getText())) { throw new Exception('One of the elements did not match the searchterm'); } }}

PROFIELEN• Volledige configuratie per omgeving

• Selectie op basis van filters

• Te definieren in behat.yml:

• Aan te roepen met: $ bin/behat --profile profielnaam

default: extension: Behat\MinkExtension\Context\MinkContext base_url: “http://www.example.org”profielnaam: extension: Behat\MinkExtension\Context\MinkContext base_url: “http://acc.example.org”

TAGS• Handig om selectie te maken van features/scenario’s

• Via command line: $ bin/behat --tags “@slow”

• Definieer als filters in profile

@smokeFeature: Search on the www@slowScenario: ...

search.feature

slowonly: filters: tags: “@slow”

behat.ymlfast: filters: tags: “~@slow”

behat.yml

FILTERS• Tests groeperen• Snel vs. traag• Tags• Configuratie in behat.ymlsmoketests: filters: tags: “@smoketest&&~@wip”development: filters: tags: “~@slow&&~@wip”

HOOKS

• @beforeSuite

• @beforeFeature

• @beforeScenario

• @beforeStep

• @afterSuite

• @afterFeature

• @afterScenario

• @afterStep

HOOKS/** * @afterScenario */public function logoutUser(){ $this->visit('/logout');}

features/bootstrap/FeatureContext.php

BROWSER CONTROLLERS

Javascript Snelheid Opmerking

Goutte Nee ++ Emulator

Selenium2 Ja -

Sahi Ja ~Geen response

statuscode, headers, authenticatie

Zombie.js Ja +

SCENARIO OUTLINES Scenario Outline: Simple keyword search Given I am on the homepage When I search the term <searchterm> Then I should see search results containing <searchterm>

Examples: | searchterm | | PHP | | Java | | Pie | | This string is possibly too long and uncommon |

DRIVER BENCHMARK

Goutte 2.736ms

Selenium2 16.682ms

Sahi ???

Zombie.js 7.533ms

2007

0 5,000 10,000 15,000 20,000

Goutte Selenium Zombie.js

MULTILINE VARIABLES Scenario: Given I input that spans several lines """ Test one two three """

/** * @Given /^I input that spans several lines$/ */public function iInputThatSpansSeveralLines(PyStringNode $string){ (string) $string; $string->getRaw(); // string $string->getLines(); // array}

TABLES Scenario: Given the following users are registered | name | password | | Foo | test123 | | Admin | secret | When I go to the user overview Then I should see Foo And I should see Admin

/** * @Given /^the following users are registered$/ */public function theFollowingUsersAreRegistered(TableNode $table){ foreach ($table->getHash() as $row) { // ... $row['name'], $row['password'] }}

LET THERE BE TESTING!

BEDANKT

• Feedback: http://joind.in/talk/view/8566

• Vragen?

• @Richard_Tuin

• [email protected]

• skype: richardtuin