Cotonou, Benin, 16-17 July 2012 Cadre de la QoS Mobile : Compteurs, KPI, KQI Joachim Pomy, Rapporteur du CE 12 Consultant, Opticom GmbH [email protected].

Cotonou, Benin, 16-17 July 2012

Cadre de la QoS Mobile : Compteurs, KPI, KQI

Joachim Pomy, Rapporteur du CE 12 Consultant, Opticom GmbH

[email protected]

Atelier UIT sur “Atelier sur l’Evaluation Pratique des Paramètres

QoS/QoE de Conformité Règlementaire”

(Cotonou, Bénin, 16-17 Juillet 2012)

Cadre de la QoS Mobile : Compteurs, KPI, KQI

UIT-T contre Les Normes Mobiles STQ de l’ETSIApproche Multidimensionnelle – Choix des paramètres de la QoS mobiles perçus par l’UtilisateurEvaluation de la Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI

ITRs: Setting the stage for a connected world

[Table des Matières]

Travaux de l’UIT-T sur la QoS Mobile (1)

L’UIT-T n’a point de normes détaillées sur la QoS Mobile

L’industrie ici se repose sur une solution du compteur du réseau principal à cause des différentes tendances/philosophies QoSAinsi elle hésite à normaliser les KPIs au sein de l’UIT-T

D‘abord les Recommandations UIT-T sur la QoS couvrent

Les aspects des conditions du TerminalLes aspects de la qualité bout-en-boutLes aspects portant perceptions de l‘utilisateurMais pas les KPIs détaillés pour le Mobile

Les Travaux sur la QoS Mobile de l’ETSI

L’STQ et son sous comité MOBILE STQ de l’ETSI prennent les aspects relatifs au bout-en-bout et s’en sert comme point de repère pour la QoS MOBILE Ils ont publiés une série de normes concises internationalement reconnue

Cadre de la QoS Mobile: Compteurs, KPI, KQI

L’UIT-T contre les Normes Mobile STQ de l’ETSIApproche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’UtilisateurEvaluation de la Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI



Rubriques QoS en Mobile

Le modèle QoS pour le mobile a quatre rubriques.Le premier rubrique est la disponibilité du Réseau

Définit plutôt la QoS du point de vue du fournisseur de service que de l’utilisateur de service

Le deuxième rubrique est l’accès du RéseauDu point de vue de l’utilisateur les conditions élémentaires de tous les autres aspects et paramètres QoS

Le troisième rubrique contient autres aspects QoS

L’accès au service, intégrité du service & la continuabilité du service

Les différents services se trouvent au quatrième rubrique

Leurs résultats sont les paramètres QoS comme perçus par l’utilisateur

Aspects de la QoS Mobile

Netw orkAccessibility

c ircuitsw itched

packetsw itched

ServiceAccessibility

ServiceIntegrity

ServiceRetainability

TelephonySMS

PingFile

TransferMMS

Netw orkAvailability

VideoTelephony

E-Mail

WebBrow sing

StreamingPoC

MobileBroadcast

Layer 2

Layer 3

Layer 4

Layer 1

La QoS Mobile à Trace(1)

TéléphonieSMSMMS

Téléphonie VidéoSéquence VidéoNavigation Internet

Si nous suivons l‘approche multidimensionnelle

Focus sur les évènements qui sont perçus par l‘utilisateurFocus sur les services les plus appropriés dans le marché

La QoS Mobile à Trace (2)

Rubrique 1Non Disponibilité du Réseau Radio [%]Rubrique 2Choix du Réseau et Ratio d’echec d’Enregistrement [%]


Rubrique de la Téléphonie 3Téléphonie de la Non Accessibilité du Service [%]

Rubrique de la Téléphonie 4Temps de Préparation de la Téléphonie [s]Ratio de Libération Prématurée [%]


Rubrique SMS 3Non Accessibilité du Service SMS [%]

Rubrique SMS 4Délai de livraison de Bout-En-Bout du SMS [s]Ratio d’Exécution Echec du SMS [%]


Rubrique MMS 3Le MMS Envoie le Ratio Echec [%]

Rubrique MMS 4Temps de Livraison Bout-En-Bout [s]Le MMS Bout-En-Bout du Ratio Echec [%]


Rubrique de la Téléphonie Vidéo 3Non-accessibilité du Service VT [%]

Rubrique de la Téléphonie Vidéo 4Temps de Préparation Audio/Vidéo [s]Ratio de Libération Prématurée d’Appel VT [%]


Rubrique de la Séquence Vidéo 3Non-Accessibilité du Service Séquentiel [%]

Rubrique 4:Temps d’Accès du Service Séquentiel [s]Ration Echec de Reproduction Séquentielle [%]


Rubrique Navigation Internet (HTTP) 3Non-Accessibilité du Service HTTP [%]

Rubrique Navigation Internet (HTTP) 4Temps de Préparation HTTP [s]Ratio de la Session du Taux de Défaillance HTTP [%]Ratio Echec du Transfert des Données HTTP [%]


Cette approche nous emmenerait à mettre fin à un taux > 20 paramètre QoS

Le tout est relatif aux évènements de perception de l‘utilisateurMais ceci est juste des paramètres de bout-en-boutPlusieurs KPIs ont défini des évènements relatifs aux chips du réseau, transmission etc.


L’UIT-T contre les Normes Mobile STQ de l’ETSIApproche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’uilisateurEvaluation Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI



Evaluations de la Téléphonie dans le Réseau (1)

Définition de la Transaction et des types de transaction

La transaction de base du test de la téléphonie est équivalente à un unique appel vers un poste téléphonique. Nous supposons que l’appel du partenaire soit typiquement un type d’extension au réseau fixe pour éviter les incertitudes relatives à une seconde connexion mobile.Le type est soit un Mobile Originated (MO) ou un Mobile Terminated (MT).C’est supposé qu’une fois qu’une connexion est établie, pour d’autres évaluation ce n’est pas important quelle partie l’ait sollicitée. Toutefois, le flux du paramètre des données audio ne seront logiquement pas lié au type d’appel.


Contenu de la QualitéLes données d’évaluation de la qualité du contenu produites au point de réceptionPour le stockage du contenu des données des liaisons descendantes c’est directPour le content de la liaison montante, à un moment indiqué, les résultats doivent être intégrésPour le contenu d’évaluation de la qualité des échantillons voix transmis, au moins les méthodes suivantes sont possibles:


Contenu de la qualité (suite.)Evaluation à Temps Réel

Mode continuL’aligorithme de l’évaluation de la qualité voix détermine à temps réel la MOS-LQO

Evaluation différéeContenu enregistré d’abord Traité plus tard

Le traitement des données doit s’assurer uniquement que le contenu valide des données de qualité est traité

Dans la "connexion active" fenêtre temporelle


Vérification d’utilisation d’une connexion à deux sensSeuls les appels à une connexion à deux sens avec des informations valides de bout en bout devra être prise en compte pour le contenu de l’ évaluation de la qualité (appels valides).Les appels non valides traités comme appels échoués

, avec un indicateur pour cette cause particulière





Intervalles de Confiance des Différents Type d‘Echantillon (1)

Les exemples suivants montrent l’effet des différents types d’échantillon dans la campagne d’évaluation. C’est aussi basé sur les formules Pearson-Clopper pour le calcul des intervalles de confiance. Toutefois, les exemples sont valides de façon générique et même pour les petites tailles d’échantillon. Pour de grands nombres de l’échantillon, le calcul des intervalles de confiance basé sur l’approximation d’une distribution normale peut s’appliquer.

Les différents graphes sont illustrés: les tailles d’échantillon dans la gamme:Entre 100 et 1 100 échantillons;Entre 1 100 et 2 100 échantillons; etEntre 1 000 et 11 000 échantillons.


0 20 40 60 80 100

05

10

15

20

25

30

Width of confidence interval for fixed sample size (Pearson-Clopper)

Estimated rate in percent

Wid

th o

f co

nfid

enc

e in

terv

al i

n pe

rce

nt

x

xx

xx

xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx

xx

x

x+

++

++++++++++++++++++++++++++++++++++++++++++++

++

+

+o

oo

oooooooooooooooooooooooooooooooooooooooooooooo

o

ox

xx

xx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx

x

x++

++++++++++++++++++++++++++++++++++++++++++++++++

+

ox+ox+

100 Samples300 Samples500 Samples700 Samples900 Samples1100 Samples


0 20 40 60 80 100

01

23

45

67



Wid

th o

f co

nfid

en

ce in

terv

al i

n p

erc

en

t

x

x

x

x

xx

xx

xx

xx

xxx xxx xxx xxx xxx xxx xxx xxx xxxx

xx

xx

xx

x

x

x

x

x+

+

+

++

++

++

++

++++++++++++++++++++++++++++

++

++

++

++

+

+

+

+o

o

o

oo

oo

oo

oo

oooooooooooooooooooooooooooooo

oo

oo

oo

o

o

o

ox

x

x

xx

xx

xx

xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xx

xx

xx

xx

x

x

x

x+

+

+

++

++

++

++++++++++++++++++++++++++++++++

++

++

++

+

+

+

+

ox+ox+



0 20 40 60 80 100

02

46

81

0



Wid

th o

f co

nfid

en

ce in

terv

al i

n p

erc

en

t

x

xx

xx

xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx

xx

x

x+

++

++++++++++++++++++++++++++++++++++++++++++++

++

+

+0

00

0000000000000000000000000000000000000000000000

0

0x

xxxx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx

x

x+

++++++++++++++++++++++++++++++++++++++++++++++++

+

+

ox+ox+


Rapport des résultats

Le document TS 102 250-6 de l’ETSI décrit quels éléments d’information devraient être fournis au lecteur à la production d’un rapport test

Lorsque les valeurs quantiles sont utilisées, nous devons bien noter que le traitement des quantiles sépare un faible pourcentage de données aberrantes du reste des données. Ceci signifie que:

Si les plus faibles valeurs représentent un meilleur résultat de la perspective du client, un petit pourcentage contenant les plus fortes valeurs pourraient être séparées en calculant un quantile de 95% ou un quantile de 90%. Ceci est le cas d’exemple des valeurs durée.

Rapport des résultats Si les plus fortes valeurs représentent un meilleur résultat à partir des perspectives du client, un petit pourcentage contenant les plus faibles valeurs pourrait être dégagé en calculant un quantile de 5% ou un quantile de 10%. Ceci est le cas d’exemple des valeurs de traitement.Concernant le contenu qualité, le calcul du quantile approprié s’oriente à l’échelle des résultats déterminés d’analyse. En réalité, des algorithmes définissent une valeur de 0 à une échelle de 0 à 5 comme la meilleure qualité tandis que les autres définissent la valeur de 5 comme étant la plus grande éventuelle qualité





Les KPIs basés sur les Compteurs Réseau

Spécifique fournisseur = KPIs internes du réseaudifférentes stratégies

Comment compter les évènements réseauQuels évènements sont assimilés à quel(s) compteur(s)

Nécessite la connaissance d’un système spécifiqueLes spécialistes avec une connaissance détaillée du systèmeTester les compteurs

documentation peut être défectueuseApproche au compteur change avec l’actualisation du système

Opérateurs Mobile se battent avec ceciLa plupart des opérateurs vivent dans un cadre multi fournisseurLes compteurs des différents fournisseurs ne peuvent point être directement comparésCela nécessite une attention et une stratégie continues

KPIs selon les perspectives des utilisateurs = KQIs

Indicateurs clés sur la Qualité (KQIs) = indicateurs externes

Peuvent être évalués dans le domaine

Pour le Suivi,les Règles etc.Un post téléphonique d’abonné peut être défini, ex. À partir du document 102 250 de l’ETSI portant sur les séries des normes

Applicables à tous les fournisseurs & opérateursPas limités au mobile, mais aussi bon pour la bande large

KPIs par rapport aux KQIs

Parfois confusKPIs = indicateurs internes

Une partie de la performance du réseauBasés sur les compteurs du réseauImportant pour les opérations, maintenance, modèle commercialPourraient être rapportés, audités etc.Toutefois, sans grande signification lorsque c’est hors contexte

KQIs = indicateurs externesBase de toute évaluation QoS telle que perçue par l’utilisateurFournisseur indépendantOpérateur indépendantIdéal pour comparer les différents opérateurs sur une base statistiqueNe peuvent faire l’objet de rapport à partir du système lui-mêmeNécessite une sorte de test sur le terrain, au volant d’un véhicule, à pied etc.

Questions ?

Contact:[email protected]

Cotonou, Benin, 16-17 July 2012 Cadre de la QoS Mobile : Compteurs, KPI, KQI Joachim Pomy, Rapporteur du CE 12 Consultant, Opticom GmbH [email protected].

Documents