Applications to Risk Analysis - MATRIX | Mathematical Workshops and Events · 2017-12-13 · Illustration (Example from Embrechts et al’s book: Modelling Extremal Events: for Insurance
Post on 14-Jul-2020
1 Views
Preview:
Transcript
Marie Kratz, ESSEC CREAR
Introduction to Extreme Value Theory -Applications to Risk Analysis
Marie KRATZESSEC Business School
http://crear.essec.edu
MATRIX workshop: Mathematics of Risk
Creswick, November 20-21, 2017
Introduction to EVT - Applications to QRM 1
Introduction Marie Kratz, ESSEC CREAR
Introduction
The quantitative risk analysis used to rely, until recently, onclassical probabilistic modelling where only average events weretaken into account. Thus the evaluation of “normal” risks wasmore comfortable because it could be easily predicted and soinsured.
The catastrophes of the beginning of this century, natural (seismes, ...) or financial (subprimes crisis) proved that it is nowadayscrucial to take also extreme events into account; indeed, althoughit concerns events that occur almost never (very small probabilty),the magnitude of such events is such that their consequences aredramatic.
Introduction to EVT - Applications to QRM 2
Introduction Marie Kratz, ESSEC CREAR
London Bombing 7/7/2005
2001 2002 2003 2004 2005 2006 2007 2008 2009 2014 2015 2010 2013 2012 2011
WTC 9/11
Internet Bubble
Katrina Rita
Wilma
Lehman-‐Brothers Financial Crisis
Christchurch Earthquake Japanese Tsunami
Thaï Floods
Ukraine
Isis
Ebola
XXIst Century: a StochasNc World
Sovereign Debt Crisis
Arab Spring
EyjaSallajökull Volcanic erupNon
Charlie Hebdo 1/7/2015
Bataclan 14/11/2015
Atocha Madrid
11/3/2004
M. Dacorogna & M. Kratz
Introduction to EVT - Applications to QRM 3
Introduction Marie Kratz, ESSEC CREAR
What is Risk?. The French philosopher Etienne de Condillac (1714-1780): ”Thechance of incurring a bad outcome, coupled, with the hope, if weescape it, to achieve a good one”.. The Oxford English Dictionary: ”Hazard, a chance of badconsequences, loss or exposure to mischance”.. For financial risks : ”Any event or action that may adverselyaffect an organization’s ability to achieve its objectives and executeits strategies” or, alternatively, ”the quantifiable likelihood of lossor less-than-expected returns”.. Webster’s College Dictionary (insurance): ”The chance of loss”or ”The degree of probability of loss” or ”The amount of possibleloss to the insuring company” or ”A person or thing with referenceto the risk involved in providing insurance” or ”The type of lossthat a policy covers, as fire, storm, etc.”In insurance1, risk = variation from the expected outcome overtime.
1Insurance is the transfer of risk from an individual to a group (company)Introduction to EVT - Applications to QRM 4
Introduction Marie Kratz, ESSEC CREAR
→ no single one-sentence definition is entirely satisfactory in allcontexts;
→ independently of any context, risk relates strongly to the notionof randomness.
→ Risk Management (RM) technology applies to financial-servicesindustry and other sectors of industry, as manufacturing industry(we speak about ”reliability or total quality control”), transportand energy industries (a current debate in the industry concernsthe extent to which existing Basel II-III methodology can betransferred to the energy sector), ...
→ We will discuss risk in the context of finance and insurance,more specifically on the analysis of extreme risks, related tounexpected, abnormal or extreme outcomes.
Introduction to EVT - Applications to QRM 5
I -Overview of univariate EVT Marie Kratz, ESSEC CREAR
I - Overview of univariate EVT
Introduction to EVT - Applications to QRM 6
I -Overview of univariate EVT Marie Kratz, ESSEC CREAR
Introduction to EVT - Applications to QRM 7
I -Overview of univariate EVT Marie Kratz, ESSEC CREAR
Introduction to EVT - Applications to QRM 8
I -Overview of univariate EVT Marie Kratz, ESSEC CREAR
(data from https://www.globalfinancialdata.com)
Introduction to EVT - Applications to QRM 9
I -Overview of univariate EVT CLT versus EVT Marie Kratz, ESSEC CREAR
CLT versus EVT(Xi)i=1,··· ,n iid with continuous cdf F
mean behavior Xn =1
n
n∑
i=1
Xi : asymptotically (large n)
Gaussian if var(X) <∞, when linearly transformed/normalized(since var(Xn) = 1
nvar(X) →n→∞
0) (CLT)
Xn − E(Xn)√var(Xn)
=
√n
var(X)
(Xn − E(X)
)=
√n(Xn − µ)√
σ2
d→n→∞
N (0, 1)
i.e. limn→∞
P[(Xn − bn)/an ≤ x] = FN (0,1)(x) with bn = E(X), an =
√var(X)
n
extreme behavior? consider e.g. the maximum
P[ max1≤i≤n
Xi ≤ x] =
n∏i=1
P[Xi ≤ x] = Fn(x) →n→∞
0 if F (x) < 11 if F (x) = 1
Could we find, as for the CLT, a linear transformation, to avoid such degeneracy,
and say that there exist sequences (an), (bn) and a rv Z with cdf H such that
limn→∞
P[(maxXi − bn)/an ≤ x] = H(x) ?Introduction to EVT - Applications to QRM 10
I -Overview of univariate EVT CLT versus EVT Marie Kratz, ESSEC CREAR
Equivalent to look for (an) and (bn), and a non degenerated cdf H s.t.
P[
maxXi − bnan
≤ x]
= P[ max1≤i≤n
Xi ≤ anx+bn] = Fn(anx+bn) 'n→∞
H(x)
The “three-types theorem” (Frechet-Fisher-Tippett theorem,1927-28; Genedenko 1948). The rescaled sample extreme (maxrenormalized) has a limiting distribution H that can only be ofthree types:
H1,a(x) := exp−x−a1I(x>0) (a > 0) : FrechetH2,a(x) := 1I(x≥0) + exp−(−x)a1I(x<0) (a > 0) : WeibullH3,0(x) := exp−e−x, ∀x ∈ R : Gumbel
(similar result hold for the minimum)
We will classify the distributions according to the three possible limitingdistributions of the (rescaled) maximum, introducing the notion ofmaximum domain of attraction (MDA):
F ∈ MDA(H) ⇔ ∃(an) > 0, (bn) : ∀x ∈ R, limn→∞
Fn(anx+ bn) = H(x).
For instance, for Frechet, an = F−1(1− 1/n) and bn = 0.
(Most of cdfs F that are usually used belong to a MDA)Introduction to EVT - Applications to QRM 11
I -Overview of univariate EVT CLT versus EVT Marie Kratz, ESSEC CREAR
The three types of extreme value distribution have been combined into a
single three-parameter family (Jenkinson-Von Mises, 1955; Hosking et al.,
85) known as Generalized Extreme Value Distribution (GEV)
EVT (EV Theorem).If F ∈MDA(G) then, necessarily, G is of the same type as theGEV cdf Hξ (i.e. G(x) = Hξ(ax+ b), a > 0) defined by
Hξ(x) =
exp
[−(1 + ξx)
− 1ξ
+
]if ξ 6= 0
exp(−e−x) if ξ = 0
where y+ = max(0, y).
The shape parameter α = 1/ξ (∈ R) determines the nature of thetail distribution and ξ is called the tail (or extreme-value) index.ξ > 0 (Frechet), = 0 (Gumbel) or < 0 (Weibull).
G(x) = Gµ,σ,ξ (x) = exp
[−(
1 + ξx− µσ
)− 1ξ
], for 1 + ξ
x− µσ
> 0
Moments of GEV: the kth moment exits if ξ < 1/k
Introduction to EVT - Applications to QRM 12
I -Overview of univariate EVT CLT versus EVT Marie Kratz, ESSEC CREAR
Example:
distribution MDA
Uniform WeibullExponential(1) (F (x) = 1− e−x, x > 0) GumbelGaussian GumbelLog-normal GumbelGamma (λ, r) Gumbel
Cauchy (F (x) =1
2+
1
πarctanx) Frechet
Student Frechet
Pareto (β) (F (x) = 1− x−β, x ≥ 1, β > 0) Frechet
Introduction to EVT - Applications to QRM 13
I -Overview of univariate EVT CLT versus EVT Marie Kratz, ESSEC CREAR
F belongs to the MDA(Frechet) (Hξ, ξ > 0) iff its tailF = 1− F is regularly varying (at infinity) of order −1/ξ(called the RV index of F ):
limx→∞
F (ax)
F (x)= a−1/ξ, a > 0.
and supx : F (x) < 1 =∞.Ex: Pareto, Cauchy, loggama, α-stable d.f. with α < 2.
For the Weibull domain of attraction: F has support boundedto the right ⇒ not used to model extremal events in insuranceand financeEx: uniform d.f. on finite interval, beta d.f.
For the Gumbel domain of attraction: wide class of d.f. withdifferent tail behaviors
Introduction to EVT - Applications to QRM 14
I -Overview of univariate EVT A limit theorem for Extremes Marie Kratz, ESSEC CREAR
A limit theorem for Extremes: the Pickands theorem
More information in the tail of a distribution than just that givenby the maximum: consider the kth (k ≥ 1) largest order statistics.
Notion of ’threshold exceedances’ where all data are extreme in thesense that they exceed a high threshold. Main alternative approachto classic EVT and based on exceedances over high thresholds.
Pick up a high threshold u < x+F (upper-end point of F ), then study all
exceedances above u.
Pickands Theorem. For a sufficiently high threshold u, ∃ β(u) > 0and ξ real number such that the Generalized Pareto Distribution(GPD) is a very good approximation to the excess d.f. Fu:
Fu(y) := P [X − u ≤ y |X > u] ≈largeu
Gξ,β(u) (y) .
Recall - def GPD: Gξ,β(u)(y) =
(
1 + ξ yβ(u)
)− 1ξ
if ξ 6= 0
e− yβ(u) if ξ = 0
Introduction to EVT - Applications to QRM 15
I -Overview of univariate EVT A limit theorem for Extremes Marie Kratz, ESSEC CREAR
0.0 0.5 1.0 1.5 2.0
0.0
0.2
0.4
0.6
0.8
1.0
x
GPDξ,1, with ξ = −1 (red), ξ = 0 (black), ξ = 1 (blue)(see Embrechts et al.’s book)
As for the GEV, 3 different cases for the GPD G(ξ, β), dependingon the sign of the tail index ξ:
ξ > 0: Gξ,β(y) ∼ cy−1/ξ, c > 0 (“Pareto” tail) : heavy-tail.We have E(Xk) =∞ for k ≥ 1/ξ.
ξ < 0: x+G = β/|ξ| (upper endpoint of G), similar to the
Weibull type of GEV(short-tailed, pareto type II distribution)
ξ = 0: Gξ,β(y) = e−y/β: light-tail (exponential distribution with
mean β)
The mean of the GPD is defined for ξ < 1: E(X) =β
1− ξ .Introduction to EVT - Applications to QRM 16
I -Overview of univariate EVT Standard (supervised) methods in EVT - MEP method Marie Kratz, ESSEC CREAR
Goal in EVT: to model the tail of the distribution. It means toextract the information from the observations above a highthreshold (largest order stat)
→ Main issue: how to determine this threshold, to be able toestimate the tail index?
Standard methods in EVT (supervised):
MEP (Mean Excess Plot) method
If Y has a GPDξ,β, then its Mean Excess function e is linear:
e(v) = E[Y − v | Y > v] =1
1− ξ (β + v ξ) 1(β+v ξ>0).
Hence, above u at which the GPD provides a validapproximation to the excess distribution, the MEP shouldstay reasonably close to a linear function ⇒ way to select u
Then, u being chosen, use ML or Moments estimators for thetail index ξ (and the scaling parameter β).
Introduction to EVT - Applications to QRM 17
I -Overview of univariate EVT Standard (supervised) methods in EVT - MEP method Marie Kratz, ESSEC CREAR
Illustration (Example from Embrechts et al’s book: Modelling Extremal
Events: for Insurance and Finance)
Data set: time series plot (a) of AT&T weekly percentage lossdata for the 521 complete weeks in the period 1991-2000
(b) Sample MEP. Selection of the threshold at a loss value of 2.75% (102exceedances)
(c) Empirical distribution of excesses and fitted GPD, with ML estimators
ξ = 0.22 and β = 2.1 (with SE 0.13 and 0.34, respectively)
Introduction to EVT - Applications to QRM 18
I -Overview of univariate EVT Standard methods in EVT - Tail index estimators Marie Kratz, ESSEC CREAR
Tail index estimators for MDA(Frechet) distributions
Other graphical methods to determine the tail index than MEP maybe used; we present two of them under regular variation framework:the Hill plot (the most used one) and the QQ-plot (Kratz &Resnick).
For a sample size n, the tail index estimators are built on thek = k(n) upper order statistics, with k(n)→∞ such thatk(n)/n→ 0, as n→∞.
Choosing k is usually the Achilles heel of all these (graphical)supervised procedures, including the MEP one, as already observed.
Nevertheless it is remarkable to notice that for these methods, noextra information is required on the observations before thethreshold (the n− kth order statistics).
Assume F ∈ MDA(Frechet) with tail index ξ > 0,i.e. F ∼ RV−α, with ξ = α−1
Order statistics: X1,n ≤ X2,n ≤ · · · ≤ Xn−1,n ≤ Xn,n = max(Xi)
Introduction to EVT - Applications to QRM 19
I -Overview of univariate EVT Standard methods in EVT - Tail index estimators Marie Kratz, ESSEC CREAR
Consider the threshold u = Xn−k,n with k = k(n)→∞ andk(n)/n→ 0 as n→∞.
Hill estimator Hk,n, of the tail index ξ = α−1 :
Hk,n :=1
k
k−1∑
i=0
log
(Xn−i,nXn−k,n
)P−→
n→∞ξ
Rk: rate of convergence: 1/α2.
(See also art. by Grama & Spokoini (08) on an improved Hill estimator)
QQ-estimator (Kratz & Resnick), Qk,n, of the tail index ξ:
Main idea of the QQ-method: suppose X1,n ≤ X2,n ≤ . . . Xn,n order statisticsfrom an iid n-sample with continuous cdf G.
Then the plot of ( in+1
, G(Xi,n)), 1 ≤ i ≤ n should be approximately linear,
hence, idem for the plot of (G←( in+1
) , Xi,n), 1 ≤ i ≤ n.Note that G←( i
n+1)= theoretical quantile, and Xi,n=corresponding quantile of
the empirical distribution function; hence the name QQ-plot.
If G = Gµ,σ(x) = G0,1(x−µσ
), since G←µ,σ(y) = σG←0,1(y) + µ, the plot of
(G←0,1( in+1
) , Xi,n), 1 ≤ i ≤ n should be approximately a line of slope σ and
intercept µ.Introduction to EVT - Applications to QRM 20
I -Overview of univariate EVT Standard methods in EVT - Tail index estimators Marie Kratz, ESSEC CREAR
Take the example of (Xi) Pareto-α, ie F (x) = x−α ; then, for y > 0,G0,α(y) := P [logX1 > y] = e−αy and the plot of
(G←0,1(i
n+ 1), logXi,n), 1 ≤ i ≤ n
=
(− log
(1− i
n+ 1
), logXi,n
), 1 ≤ i ≤ n
should be approximately a line with intercept 0 and slope α−1.
Now, just use the least squares estimator for the slope (SL), namely
SL((xi, yi), 1 ≤ i ≤ n) =
∑ni=1 xiyi − xy∑ni=1 x
2i − x2
to conclude that, for the Pareto example, an estimator of α−1(= ξ) is
α−1 =
∑ni=1− log( i
n+1 )n logXn−i+1,n −∑nj=1 logXn−j+1,n
n∑ni=1(− log( i
n+1 ))2 − (∑ni=1− log( i
n+1 ))2,
which we call the QQ-estimator.
Introduction to EVT - Applications to QRM 21
I -Overview of univariate EVT Standard methods in EVT - Tail index estimators Marie Kratz, ESSEC CREAR
More generally, for F ∼ RV−α, we can define the QQ–estimatorQk,n of the tail index ξ = α−1, based on the upper k orderstatistics, by
Qk,n = SL((− log(1− i
k + 1), logXn−k+i,n), 1 ≤ i ≤ k)
i.e.
Qk,n :=
k∑i=1
− log(
ik+1
)k log (Xn−i+1, n)−
k∑j=1
log (Xn−j+1, n)
k
k∑i=1
(− log
(i
k+1
))2
−(
k∑i=1
− log(
ik+1
))2
P−→n→∞
ξ
Rk: rate of convergence: 1/(2α2)
Introduction to EVT - Applications to QRM 22
I -Overview of univariate EVT Standard methods in EVT - Tail index estimators Marie Kratz, ESSEC CREAR
. the QQ-method in practice:
Make a QQ–plot of all the data (empirical vs theoreticalquantile)
Choose k based on visual observation of the portion of thegraph that looks linear.
Compute the slope of the line through the chosen upper korder statistics and the corresponding exponential quantiles.
. Alternatively, for Hill and QQ methods:
Plot (k, α−1(k)), 1 ≤ k ≤ nLook for a stable region of the graph as representing the truevalue of α−1.
Introduction to EVT - Applications to QRM 23
I -Overview of univariate EVT Standard methods in EVT - Tail index estimators Marie Kratz, ESSEC CREAR
Illustration: Comparison of the Hill plot and the QQ–plot ofestimates of α.
On Pareto(1) simulated data (sample size n = 1000)
number of order statistics
Hill es
timate
of alp
ha0 200 400 600 800 1000
0.60.8
1.01.20 200 400 600 800 1000
0.50.6
0.70.8
0.91.0
number of order statistics
qq-est
imate o
f alpha
0 200 400 600 800
0200
400600
800
Packets
The QQ–plot shows α−1 ' 0.98. Seems a bit less volatile than the Hill
plot.
On real data:
Lag
ACF
0 5 10 15 20 25
0.00.2
0.40.6
0.81.0
Series : Packets
Lag
heavy t
ail acf
0 5 10 15 20 25 30
-1.0-0.5
0.00.5
1.0
Series : Packets
number of order statistics
Hill esti
mate of
alpha
0 200 400 600 800
0.20.4
0.60.8
1.0
0 200 400 600 800
0.50.6
0.70.8
0.9
number of order statistics
qq-estim
ate of a
lpha
number of order statistics
Hill esti
mate of
alpha
0 1000 2000 3000 4000 5000
0.00.5
1.01.5
2.02.5
0 1000 2000 3000 4000 5000
0.20.4
0.60.8
1.01.2
1.41.6
number of order statistics
qq-estim
ate of a
lpha
The Hill plot is somewhat inconclusive, whereas the QQ–plot indicates a
value of about 0.97Introduction to EVT - Applications to QRM 24
II - Self-calibrating method Idea of the method Marie Kratz, ESSEC CREAR
II - A self-calibrating method for modelling probabilitydistributions of insurance and finance datadeveloped with Nehla Debbabi (ESPRIT, Tunis) and Mamadou Mboup
(Univ. de Reims Champagne Ardenne)
Idea of the method
Frame: (right) heavy-tailed continuous data → fit the tail usinga GPD with a positive tail index (Frechet domain of attraction)
Main motivation: to suggest a unsupervised method todetermine the threshold above which we fit the GPD, and tohave a good fit for the entire distribution
Way: introduce a hybrid model with 3 components (G-E-GPD):
a Gaussian distribution to model the mean behaviora GPD for the tailan exponential distribution to bridge the mean and tailbehaviors
Assumption: the distribution (which belongs to the Frechet domainof attraction) has a density that is C1
Introduction to EVT - Applications to QRM 25
II - Self-calibrating method Idea of the method Marie Kratz, ESSEC CREAR
h(x; θ) =
γ1 f(x;µ, σ), if x ≤ u1,γ2 e(x;λ), if u1 ≤ x ≤ u2,γ3 g(x− u2; ξ, β), if x ≥ u2,
f : Gaussian pdf (µ, σ2).
e: Exponential pdf with intensity λ.
g: GPD pdf with tail index ξ and scale pa-
rameter β.
θ =[µ, σ, u2, ξ]: the parameters vector.
γ1, γ2 and γ3: the weights (evaluated from
the assumptions (in part. C1) )
β = u2ξ > 0; λ = 1+ξβ ; u1 = µ+ λσ2
−2 0 2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
Hybrid probability density function
x
h(x;
θ)
u1 u2µ
Gaussian componentExponential componentGPD component
Introduction to EVT - Applications to QRM 26
II - Self-calibrating method Applications Marie Kratz, ESSEC CREAR
Applications:
modelling of the tail only: determination of the thresholdabove which the tail distribution is a GPD
modelling of the entire distributionwith a G-E-GPD using limit theorems (CLT+Pickands)with a hybrid distribution including the GPD and with 1 or 2other components to be chosen to fit the non-extreme data (ifnot using the CLT)
general method: straigthforward to generalize it for datawith left and right tails (example: GPD-Gauss-GPD for neuraldata - proceedings Gretsi 2015)
Introduction to EVT - Applications to QRM 27
II - Self-calibrating method Algorithm Marie Kratz, ESSEC CREAR
Pseudo-code of the algorithm for the G-E-GPD parameters estimation[1] Initialization of p(0) = [µ(0), σ(0), u
(0)2 ], α, ε > 0, and kmax, then
initialization of ξ(0) (recall that θ =[µ, σ, u2, ξ]):
ξ(0) ← argminξ>0
∥∥∥H(y; θ | p(0))−Hn(y)∥∥∥2
2,
where Hn is the empirical cdf of X (and distance computed on y = (yj)1≤j≤m).[2] Iterative process:
k ← 1
Step 1 - Estimation of
p(k): p(k) ← argmin(µ,σ)∈R×R∗
+
u2∈R+
∥∥∥H(y; θ | ξ(k−1))−Hn(y)∥∥∥2
2
Step 2 - Estimation of ξ(k):
ξ(k) ← argminξ>0
∥∥∥H(y; θ | p(k))−Hn(y)∥∥∥2
2,
k ← k + 1until(d(H(y; θ(k)), Hn(y)) < ε and d(H(yqα ; θ(k)), Hn(yqα )) < ε
)or(
k = kmax).
[3] Return θ(k) =[µ(k), σ(k), u
(k)2 , ξ(k)
].
Introduction to EVT - Applications to QRM 28
II - Self-calibrating method Performance of the method tested via MC simulations Marie Kratz, ESSEC CREAR
Performance of the method (algorithm) tested via MCsimulations
1 Xq = (Xqp)1≤p≤n1≤q≤N : training sets of length n
Y q = (Y qp )1≤p≤l1≤q≤N : test sets of length lboth with G-E-GPD parent distribution, fixed parameters vector θ.
2 On each training set Xq, 1 ≤ q ≤ N , evaluate θq = [µq, σq, u2q, ξq] using
our algorithm3 Compute the empirical mean a and variance Sa of estimates of each
parameter a over the N training sets. To evaluate the performance of the
estimator, two criteria:(i) MSE expressed for any a as: MSEa = 1
N
∑Nq=1(aq − a)2.
A small value of MSE highlights the reliability of parametersestimation using the algorithm
(ii) Test on the mean (with unknown variance):
∣∣∣∣H0 : a = aH1 : a 6= a
(use for instance the normal test for a large sample)4 Compare the hybrid pdf h (with the fixed θ) with the corresponding
estimated one h, using θq on each test set Y q. To do so, compute theaverage of the log-likelihood function D, over N simulations, between
h(Y q; θq) and h(Y q; θ): D = 1Nl
∑Nq=1
∑lp=1 log
(h(Y qp ; θ)/ h(Y qp ; θq)
).
The smaller D is, the better.
Introduction to EVT - Applications to QRM 29
II - Self-calibrating method Applications - Example S&P 500 Marie Kratz, ESSEC CREAR
Applications
Example 1 - S&P 500
1990 1995 2000 2005 2010 2015
0.00
0.05
0.10
0.15
0.20
Time
absolu
te log−
return
s
S&P500 absolute daily log-returns from January 2, 1987 to February 29, 2016. Number of observations: 7349
Comparison between the self-calibrating method and the three graphicalmethods: MEP, Hill and QQ ones. Nu represents the number of observations above the obtained
threshold, and ’distance ’ corresponds to the Mean squared Error between the empirical cdf and the estimated one.
Model tail index threshold Nu distance distance(ξ) (u2) (tail distr.) (full distr.)
GPD MEP: 0.3025 0.0282 = q97.21%
206 1.7811 10−7
GPD Hill-estimator: 0.3094 0.0382 = q98.85%
85 4.4953 10−8
GPD QQ-estimator: 0.3288 0.0323 = q98.14%
137 6.0505 10−8
G-E-GPD Self-calibrating method: 0.3332 0.0289 = q97.49%
184 1.9553 10−7 1.0635 10−5
Introduction to EVT - Applications to QRM 30
II - Self-calibrating method Applications - Example S&P 500 Marie Kratz, ESSEC CREAR
0.92 0.94 0.96 0.98 1.00
0.02
0.04
0.06
0.10
Quantile functions
Probablity
Qua
ntile
(log
sca
le)
EmpiricalG−E−GPDHill
0.985 0.995
0.04
0.06
0.080.10
zoom
Comparison between the estimated quantile functions using our methodand the MEP one.
Introduction to EVT - Applications to QRM 31
II - Self-calibrating method Applications - Example Danish fire insurance claims Marie Kratz, ESSEC CREAR
Example 2 - Danish fire insurance claims
Data: Danish fire insurance claimsPeriod: 03/01/1980→ 31/12/1990Number of observations: 2167
Comparison between our method and the MEP one.
Model tail index threshold Nu distance distance(ξ) (u2) (tail) (total)
GPD Hill: 0.684 20 = q98.33% 36 2.232 10−6
G-E-GPD Self-calibrating: 0.7029 2.0418 = q59.52% 877 2.5101 10−5 3.4579 10−5
Introduction to EVT - Applications to QRM 32
II - Self-calibrating method Applications - Example Danish fire insurance claims Marie Kratz, ESSEC CREAR
0.80 0.85 0.90 0.95
510
1520
Quantile functions
Probablity
Qua
ntile
(log
sca
le)
EmpiricalG−E−GPDHill
0.980 0.995
20
406080
100120140160
Comparison between the estimated quantile functions using our methodand the MEP one.
NB: new tail index estimator under truncated scenarios: see Beirlant,
Fraga-Alves and Gomes (2016) and refs therein. Talk by I. Fraga-Alves
available on http://crear.essec.edu/working-group-on-riskIntroduction to EVT - Applications to QRM 33
II - Self-calibrating method Application in Neuroscience - Neural data Marie Kratz, ESSEC CREAR
Example 3 in neuroscience - neural data
Data corresponding to twenty seconds, equivalent to n = 3.105
observations, of real extracellular recording of neurons activities. The
information to be extracted from these data (spikes or action potentials)
lies on the extreme behaviors (left and right) of the data.
0.0 0.2 0.4 0.6 0.8 1.0
−50
510
Time in second
Amplit
ude
One second of neural data, extracellularly recorded.
Since the neural data can be considered as symmetric, it is sufficient to
evaluate the right side of the distribution with respect to its mode.
Introduction to EVT - Applications to QRM 34
II - Self-calibrating method Application in Neuroscience - Neural data Marie Kratz, ESSEC CREAR
Right side of the empirical cdf vs the hybrid cdf obtained with the
self-calibrating method
0.50.6
0.70.8
0.91.0
Right side of the neural data (log−scale)
cdf
1 5
Introduction to EVT - Applications to QRM 35
II - Self-calibrating method Application in Neuroscience - Neural data Marie Kratz, ESSEC CREAR
Comparison between the self-calibrating method and the three graphical methods: MEP, Hill and QQ ones.Nu2 represents the number of observations above u2. The distance gives the MSE between the empirical (tail orfull respectively) distribution and the estimated one from a given model (GPD or hybrid G-E-GPD respectively).
Model tail index threshold Nu2 distance distance(ξ) (u2) (tail distr.) (full distr.)
GPD MEP (PWM): 0.3326 1.0855 = q93.64%
19260 4.0663 10−6
GPD Hill-estimator: 0.599 1.0855 = q93.64%
19260 2.0797 10−6
GPD QQ-estimator: 0.5104 1.0671 = q93.47%
19871 1.2685 10−5
G-E-GPD Self-calibrating method: 0.5398 1.0301 = q92.9%
21272 7.7903 10−6 9.3168 10−5
0.94 0.95 0.96 0.97 0.98 0.99 1.00
25
10
Probablity
Qua
ntile
(log
sca
le)
EmpiricalG−E−GPDMEPHill−estimatorQQ−estimator
0.994 0.995 0.996 0.997 0.998 0.999 1.000
5
6
789
10
Zoom
Neural data: Comparison between the empirical quantile function and theestimated ones, the self-calibrating methods and the graphical methods.
Introduction to EVT - Applications to QRM 36
II - Self-calibrating method Conclusion - synopsis of the method Marie Kratz, ESSEC CREAR
Conclusion . Synopsis of the method
Unsupervised method to model heavy tailed data that may benon-homogeneous and multi-componentsGeneral hybrid C1 distribution for highly right skewed datamodeling, a G-E-GPD that links a Gaussian distribution to a GPDvia an exponential distribution that bridges the gap between meanand asymptotic behaviorsThe three distributions are connected to each other at junctionpoints estimated by an iterative algorithm, as are the otherparameters of the model. Analytical and numerical study of theconvergence of the algorithmPerformance of the method studied on simulated data. Judicious fitof the asymmetric right heavy tailed data with an accuratedetermination of the threshold indicating the presence of extremes;good estimation of the parameters of the GPD that fits theextremes over this thresholdSeveral applications of the method have been done on real data.Comparison with standard EVT methods.We considered asymmetric right heavy tailed data; it can of coursebe applied in the same way when having the asymmetry on the leftside, or when having a heavy tail on each side (without requiring asymmetry).Introduction to EVT - Applications to QRM 37
II - Self-calibrating method Conclusion - advantages of the method Marie Kratz, ESSEC CREAR
. Advantages of the method
To be unsupervised, avoiding the resort, when fitting the tail,to standard graphical methods (e.g. MEP, Hill, QQ methods)in EVTTo fit with the same iterative algorithm the full distribution ofobserved heavy-tailed data, of any type (wheneverC1-distribution), providing an accurate estimation of theparameters for the mean and extreme behaviors (e.g. veryuseful for premium pricing)Generality of the method:
Besides the GPD needed when fitting the heavy tail, the othercomponents might be chosen differently, not using limitbehavior (CLT) but distributions chosen specifically for thedata that are worked out (as e.g. lognormal for insuranceclaims). It would not change at all the structure of thealgorithmIt goes beyong the standard EVT frame: no need ofindependence, it applies to non-homogeneous andmulti-components
Introduction to EVT - Applications to QRM 38
II - Self-calibrating method Conclusion - limits of the method Marie Kratz, ESSEC CREAR
. Limits of the method
Determining in a unsupervised way the threshold over whichwe have extremes, requires to have information before thethreshold. We suggest here an approach that fits the entiredistribution.
Further investigation will follow in order to make this methodalso available as a pure EVT tool (i.e. to fit the tail only). Itmeans to determine the minimum information required todetermine the neighbor distribution of the GPD to have arobust estimation for the tail threshold and the GPDparameters estimation.
Convergence of the algorithm done analytically (existence ofstationary points) and numerically (unicity of the attractivestationary point)
Introduction to EVT - Applications to QRM 39
III - Dependence Motivation - impact of the dependence on the DB Marie Kratz, ESSEC CREAR
III - Notion of Dependence
Motivation: real impact of the (in)dependence on thediversification performance (at heart of the strategy of a company)
Diversification performance for a portfolio of N risks can be measured viathe diversification benefit Dn,α at a threshold α (0 < α < 1) defined by
Dn,α = 1− ρα(∑ni=1 Li)∑n
i=1 ρα(Li)
where ρ denotes a risk measure (note that Dn,α is not a universalindicator as it depends on the number of the risks undertaken and on thechosen risk measure ρ.)
This indicator helps to determine the optimal portfolio of the companysince diversification reduces the risk and thus enhances the performance.This is key to both insurances and financial institutions.
Before going to our example illustrated in the insurance context (it would bethe same for investment banks), let us recall some standard notions ininsurance.
Introduction to EVT - Applications to QRM 40
III - Dependence Motivation - impact of the dependence on the DB Marie Kratz, ESSEC CREAR
Insurance frameworkExample of framework to compute the risk diversification. It couldeasily be generalized to any financial institution.
→ In insurance, the risk is priced based on the knowledge of theloss probability distribution. The occurrence of a loss L beingrandom, we define it as a random variable (rv) on aprobability space (Ω,A,P).In insurance context, we often use risk and loss for one another.
→ Role of capital for an insurance company = to ensure that thecompany can pay its liability even in the worst cases, up tosome threshold.
→ It means to define the capital to put behind the risk ⇒ needto introduce a risk measure (say ρ), defined on the lossdistribution, in order to estimate the capital needed to ensurepayment of the claim up to a certain confidence level.
Introduction to EVT - Applications to QRM 41
III - Dependence Motivation - impact of the dependence on the DB Marie Kratz, ESSEC CREAR
• Risk-adjusted-capital
Def. The risk can be defined as the deviation from the expectation,hence the notion of Risk-Adjusted-Capital (RAC), say K, as a function ofthe risk measure ρ associated to the risk L, namely
K = ρ(L)− E[L]
• Risk Loading
An insurance is a company in which shareholders can invest. They expecta return on investment. So the insurance firm has to make sure that theinvestors receive their dividends. It corresponds to the cost of capital, η,the insurance company must charge on its premium.
Def. Consider a portfolio of N similar policies. The risk loading perpolicy, say R, is defined as
R = ηKN
N= η
(ρ(L(N))
N− E[L1]
)
with KN : capital assigned to the entire portfolio,L(N) =
∑Ni=1 Li= total loss of the portfolio
and L1 = L= loss incurred by 1 policy (of the portfolio)
Introduction to EVT - Applications to QRM 42
III - Dependence Motivation - impact of the dependence on the DB Marie Kratz, ESSEC CREAR
• Technical risk premium
(i) One policy case, incurring a loss LDef. of the technical premium, P , that needs to be paid:
P = E(L) + ηK + e with
η: return expected by shareholders before taxK: capital assigned to this risk, named Risk-Adjusted Capital(RAC). ηK corresponds to the Risk loading (per policy)e: expenses incurred by the insurer to handle this case.
Assume that the expenses are a small portion of the expectedloss:
e = aE[L] with 0 < a << 1 ,
which transforms the premium as
P = (1 + a)E[L] +R
Introduction to EVT - Applications to QRM 43
III - Dependence Motivation - impact of the dependence on the DB Marie Kratz, ESSEC CREAR
(ii) Generalization to a portfolio of N similar policies
Now the total loss: L(N) =∑Ni=1 Li, hence the premium for one
policy in the portfolio becomes
P =(1 + a)E[L(N)] + ηKN
N= (1 + a) E[L] + η
KN
N
with ηKNN : risk loading per policy
• Risk measures
Most modern measures of the risk in a portfolio are statistical quantitiesdescribing the conditional or unconditional loss distribution of theportfolio over some predetermined horizon.
Introduction to EVT - Applications to QRM 44
III - Dependence Motivation - impact of the dependence on the DB Marie Kratz, ESSEC CREAR
Most popular (regulatory) risk measures based on loss model:
Variance (dominating risk measure in finance; portfolio theory ofMarkowitz, 52)
Value-at-Risk (VaR) (Riskmetrics-JP Morgan, 96)
Tail Value-at-Risk (TVaR) named also Expected Shortfall (ES), (orConditional VaR (CVaR)) (used in the Swiss Solvency Test (SST))
Various mathematical properties2.
7Economy of Risk in InsuranceMichel M. DacorognaMoF, ZH, Sept. – Dec. 2009
Risk and Risk Measures
Risk can be measured in terms of probability distributions, however, it is some time useful to express it with one number. This number is called risk measure.
We want a measure that can give us a risk in form of a capital amount.
The risk measure should have the following properties (coherence):
1. Scalable (twice the risk should give a twice bigger measure),
2. Ranks risks correctly (bigger risks get bigger measure),
3. Allows for diversification (aggregated risks should have a lowermeasure),
4. Translation invariance (proper treatment of riskless cash flows),
5. Relevance (non-zero risks get non-zero risk measures).
8Economy of Risk in InsuranceMichel M. DacorognaMoF, ZH, Sept. – Dec. 2009
0.00%
0.40%
0.80%
1.20%
1.60%
450 498 547 595 643 691 739
Gross Losses Incurred (EUR million)
Pro
babi
lity
/ B
in o
f 25
0'00
0
Loss Model and Risk Measures
Standard Deviationmeasures typical size of fluctuations
+σ
Mean
Value-at-Risk (VaR)measures position of 99th percentile, „happens once in a hundred years“
VaR
Expected Shortfall (ES) is the weighted average VaR beyond the 1% threshold.
VaRα(L) = infq ∈ R : P(L > q) ≤ 1−α
TVaRα(L) =1
1− α
∫ 1
αVaRu(L)du
=FL contin.
E[L | L > V aRα(L)]
2see e.g. S. Emmer, M. Kratz, D. Tasche (2015). What is the best risk measure inpractice? A comparison of standard measures. Journal of Risk 18, 31-60
Introduction to EVT - Applications to QRM 45
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
Let us go back to our toy model3.
Suppose an insurance company has underwritten N policies of agiven risk. To price these policies, the company must know theunderlying probability distribution of this risk.
Assume that each policy is exposed n times to this risk ⇒ in aportfolio of N policies, the risk may occur n×N times.
→ So we introduce a sequence (Xi, i = 1, . . . , Nn) of rv’s Xi tomodel the occurrence of the risk, with a given severity l (for
simplicity, take it deterministic).Hence the total loss amount, say L, associated to this portfolio isgiven by
L = l SNn with SNn :=
Nn∑
i=1
Xi
We are going to consider 3 models for the occurrence of the risk:(a) assuming iid rv’s; (b-(i)) and (b-(ii)) under dependence
3See M. Busse, M. Dacorogna, M. Kratz (2014). The impact of systemicrisk on the diversification benefits of a risk portfolio. Risks vol.2, 260-276
Introduction to EVT - Applications to QRM 46
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
(a) A first simple model, under the iid assumption
Assume Xi’s iid (with X the parent rv ), Bernoulli distributed, i.e.the loss L1 = lX occurs with some probability p:
X =
1 with probability p0 with probability 1− p
Hence the total loss amount L = l SNnd∼ B(Nn, p)
→ To know the risk premium the insurance will ask to a customerif he buys this insurance policy, we compute the risk loading for anincreasing number N of policies in the portfolio:
R = η
(ρ(L)
N− lnp
)
hence the relative risk loading per policy :R
E[L(1)]= η
(ρ(L)
lnp− 1
).
Introduction to EVT - Applications to QRM 47
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
Numerical application.
We choose for instance the number of times one policy is exposed to therisk, as n = 6. Unit loss l fixed to l = 10.
Distribution of the loss L = lS1n for one policy (N = 1) with n = 6 andp = 1/6 (hence E(L) = 10)
number of losses Policy Loss Probability Mass Cdfk l X(ω) P[S1n = k] P[S1n ≤ k]
0 0 33.490% 33.490%1 10 40.188% 73.678%2 20 20.094% 93.771%3 30 5.358% 99.130%4 40 0.804% 99.934%5 50 0.064% 99.998%6 60 0.002% 100.000%
What is the probability that the company will turn out paying more thanthe expectation?We see why the premium principle!
Introduction to EVT - Applications to QRM 48
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
Now, we compute the risk loading per policy as a function of the numberN of policies in the portfolio for both risk measures VaR and TVaR, andwhen taking p = 1/6 (fair game), 1/4 and 1/2, respectively.
We take: cost (of capital) η = 15% ; Threshold of the risk measure ρ:α = 99%
The Risk loading per policy as a function of the number N of policies in the portfolio (with n = 6).
Risk Loading R per policyRisk measure Number N with probability
ρ of Policies p = 1/6 p = 1/4 p = 1/2
VaR1 3.000 3.750 4.5005 1.500 1.650 1.800
10 1.050 1.200 1.35050 0.450 0.540 0.600
100 0.330 0.375 0.4201’000 0.102 0.117 0.135
10’000 0.032 0.037 0.043TVaR
1 3.226 3.945 4.5005 1.644 1.817 1.963
10 1.164 1.330 1.48250 0.510 0.707 0.675
100 0.372 0.425 0.4761’000 0.116 0.134 0.154
10’000 0.037 0.042 0.049
E[L]/N 10.00 15.00 30.00
Introduction to EVT - Applications to QRM 49
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
(b) Introducing a structure of dependence to reveal a systematicrisk - We propose two examples of models introducing a structureof dependence between the risks, in order to explore the occurrenceof a systematic risk and, as a cq, the limits to diversification.
(Xi, i = 1, . . . , Nn) to model the occurrence of the risk, with agiven severity l, for N policies, but do not assume anymore thatthe Xi’s are iid.
Assume the occurrence of the risks Xi’s depends on anotherphenomenon, represented by a rv, say U . Depending on theintensity of the phenomenon, i.e. the values taken by U , a risk Xi
has more or less chances to occur.
Suppose that the dependence between the risks is totally capturedby U .
Consider, w.l.o.g., that U can take two possible values denoted by
1 and 0; Ud∼ B(p), 0 < p << 1.
U is identified to the occurrence of a state of systematic risk.We choose p very small since we want to explore rare events.
Introduction to EVT - Applications to QRM 50
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
. (b-(i)) A dependent model, but conditionally independent
We still model the occurrence of the risks with a Bernoulli, but with aparameter depending on U . Since U takes 2 possible values, the sameholds for the parameters of the Bernoulli distribution of the conditionallyindependent rv’s Xi | U , namely
Xi | (U = 1) ∼ B(q) and Xi | (U = 0) ∼ B(p)
We choose q >> p, so that whenever U occurs (i.e. U = 1 (crisis state)),it has a big impact in the sense that there is a higher chance of loss. Weinclude this effect in order to have a systematic risk (non-diversifiable) inour portfolio.
Hence the mass probability distribution fS of the total amount of lossesSNn appears as a mixture of fSq and fSp :
fS = p fSq + (1− p) fSpwith the conditional and independent rvSq := SNn| (U = 1) ∼ B(Nn, q) and
Sp := SNn| (U = 0) ∼ B(Nn, p),with mass probability distributions fSq and fSp respectively.(note that p = 0 gives back the normal state).
Introduction to EVT - Applications to QRM 51
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
Numerical application revisited.
We take n = 6 and p = 1/n, and choose the loss probability during thecrisis to be q = 1/2. We explore different probabilities p of occurrence ofa crisis.The Risk loading per policy as a function of the probability of occurrence of a systematic risk in the portfolio usingVaR and TVaR measures with α = 99%. The probability of giving a loss in a state of systematic risk is chosen tobe q = 50%.
Risk measure Number N Risk Loading Rρ of Policies in a normal state with occurrence of a crisis state
p = 0 p = 0.1% p = 1.0% p = 5.0% p = 10.0%
VaR1 3.000 2.997 4.469 4.346 5.6935 1.500 1.497 2.070 3.450 3.900
10 1.050 1.047 1.770 3.300 3.45050 0.450 0.477 1.410 3.060 3.030
100 0.330 0.327 1.605 3.000 2.9401’000 0.102 0.101 2.549 2.900 2.775
10’000 0.032 0.029 2.837 2.866 2.724TVaR
1 3.226 3.232 4.711 4.755 5.8995 1.644 1.707 2.956 3.823 4.146
10 1.164 1.266 2.973 3.578 3.66550 0.510 0.760 2.970 3.196 3.141
100 0.372 0.596 2.970 3.098 3.0201’000 0.116 0.396 2.970 2.931 2.802
10’000 0.037 0.323 2.970 2.876 2.732
E[L]/N 10.00 10.02 10.20 11.00 12.00
When the probability of occurrence of a crisis is high, the diversification does
not play a significant role anymore already with 100 contracts in the portfolio.Introduction to EVT - Applications to QRM 52
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
For p ≥ 1%, the risk loading barely changes when there is a largenumber of policies (starting at N = 1000) in the portfolio, for bothVaR and TVaR. The non-diversifiable term dominates the risk.
For lower probability p of occurrence of a crisis, the choice of therisk measure matters. For instance, when choosing p = 0.1%, therisk loading, compared to the normal state, is multiplied by 10 inthe case of TVaR, for N = 10′000 policies, and hardly moves inthe case of VaR! This effect remains, but to a lower extend, whendiminishing the number of policies.
It is clear that the VaR measure does not capture well the crisisstate, while TVaR is sensitive to the change of state, even withsuch a small probability and a high number of policies.
Introduction to EVT - Applications to QRM 53
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
. (b-(ii)) A more realistic setting to introduce a systematic risk
We adapt further the previous setting to a more realisticdescription of a crisis. At each of the n exposures to the risk,in a state of systematic risk, the entire portfolio will betouched by the same increased probability of loss, whereas, ina normal state, the entire portfolio will be subject to the sameequilibrium probability of loss.
For this modeling, it is more convenient to rewrite thesequence (Xi, i = 1, . . . , Nn) with a vectorial notation,namely (Xj , j = 1, . . . , n) where the vector Xj is defined byXj = (X1j , . . . , XNj)
T . Hence the total loss amount SNncan be rewritten as
SNn =
n∑
j=1
S(j) where S(j) is the sum of the components of Xj
(i.e. S(j) =∑N
i=1Xij)Introduction to EVT - Applications to QRM 54
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
We keep the same notation for the Bernoulli rv U determining thestate and for its parameter p. But now, instead of defining anormal (U = 0) or a crisis (U = 1) state on each element of(Xi, i = 1, . . . , Nn), we do it on each vector Xj , 1 ≤ j ≤ n.It comes back to define a sequence of iid rv’s (Uj , j = 1, . . . , n)with parent rv U . Hence we deduce that S(j) follows a Binomialdistribution whose probability depends on Uj :
S(j) | (Uj = 1) ∼ B(N, q) and S(j) | (Uj = 0) ∼ B(N, p)
Note that these conditional rv’s are independent.Let us introduce the event Al defined, for l = 0, . . . , n, as
Al := l vectors Xj are exposed to a crisis state and n−l to a normal state
=( n∑
j=1
Uj = l)
whose probability is given by
P(Al) = P( n∑
j=1
Uj = l)
=
(n
l
)pl (1− p)n−l.
Introduction to EVT - Applications to QRM 55
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
We can then write that
P(SNn = k)=
n∑
l=0
P(SNn = k|Al)P(Al) =
n∑
l=0
(n
l
)pl (1−p)n−l P
[S(l)q +S(n−l)
p = k]
with, by conditional independence, S(l)q =
l∑
j=1
(S(j) | Uj=1
)∼ B(Nl, q)
and S(n−l)p =
n−l∑
j=1
(S(j) | Uj=0
)∼ B(N(n− l), p).
Numerical example revisited.
In this case, we cannot directly use an explicit expression for thedistributions, so we go through Monte-Carlo simulations.At each of the n exposures to the risk, first choose between a normal or acrisis state. Since, we take here n = 6, the chances of choosing a crisisstate when p = 0.1% is very small. To get enough of the crisis states, weneed to do enough simulations, and then average over all the simulations.The results shown in the Table below are obtained with 10 millionsimulations. (We ran it also with 1 and 20 million simulations to checkthe convergence.)
Introduction to EVT - Applications to QRM 56
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
The Risk loading per policy as a function of the probability of occurrence of a systematic risk in the portfolio usingVaR and TVaR measures with α = 99%. The probability of giving a loss in a state of systematic risk is chosen tobe q = 50%.
Risk measure Number N Risk Loading Rρ of Policies in a normal state with occurrence of a crisis state
p = 0 p = 0.1% p = 1.0% p = 5.0% p = 10.0%
VaR1 3.000 2.997 2.969 4.350 4.2005 1.500 1.497 1.470 1.650 1.800
10 1.050 1.047 1.170 1.350 1.50050 0.450 0.477 0.690 0.990 1.200
100 0.330 0.357 0.615 0.945 1.1701’000 0.102 0.112 0.517 0.882 1.186
10’000 0.032 0.033 0.485 0.860 1.196100’000 0.010 0.008 0.475 0.853 1.199
TVaR1 3.226 3.232 4.485 4.515 4.4485 1.644 1.792 1.870 2.056 2.226
10 1.164 1.252 1.342 1.604 1.80450 0.510 0.588 0.824 1.183 1.408
100 0.375 0.473 0.740 1.118 1.3581’000 0.116 0.348 0.605 1.013 1.295
10’000 0.037 0.313 0.563 0.981 1.276100’000 0.012 0.301 0.550 0.970 1.269
E[L]/N 10.00 10.02 10.20 11.00 12.00
Introduction to EVT - Applications to QRM 57
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
The diversification due to the total number of policies is more effectivefor this model than for the previous one, but we still experience a partwhich is not diversifiable.
We also computed the case with 100’000 policies (since via Monte Carlosimulations). As expected, the risk loading in the normal state continuesto decrease. In this state, it decreases by
√10.
However, except for p = 0.1% in the VaR case, the decrease becomesvery slow when we allow for a crisis state to occur.
The behavior of this model is more complex than the previous one, butmore realistic, and we reach also the non-diversifiable part of the risk.
For a high probability of occurrence of a crisis (1 every 10 years), thelimit with VaR is reached already at 100 policies, while, with TVaR, itcontinues to slowly decrease.
Concerning the choice of risk measure, we see a similar behavior as in theprevious case for the case N = 10′000 and p = 0.1%: VaR is unable tocatch the possible occurrence of a crisis state, which shows its limitationas a risk measure. Although we know that there is a part of the risk thatis non-diversifiable, VaR does not catch it really when N = 10′000 or100′000 while TVaR does not decrease significantly between 10′000 and100′000 reflecting the fact that the risk cannot be completely diversifiedaway.Introduction to EVT - Applications to QRM 58
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
Discussion - comparison of the methods
In the following table, we present a summary of the expectation and thevariance obtained in our three cases. In the first case, we see that thevariance will decrease with increasing N , while both other cases contain aterm in the variance that does not depend on N . Those two cases arethe ones containing a systematic risk component that cannot bediversified. Note that var2(Z) contains a non-diversified part thatcorresponds to n times the non-diversified part of var3(Z).
Summary of the analytical results (expectation and variance per policy)for the 3 cases of biased games presented here
Case Expectation 1NE(L) Variance 1
N2 var(L)
(a) ln q l2nN
q(1− q)
(b)-(i) ln(p q + (1− p) p
)l2nN
(q(1− q)p+ p(1− p)(1− p)
)+ l2n2(q − p)2p(1− p)
(b)-(ii) ln(p q + (1− p) p
)l2nN
(q(1− q)p+ p(1− p)(1− p)
)+ l2n (q − p)2p(1− p)
Introduction to EVT - Applications to QRM 59
III - Dependence Motivation - impact on the DB Marie Kratz, ESSEC CREAR
In real life, risk takers have to pay special attention to the effectsthat can weaken the diversification benefits, hence affect greatly therisk loading of the risk premium (as seen in this example)
Examples:motor insurance: the appearance of a hail storm will introducea ”bias” in the usual risk of accident due to a causeindependent of the car drivers, which will hit a big number ofcars at the same time and thus cannot be diversified amongthe various policies.life insurance: for instance with pandemic or mortality trendthat would affect the entire portfolio and cannot be diversifiedaway.financial crisis suddenly increases the dependence between risks(systemic risk). There is a saying among traders:”Diversification works the best when you need it the least”.
Understanding the dependence between risks is crucial for solid riskmanagement.For portfolio management, we need to include both the single risk modeland the dependence model.
Introduction to EVT - Applications to QRM 60
III - Dependence Motivation - type of dependence Marie Kratz, ESSEC CREAR
Motivation from a practical (real) example; type ofdependence
Consider a portfolio of political risks, for which the customer looksfor a cover, providing the reinsurer with Monte-Carlo simulations ofhis risks.
The two largest risks in the portfolio are those of China andHong-Kong, with 22.5% (linear) correlation.
Customer’s simulations results (providing also the marginaldistributions of the risks), asking for a cover for the extreme risks
Introduction to EVT - Applications to QRM 61
III - Dependence Motivation - type of dependence Marie Kratz, ESSEC CREAR
X-axis: China; Y-axis:
Hong-Kong (r = 22.5%)10 extreme events
Result: from the model, the conditional probability for Hong-Kongto default on the risk, given that China defaults with probability of1/200 years (ie 0.5%) gives a probability less than 5% !
Very unrealistic conditional probability!
Introduction to EVT - Applications to QRM 62
III - Dependence Motivation - type of dependence Marie Kratz, ESSEC CREAR
Study of the portfolio by the reinsurer: using the same margins,but suggesting the dependence structure via a Clayton copula, tohave the same linear correlation, and especially a much morerealistic conditional probability of 60% :
X-axis: China; Y-axis:
Hong-Kong (r = 22.5%)
21 extreme events
Introduction to EVT - Applications to QRM 63
III - Dependence Notion of dependence Marie Kratz, ESSEC CREAR
Notion of dependenceHow to analyze a phenomenon in view of understanding it better,then modelling it?→ we proceed from simplest tools to more elaborated ones,when neededIndependence −→ linear dependence −→ non linear dependence
G. Chevillon, V. Esposito Vinzi, M. Kratz ESSEC SIDS 21030 – chap. 2 Bivariate Exploratory Analysis p. 82
X
Yρxy=1
X
Yρxy=-1
X
Y ρxy=0
X
Yρxy=0
Independence ⇒
Independenceρxy=0 ⇒Linear Independence
⇒
Interpreting CorrelationInterpreting Correlation
ρxy=0
ρxy=0
Introduction to EVT - Applications to QRM 64
III - Dependence Notion of dependence Marie Kratz, ESSEC CREAR
Interpreting linear correlation
Modelling is a simplification but must not be a reduction! it is thefundamental basis of a scientific approach. ’Everything should bemade as simple as possible, but not simpler’4
Studying the dependence between risks is essential forunderstanding their real impacts and consequences.
The world has changed a lot, from the end of the 19th-early 20thcentury, where using the concept of linear correlation (Pearson, )was of great help, to nowadays, where world is getting morecomplex, and more and more interconnected 5.
4Saying attributed to Albert Einstein5M. Dacorogna and M. Kratz, Living in a stochastic world and managing
complex risks (2015); seehttp://papers.ssrn.com/sol3/papers.cfm?abstract_id=2668468
Introduction to EVT - Applications to QRM 65
III - Dependence Notion of dependence Marie Kratz, ESSEC CREAR
Historical overview:
Dependence has always been a topic in probability andstatistics when looking at what is called a multivariateframework. Notions like linear correlation or copula, forinstance, were introduced to treat this problem.
1895: Karl Pearson6 formalized mathematically the notion oflinear correlation (first introduced by Galton in the context ofbiometric studies).
1959: Sklar7 introduced (in the context of probability theoryto solve a theoretical problem posed by Frechet) the moregeneral concept of dependence structure, called also copula,separating this structure from the margins
1984: Deheuvels8 introduced the notion of extreme-valuecopula
6K. Pearson, Royal Society Proceedings vol.58 (1895)7Sklar, A. Fonctions de repartition a n dimensions et leurs marges. Publications de
l’Institut de Statistique de l’Universite de Paris, vol.8 (1959)8Deheuvels, P. Probabilistic aspects of multivariate extremes. In: J. Tiago de
Oliveira (Ed.) Statistical extremes and applications (1984)
Introduction to EVT - Applications to QRM 66
III - Dependence Notion of dependence Marie Kratz, ESSEC CREAR
From 70’s: divers types of dependence studied in mathematicalstatistics / probability
From 21st century: introduction of those tools in the industry:copulas turn out to become an important tool for applications andthe evaluation of risks in insurance and reinsurance (and later infinance: non linear tools cannot/should not be ignored anymore,especially after the 2nd most severe financial crisis starting in 2008)
After the 2008 financial crisis: Extreme Value Theory (EVT) finallyenters the financial world (academics and professionals). Study ofthe dependence in the extremes → systemic risk. The realizationthat risks are more interdependent in extreme situations led to thedevelopment of the notion of systemic risks, risks that would affectthe entire system as well as the notion of systematic risks, i.e.components present in all other risks.
In the next few years, research in statistics and probability will haveto make significant progress in this area if we want to master therisk at an aggregate level. We have seen that societal demand goesin this direction, i.e. protection at a global level.
Introduction to EVT - Applications to QRM 67
III - Dependence Notion of dependence Marie Kratz, ESSEC CREAR
• Limitations of linear correlation.
Let ρ(X,Y ) denote the linear correlation of two random variablesX and Y . As you know,
- ρ(X,Y ) only gives a scalar summary of linear dependenceand both var(X) and var(Y ) must exist (i.e. must befinite);
- X and Y (stochastically) independent ⇒ ρ(X,Y ) = 0, butthe converse is false (except if (X,Y ) is a Gaussian r. vector).
- Linear correlation is not invariant w.r.t. strictly increasingtransformations T of (X,Y ), i.e. generallyρ(T (X), T (Y )) 6= ρ(X,Y ).
Introduction to EVT - Applications to QRM 68
III - Dependence Notion of dependence Marie Kratz, ESSEC CREAR
→ A fallacy in the use of linear correlation.
Consider the random vector (X,Y ).
The statement “Marginal distributions and linear correlationdetermine the joint distribution” is wrong in general;it is only true for the class of bivariate normal distributions or,more generally, for elliptical distributions.
Let us see that on an example when considering a random vector(X1, X2) having standard normal margins and (linear) correlationρ(X1, X2) = 0.7.
Introduction to EVT - Applications to QRM 69
III - Dependence Notion of dependence Marie Kratz, ESSEC CREAR
Gaussian and Gumbel Copulas Compared
•
•
•
•
•
••
•
• •
•
••••
••
•
•
•• •
•••
•
••
•
•
••
•
•
•
•
•
•
••
•
•• •
•
•••
•
•
•
••
•
•
•
••
•
•••
••
••
•
•
• •
••
••
•
••
•
••
•
•
• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
• •
•
•
•
•
•
•
•
••
•
••
•
•
•
• ••
•
•
•
•
•
•
••
•
• ••
•
•
•
•
• •
•
•
•
•
•
•••
•
•
•
•••
•
••
•
•
•
•
•
•
••
•
••
••
•••
•
•
•
•
•
••
•
•
•
••
•
•
•
•
••
•••
•
•
•
•
••
•
•
•
•
•
•
•
•••••
•
•
•
• •
•••
•
•
•
•
••
••
•••
•
•
•
• •
•
•
••
• •
•••
•
•
•
•
•
•
•
•
••
•
•••
••••
•
• •
•
•
•
•
•
•••
••
•
•
•
•
•
•
•
•••
•
•
•
•
• •
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
••
••
•
••
•
•
•
•• •
•
•
•
•
• •
•
•
•
••
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
••
••
••
••
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
• •
•
•
•
•
•
•
• •
•
••
• •
•
••
•
•
••
••
•
•
•
•
••
•
••••
•
••
•
•
•
••
•
••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
• •
•
•••
••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
••
•
•
•
•• •
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
•
• •
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
••
•••
•
• ••
•
•
•
••
••• •
•
•
•
•
••
•
•
•
•
•
•• •
••
•
•
•
•
••
• •
•
•
•
•
•
••
•
•
•
••
••
••
••
•
••
•
•
•
• •
•
•
•
•
•
• •
• •
• •
•
•
•
•
•
•
•
••
••
•
••
• •
••
•
•
•
•
• ••
••
•
• •
•
••
•
•
•
••
•
•
••
•
••
•
•
•
••
••
• •
•
••
•
•
•
•••
•
•
•
•
•
•
•
•
• •
••
• •
••
•
•
•
•
•
•
•
•
•
••
•
•••
•
•
•••
•
••
•
••
••
•
•
••
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
••
••
••
••
•
•
•
•
•
•
••
•
•
••
••
•
•
• ••
•
• •
••
•
• • ••
•
•
•
•
•
•
•
•
••
••
•
•• •
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•••
••
•
•
••
•
•••
•
•
•
•
•
•
•
•
•
••
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•• •
•
•
•
• ••
•
•••
•
•
•
•
•
•
•
•
•
•
••
•
••
••
•
•
•
•
•
•
•
•
••
• ••
•••
•
•
•
••
••
•
•
•
•
•••
•
••
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•
••
••
•
•
••
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
• ••
•
••
•
•
•
•
•
•
• •
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
• •
•••
•
••
•
•
•
••
•
••
••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
••
••
•
•
•
••
•
••
•
•
• •
•
•
••
•
•
•
•
•
•
••
•
••
•
•
• ••••
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
••
••
••
••
•
•••
•
•
•
•
•
••
• • •
••
•
••
•
•
•
•
•••
•
•
•
••
•
• ••
•
•
••
• ••
••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
• •
•
•
••
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•••
••
••
•
•
•
•••
•
•
•
•
•
•
•••
•
•
•
••
•
•
•
••
•••
••
•
•
•••
•
•
•
•
•
••
•
••
•
•
•••
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•••
•
•
•
•
•••
•
•
••
•
••
•
•
•
••
•
•
• ••
•
•
••
•
••
•
•
••••
•
••
••
•
••
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
• •
•
•••
•
•
•
•
•
•
•• •
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
••
•••
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
••
•
•
•
•
• •
•
•
• ••
•
•
•
••
•
•
••
•
••
•
•
•
• •
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
••
•
•
• •
•
•
•
•••
•
•
••
•
•
•
•
•
•
•
• •• •
•
••
•
•••
••
•
•
•
•
•
••
•
••
•
••
•
•
•
•
•
••
•
•
•
•
•
•••
•
•
•
•
•
•
••
••
•
•
•
••
••
•
••
• •
•
•
• •
• •
•
•
••
•
••
•
••
• •
•
•
••
•
•
•
• •
•
•
•••
• •
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•
••
•••
•
•
••
•
•
••
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
••
•
••
•
• •
•
••
•
••
•
•
•
• •
•
••
• •
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
••
•
•
•
•
••
•
••
• •
••
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•••
••
•
••
•
•
••
••
•
•
•
•
•
•
•
•
• •
•
•
••
•
••
•••
•
••
•
•
•
•••
• •••
•
• •• ••
••
•
•
•
•
•
•
•
•••
•
••
•
•
•
•
•
•
•
• •
•
•
•
•
•
••
•
••
•
••
•
•
•• ••
• •
•
•
•
•
• ••
••
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
• •
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•••
• •
••
• •
••
•
••
•
•
•
•
••
••
• •
••
•
••
••
•
•
•
•
•
•
•
•••
•
•
••
•
••
•
•
• ••
• •
•
•
•
•
•••
•
•
•
•
•
•
•
• •
•
•
•
••
•
•
•
•
••
•
•
•
••
•
••
•
•
•
•
•
•
••
••
•
••
•
•
•
• •
•
•
•
•
•
• •
•
•
••
•
••
•
•
• •
••
•
••
•
•
• ••
•
•
••
••
•
••
•
•
•
•
•
•
•
•
•
•
•• •
••
••
•
••
•
•
••
•
••
•
•
••
•
••
•
•
•
•
• •
•••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
• ••
•
•
•
•
•
•
•
•••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
••
•
•
•
• ••
••
•••
• •
•
••
•••
•
•
•
•
•• ••
•
•
••
•
••
•
•
••
•
••
•
•
••
•
••
•
•
•
••
•
•
•
•••
•
••
•
••
•
•
•
•
•
•
••
••
••
• •• •
•
•
•
•
• •
•
••
•
•
••
•
•
•
•
•
••
•••
•
•
••
•
•
••
•
•
•
• •
••
• •
•
•
•
•
•
•
•
•
••
•
••
••
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
••••
•
•
•
•
•
•
•
•
•
•
•• ••
•
••
••
•
•
•
•
•
•
••
•••
•
••
•
••
•
•
••
••
•
•
•
••
••
•
•
•
••
•
•
••
•
• •
•
•
•
••
•
•
•
•
•
• •
•
•
•
••
•
•
•
••
••
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
••
•
••
•
•
•
•
• •
•••
•
•
••• •
•
• •
•
••
•
•
•
•
•
•••
••
•
•
•
•
•
•
••
•
•
••
••
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
•••
•
•
•
•
•••
• •
•
•
• •
••
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
••
•••
••
••
•
• •
•
•
•
•
•
•
••
••
•
••
•
•
•
•
•
•
••
••
•
••
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
••
••
•
•
•
•
•
•
••
•
••
•• •
•
••
•••
•
•
••
•
•
•
•
•
•
•
•
•
•• •
••
••
•
• ••
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
• •
•
•••
•
•
••
••
••
•
•
•
• •
•
•
••
•
•
•
•
•
•
••
•
•
••
•
• ••
••
•
•
•
•
•
••
• ••
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
•
•
•
••
•
•
•
•
•
•
• •
•
••
•
•
•
••
•
•
••
••
••
•
•
••
••
••
••
••
••••
•
•
•
•
•
••• •
•
•
•
•
•
•
•
•
• •••
•
•
••
•
• •••
•
•
• •
••
•
•
••
• ••
•••
•
•
•
•
•
•
•
••
•
•
••
•
•
• •
•
•
•
•
• •
•
•
•
•
•
•
••••
•
•••
• •
•
•
•
•
•
•
••
•
•
•
•
• •
•
•
•
•
•
••
•
•
•
•
••
••
•
•
•
•
•
•
••
••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
••
•
• ••
•
•
• • •
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
• • •
••
•
•
•
•••
•
•
•
•
•
•
••••
•
•
•
••
•
•
• •
•
•
•
• •
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
••• •
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•••
•••
••
•
••
••
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•• •
••
•
••
••
••
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
••
•
•
••
••
•
••
•
•
•
•
• •
•
•
• ••
•
••
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
••
••
•
•
••
•
••
••
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
••
•
••
• ••
•
•
•
•
••
•
••
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
• •••
•••
•••
••
••
•
••
•• •
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
• •
•
•
•
•
•
•
•• ••
•
•
•
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
• ••
• •
••
•
•
•
•
•
•
•
•••
• •
•
••
•
•
•
•
•
•
•• •
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
• ••
•
•
••
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•••
••
•
•
•••
••
•
•
••
•••
•
•
•
•
•
•
•
••
••
•
•
••
••
•
•
•
•
••
•
•
•
•
•
• •••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
••••
•
•
•
•
••
•
•
•
•
••
•
•
•
••
•
•
•
•
•
••
•
• •
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
• •
•
•
••
• ••
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
••
•
• •
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•••
••
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
••
••
••
•
•
•
••
•
•
•
••
•
•
•
•
•
••
•
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
• ••
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•••••
••
••
••
•••
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
• •
•
•
•
••
•
•
•
••
•
•
•
•
• •
•
••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
••
•
•
•
•
••••
•
•
•
••
•
•
•
•
•••
•
•
•
•
•••
•
•
•
•
••
•
•••
•
•
•• ••
•
•
••
•
•
••
•
••
•
••
•
•
•
•
•
•••
••
••
•
•
• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•• •
••
•••
•• •
•
•
•
••
•
••
•
•
•
•
•
••
•
•
•
•
•
•
••
••
•
• •
•
•
•
•
•
•
•
•
•
• ••
• •
•
•
•
• •
•
•
••••
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
••
•
•••
•
••
••
•
••
• ••
•
••
••
•• •
•
•
•
•
•
•••
•
•• •
•
•
•
•
••
•
••
•
•
••
••
•
•
•
•
••
••
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
•• •
•
••
•• •
•
•
•
•
•
•
• •
•••
••
••
•
•
•
•••
••
•
•
••
•
••
•
•
•
•
••
•
•
••
•
••
•
•
•
• •
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•• •
•••
•
•
•
• •
•
•
••
•
••
•
•••
•
•
•
•
•
•
•
•
•
•••••
•
•
• •
•
•
•
•
•••
•
••
•
•
•••
•• •
• •
••
••
••
•
• •
••
••
•
•
••
••
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
• •
•
••
•
•
•
•
•
•
• •
••
••
••
•
•
•
•
•
•
•
•
•••
• •
•
••
• ••
••
• •
•
•
••
•
•
•
•
••• •
•
•
•
•
••
• ••
•
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
•
•
••
•
••
••
•
•
••
••
••
•• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
••
•
•
• •
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
•
••
•
•
•
• •
•
•
•••
•
••
•
• ••
•
•
••
•
•
•
•
•
•
•
••
•
••
•• ••
•
•
•
••
••
•
••
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
• •
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
• •
•
••
•
•
•
•
•
•
•
•
• •
•
•
••
••
•
••
•
•
•••
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•• •
•
•••
••
•
•
••
•
•
• •
•
• •
•
•
•
•
•
•
•
•
•
•
• ••
••
•
••
•
•
•
••
•
•• •
•
•
•
•
•
•
•• •
••
• •
•
•
•
•
••••
•
••
••
•
•
•
•
•
•
•
•
•
••• •
•
•
••
•
•
•
•
••
•• •
•
•
•
•
•
•
•
•••
•
•
••
•
••
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
••
•
•
••
••
•
•
•
•
• ••
• • •
•
••
••
•
•
••
••
•
•
•
•
•
••
•
•
• ••
•
•
•• •
••
••
••
•
•
•
•
•
• •
•
•
•
•
•
•
•
•••
•
•
•••
•
•
•
•
••
•
•
•
••
•
•
•
•••
••
•
••
•
•
•
•
•
•
•
• •
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
••
•
•
••
••
•
••
•
•
•
•
••
••
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
••
••
•
•
•
•
•
•
••• •
•
•
•
•
•
• •
•
•••
•
•
•
••
•
•
• •
•
•
•
••
•
• ••
••
•
•
•
•
••
•
••
•••
••
•
•
••
•
•
•
• •
•
•
•
•
•
•
•
•
•
•• •
•
•
••
•
•
••
••
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
••
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
••• •
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
• •
•
••
•
••
•
••
•
• ••
•
•
•
•
•
•
•
•
••
••
• •
••
•• •
•
•
•
•
•
•••
••
•
•
•
•
•
•
•
•
••
•
•
• •
•
••
•
•
••
•
••
•
•
•
•
•
•••
•
•
•
••
••
••••
•
•
••
•
•
•
••
•••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
••
•
•
••
•
•
•
•
•••
•
•
•
•
•••
••
•
•
••
•
••
•
••
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
• ••
•
•
•
•
•
•
••
• •
•
•
•
•••
••
•
•
•
•
•
••
•
•
• •
•
•
•
•
••
•
••
•
•
•• •
•
•
•
• ••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
• • ••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•••
•
•
•
•
••
•
••
•
•
••
•
•
•
•
••
• • ••
•
•
•••
•
•
•
•
•
•
•
• ••
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
•• ••
•
•
•
•
• •
•
•
•
•
•
• •
•••
•
•
• •
•
•
••
•
• ••
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
••
•
••
•
•
•
•
•
••
•
•
• •
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•••••
•
•• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
•
•
•
•
• •
•
••
•
• ••
•
• •
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
••••
•
•
••
•
•
•
•
•
•••
•
•
• •
•
•
•
•
•
•
•
••
••
••
• •
••
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•• ••
•
••
•
•
•
•
•
•
•
•••
•
•
•
•
•
•• •
•• •
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•• •
••
••
•
•
••
••
••••
•
•
••
•
•
• ••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
• •
• •
•
•
•
•
••
••
•
•
•• •
•
• ••
••
•
•
•••
•
• •
•
•
••
•
••• •
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••••
•
•
••
•
•
•
•
•
•
••
•
•
••
•
••
•
•
•
•
••
••
•
••
•
•
•
•
•
••
•
•
•
••
•
•
•
•• •
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
• •
•
• • ••
• •
•
•
•
••
••
•
•
• ••
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
••
••
•
•
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•• •
••
• •
•
•
••••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
••
•• •
•
••
••
••
••
•
••
•
•
•
• •
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
••
•
••
•
••
•
•
•
•• ••
•
••
•
•
•
••
•
• ••
•
•
• •
•
••
••
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
• ••
•
••
•
•
•
•
••
•
•
•
•
•
••
••
••
•
•
•
•
•
• •
•
•
•
• •
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
••
•
•• •
•
••
•
•
••
•
••
••• •
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
• •
•
••
•
•
•
•
••
••
•
••
••
•
•
••
•
• ••
•
•
••
••
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•••
•
•
••
•
•
•
•
••
••
••
•
•••
•
•
•
•
•
•
•
•
•
• •
••
•••
• •
••
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••••
•
•
•
•
••
•
•
•
• ••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
••
•
••
•
•
• • •
•
••
•
•
•
•
•
•
••
•
•
• • •
••
•
•
•
•
•
•
•
•
•
•••
••
• •
•
•
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
••
•
••
••
•
•
•
••
•
•
•
••
•
•
•
•
•
•
••
••
••
•
•
•
•
••
•
•
•
•
•
••
••
••
•
•
••
•
•
•
••
•
•••
•
•
•
•
•
•
•
••
• •
•
••
•
•
• ••
• •
• •••
•
•
• •••
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•• •
••
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
••
••
•••
•
••
•
•
•
••
•
••
•
•
••
• •
•
•
•
•
•
•
•
•
••
•
•
•
• ••
•
•
••
•••
•
•
••
•••
•
•• •
•
•
••
••
••
•
••
•
•
•
• •
•
•
•
•
•• •
••
•
•
•
•• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•••
••
•
•
•
•
•
•
••
•
•
•
•
••
••
•
•
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
••
• •
•
••
•
•
•
•
••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•••••• •
•
•
•• •
•
•
••
•
••
•• •
•
•
•
••
•••
••
•
•
•
•••
•
•
••
•
• •
•
•
•
•
•
••
••
•
••
•
•
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•••
•
•
•
•
•
••
•
••
•
•
•
•••
•
••
••
• •
•
••
•
••
•
•
•
•
••
•
••
•
••
••
••
•
•
•
•
••
•
•
•
•
••
•
•
••
•
•
••
••
•
•
•
•
••
••
•
•
•
•
• •• •
•
•
•
•
•
•
•
•• ••
•
• • •
•••
•
•
•
•
•
••
••
•
• ••
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
••
•
•
••
••
•
•
•
••
•
••
•••
•
•
•
••
•
•
••
•
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
••
•
•
•
•
••••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
• ••
•••
•
•• •
•••
•
••
•
•
•
•
•
•
•
•
•
•
••
••
•
•
• ••
•
•
•
•
•
••
••
•
••
•
•
•
••
•••
•
•
••
•
•
•
••
••
•
•
•
••
•
•
•
••
•
•
••
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
• •
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
••
•
••
•
•
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
• ••
••
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•••
•
•
•
•••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•• •
•••
•
••
•
•
•
•
••
•
•
• •
••
•
••
•
•
•
•
•
•
•
•
•••
•
• ••
• •
• •
•
•
•
•
•
••
•
•
•
•••
•
••
•
•
•
• •
•
•
•
•
•
•
••
•••
•
•
••
•
•
• ••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
• ••
•••
•
••
•
•
•••
••
•
•
•
•
•
• •
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
• •
•
•
•
•
•
•
••
••
••
•
•
••
•
••
••
•
•
•
•
•
•
•
•
•
• •
• •
••
•
•
•
•
•
•
••
•
• ••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
••
•
•
•
•
• •
•
•
•
••
•
•
•
•
•
• •
•
•
•
•
•
••
••
••
•
•
• ••
•
•
•
•
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•••
•
•
••
•
•
• •
•
•
•
•
•
••
••
•
•
•
••
• •
• •
•
••
•
•
••
••
•
••
•
•
•
•
•
•
•
• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
••
•
•
••
••
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
•
•
•
•
•
••
•
•
• •••
••••
••
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •••
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
• ••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
••
••
•
••
•
•
•
•
•
•
•
•
•
•
• •
••
•
• •
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
•
•
•
•
•
•
•
•
•
••
•
•••
•
•
•
•• •
•
••
• ••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
••
• •
••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
• •
•
•
•
• •
••
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
••
•
•
•
• •••
•
•
•
••
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
••
••
••
••
•
•
•
•• ••
••
•
•
•
•
•
••
••
••
•
•
••
•
••
•
•
••
• •
•
••
••
•
•
•
•
••••
•
••
•
••
• •
••
•
•
•
•
•
•
••
•
••
•
•
••
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
••
••
•
••
••
•••
•
•
•
•
•
•
••
•
••
• •
•
•
•
•
•••
•
•
••
•
•
•
••
•
•
••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
••
••
•
••
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
••
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
• •
•
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
••
••
•
•••
•
•
•
•
•
••
•
•• •
•
••
•
•
••
•
•••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•••
•
•
•
• •
•
• •
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
••
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•• •
•
•
•••
• • •
•• •
•
•
•
•
••
••
••
•
•
•
•
••
• •
•
••
•
•
•
••
• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
• •
•
••
•
•
•
•
•
•
•
••
•
••
•
••
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
••
•
••
•
•
•
•
• •
•
•
•
•
•
••
••
••
•
•
••
•
•
•
•
•
•
•
•
•
•• •
•••
•
•
••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
••
••
••
•
•••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
••
•
••
•
••
•
•
•
•
••
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
• •
••
••
•
•
•
•
• •
•
•
••
•
•
•
•
•
••
••
•
•
•
••
•
•
•
•
• •
•
•
•
•
••
•
•
• •
•
•
•
•
•••
• •
••
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
••
••
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
• •
•
•
•
• •
••
•
••
••
•
•
••
•
•
• •
••
•
•
•
•
•
••
•
••
•
•
•
•
• •
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
• •
••
•
••••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••• •
•
•
•
•
•
• ••
••
•
• •
••
•
•
•
•
•
•
•
•
•
•
•
•••
•
• •
•
••
•
•
•
•
•
•
•• •
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
• •
•
•
••
•
•
••
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
••
•
••
••
••
•
•
•
••
•
•
•
••
•• ••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•••
•••
•
•
•
•
•
• ••
••
•
••
•
•
•
•
•
•
•• •
•
•
• •
•
•• •
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•••• •
••
•
•
•
•••
•
•
•
•
•
••
•
••
•
• •
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
• •
•
•
•
•
•
•
••
••
•
••
•
•
•
•
••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
Gaussian
X1
X2
-2 0
2
4
-4-2
02
•
•••
••
•
•
•
••
•
•
••
•
•
••
•
•
••
•••
•
••
• •
• •
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•• ••• •
•
••
•
•
•
•
•
•
•
•
•••
•
•
•
• •
••
•
•
•
•
• •
•
•
•
••
•
•
•
•
•
••
•
•
•
• •
•
••
• ••
•
•
•
•
••
•
•
•
•
••
•
•
•
• •
•
•
•
• ••
•
•••
•
•
•
•
•
•
•
••
•
••
••
••
•
•
•
••• •
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
• ••
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
••
•
••••
•••
••
•
••
•
• ••
•
•
•
•
••
•
••
•
••
•
••
•
•
•
•
••
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•• ••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
••
•••
•
•
•
•
••
•
•
•
••
•
•
•
•
• •
•
•
••
•
•
•
•
••
•
•
•••
•
•
•
•
••
•
•
•
•
• •
•
•
•
••
•
•
•
•
•
•
•• •
•
•
•
••
•
•• ••
•
•
•
•
•
•
•
• •
•
•••
•
•
•
••
• •
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
••
•
•
•
••
•
•
•
•
•
••
•••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• ••
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
••
•
• ••
•
•
•
•
•
•• •
•••
•
••
•
•
••
•• •
•
•
•
•
•
••
••
• •
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
••
••
• •
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•• •
•
••
••
••
•
•
•
•
•
•
•
•
•
•
•
••
• •
••
•
•• ••
•
•
•
•
•
••
•
•
•
•
•• •
•
•••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
• •
•
••
• •
•
• •
•
•
••
••
•
•
•
•
••
••
•
• •
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
••
•
••
• •
•
•
••
•
•
•
•
••
•
•
•
•• ••
•
•
••
•
•
•
••
•
•
•
•
•
•
•
• •
•
•
•
•
•
• •
•
•
•
•
•
•
•
•••
••••
•••
•
•
•
••
••
•
•
•
•
•
•
•
•
• •
••
•
••
••
•
•
• •
•
•
•
• •
•
•
•
•
••
•
•
•
•
••••
••
••
•
•• •
••
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
••
•• •
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
••
•
•
•
••
•
•
•
•
•
•
••
•
•••
•• •
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
••
•
•
•
•
••
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
•
• •••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
••
•
•
• ••
••
• •
•
••
•
••
•
•
•
• •
••
•
•
•
•
•
• •
•
••
•
•
•
•
•
•
• •
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
•
•
•
•
•• •
•
•
••
••
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••••
•
•
• •
••
•
•
••
••
•
•
•
•
•
••
•
•
•
•
•
•
••
•
••
••
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•••
•
•
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
• •
•
•
•
••
•
••
•
•
•
••
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
• •
•
•
•
•
•
•
• •
••
••
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
••
••••
•
•
• • •
•
•
•
••
•
••
•
•
• •
• ••
••
•
•
•
•
•
•
•
••••
•
•
•
•
•
•
• •
•
•
••
•
•
•
•
•
•
•
•
•••
••
•
• •••
•
•
•
•
•
•
•
••
•
•
•
•••
•
•
•
••
•
•
••
••
•
• ••
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
••
••
•
••
•
•
•
•
••
•
•
•
•• •
•
•
•
••
•
••
•
•
•
•
••
•
•
•
••
•
•
• •
•
•
•
•
•
•
••
•
•
•
••
• • •••
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
• •
••
•
•
•
•••
•
••
•
•••
•
•
•• ••• ••
•
•• •
•
• •••
•
•
••
•
••• • •
•
•
•
•
•
•
••
•
•
•
••
•
••
•
••
••
•••
•
•
•
•
••
•
••••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•• •
•
•
••
•
•
•
•
•
•
•
•
•
• •
••
• ••
••
••
• •
•
•
••
•
•
••
•
••
••
•
••
•
•
••
•••
•
•
••
••
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
••
••
•
•
•
•
• •
•
•
•
•
•
•
••
•
•
•
•••
•
• • •
•
•
••
•
•
•
•
••
•
•
••
•
•
•
••
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
••
•
•
•••
•
•
•
•
•
•
••
•• •
•
••
•
•
•
•
••
•
•
••
• ••
••
•
••
•
•
•
•
•
••
•
•
•
••
•
•
•
••
•
•
•
•
••
••
•
•
••
• ••
•
••
••
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•••
•
•
••
•
•
••
•
•
••
••
•
••
•
•
••
•
•••
•
••
•
•
•
•
•
••
••
•
•
•
••
•
•
••
•
•
••
•
••
•
••
•
••
•
•
•
• •
••
•
••
•
•• •
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
••
•• •
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•••
• ••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
••
•
•
• ••
•
•
•
•
•
••
•
•
•
••
•
•
•
••
••
•
••
••
••
•
• •
••
•
•
•••
•
•
•
•
•
•
••
•
•• ••
•
•
•
••
•
•
•
•
•••
•
•
••
•
•
•
••
•
•• •
••
••
•
•
• •
•
•
•
•
•
•
•
••
•
•
•
•
•
••
• •
•
•
•
•
•
•
•
•
• •
•
••
••
•
•
•
•
•
••
•
•
•
••
•
••
•
•
•
••••
•
•
•
•
•
•• •
•
•
•
••
•
••
•••
•
•
••
• •
•
•
•
•
•
•
••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
••
•••
•
••
•
• •
•
•
•
•
•
•
•
•
•
••
•••
•
•••
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
••
•
••
• •
•••
•
••
••
•
• •
•
•
• ••
•
•
•
•
•
•
••
•
•••
••
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
••
•
•
••
•
• •
• •• •
•
•
•
••
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
••
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
••
•
••
•
•
•
•
•
•
•
•
••
••
•
•
••
•
•
•
•
•
••
•
•
•
•
•••
•
•
••
•
•
••
• •
•
••
•••
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•••
•
•
••
•
••
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•• ••
•
•
•
•
•
•
••
•
••
• •
•••
•
••
•
•
••
•
•
•
•
••
•
•
• •
•
•
•
•
•
••
• •
•
• •
••
•
•
•
•••
•
•
•
•
•
•
••
•
••
••••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
• •
••
••
•
••
•
•
••
•
•
•
•
••
•
•
•
•
••
•
••
••
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
• •
•
•
•
• •
•
•
•
•
•
•
• •
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•••
••
•
•
•
•
•
• •
•
•
• •
•
•
••
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•••
• •
•
•
•
•
•
••
•
•
••
•
••
••
• •
•
•
• •••
•
• •
••
•
•
•
•
••
•
•
•
••
•
•• •
••
••
•
•
•
•
•
•
• •
•
••
••
•
•••
•
•
•
•
•
••
•
••
•
••• •
•• •
•
• •
•
•
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
••
••• •
•
•
•
•
•
•••
•
•
•
•
•
•••
•
•
•
•
••
• •
•
•
•
•• ••
•
••
•
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
• •
•
•
• •
•
•
•
•
•
•
•
•
•
••
•
• •
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
• •
••
•
•
•
•
•
•
•
••
•••
•
••
• • •
••
•
•
•
•
•
•
•••
•
•
•
• ••
•
•
•
••
• •
•
•
•
••
•
•
•
••
•
•••
•
•
•• ••
• •
•••
••
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
••
•
••••
•
•
•
•
•
••
•
•
•
•
• •
••
••
•
•
•
•
•
•
•
•
••
••
•
•
•
•
••
•
••
•
•
••
•
•
••
•
•
•
•
•
•
••
•
•
• •
•
••
•
•
•
•
•
•
•
•• •
••• •• •
••
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
••••
•
•
•••
• •
••
••
••
••
•••
••
•
•
•
•
•
•
•
•
• •••
•
••
•
•
•
•
•
•
••
•
•
•
••
••
•
•
••
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•••
•
•
••
•
•
•
•
••
•
•
•
•
•
••••
•
••
•
•••
••
••
•
•••
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•••
•
••
•
• ••
•
••
•
••
•
•
••
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
• •
•
•
•
•
•
•
•••
•
•
•
••
•
•
•
•
••
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
••
•
•
•
•
•
•
•
••
••
••
••
••
••
••
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
••
• •
• •
•
••
•
•
•
•
••
•
•
•
•
•••
•
••
••
•
•
•
• •
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
• •
•
••
••
• •
•••
••
••
••
•• ••
•
•
•
•
••
•
••
•
••
• •
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
••
•
•
••
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•• •
••
•
• •
•
•••
•
• •
•
•
•
•
•
••
•
•
•
•
••
•
•••
•
•••
•
•
•
••
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
••
•
••
••
•
•
•
•••
•
•
••• •
•
••
•
••
•
•
• ••
•
••
•
••
•
••
•
••
• •
•
•
•
•
•
•
•
•
•
•
•
• •
• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
••
•
•
•
•
•
•
••
••
••
•
•
•• •
•
•
•
•••
•
•
•••
•
••
•
•
••
•
•
••
••
•
•
•
•
•••
•
•
•• •
•
•
•
•
•
••
•
•••
••
•
•
•
•••
•
••
•
•
•• ••••
•
•
•
•
•
•
•
•
••
••
• •
•
•
••
•
•
••
••
•
•
•
•
•
••
•
•••
•
•
•
•
• •
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
• •
••
•
• ••
••
•
•
••
••
•
•
•
•
•
••
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•• •
•
•
•••
•
••
• •
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
• •
•••
•
•
•
••
•
•
•
•• ••
•
•
•••
•
•
•
•
•
•
••••
•
•
•
•
••
•
•
•
•
•
•
•
••
••
• •
•
•
••
•
•
••
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
••
•
•
• •
•
••
•
•
••
•
•
••
•
••
••
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
•
••
•
•
•
••
•
•
•
• •
•
•
••
•
•
•
•
•
•
•
• •
•
•
••
•
••
•
•
•
•
•
•
••
•••
•
•
••
•
••
•
••
•••
•
•
•••
•
•
•
••
•
•
•
•
•
•
•
•
••
• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
••
••
•
•
•
•
••
•
• ••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
• ••
•
•
•
•• •
•
•
•
••
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
••
••
••
••
•
•
••
•
•
• • ••
•
•
•
•••
•
••
•
•
••
•
•
•
•
•
••
•
•
•
• •
•
•
••
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
••
••
•
•
•••
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•••
• •
••
•
•
••
•
••
••
•
•
••
••
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
••
•
•
•
••
••
•
•
•
•
•
••
•
•
•
•
••
•
••
••
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•
•
•••
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
••
••
•
•
•••
• ••
•
••
•
•
•
•••
•
•
••
•
•
••
••
• ••
•
•
•• • •
•••
•
•
••
•
•
•
•
•
••
•
• •
••
•
••
•
•
•
•
•
•
••
•••
•
•
••
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•••
•
•
••
•
•
•
•
•
•
•
••
•
•
••
••
•
•
••
•
•• •••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
••
•
•
•
••
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
••
••
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•• •
•
•
••
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
• •
••
•
•
••
•
•
••••
•
•
•
••
•
••
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•••
••
•• •
•
•
•
•
•
••
•••
•
••
•
••
•
••
••
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
• •
••
•
••
• •• •
••
•• •
••
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
••• •
•
•
••
••
•
•
•
•
•
• ••
•
•
•
• •
•
• •
•
• •
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
••
•
• •
•
••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
• •
••
•
•
••
••
••
•
••
•
•
•
•
•
•
•••
••
••
•
• ••
••
•
•
•
••
•
••
•
•
•
•
• •
•
•
••
•
••
••
•
•
•
•• ••
•
•
•
•• •
•
••
•
•
•
•
•
•
• •
•
•
•
•••
•
••
•
••
• ••
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••••
•
•
•
•••
•
•
•
•
•••
•
••
••
•
•
•••
•
•
•
••
•
••
•
•
••
•
••
••
••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•• •
•
•
••
•
•
••
•••
•
•
•
• •••
•
•••
••
•
•
••
•
•••
•
•
••
•
••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
••
• •
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•••
•
••
•
•
•••
••
•• •
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
• •
•
•
•
•
•••
•
•
•
•
••
•••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
••
••
••
•
•• ••
•
••
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
• •
• ••
•
••
•
•
•
• •
•
•
•
•
•
•
•
••
•
•• •
••
• •
•
•
•• •
•
•
••
•
•
•
••
•
•
•
••
•
•
• •
•
•
•
•
•
•
•
•
•
••• •
•
• •
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•••
••
••
•
••
•
•••
•
••
•
•
••
•
•
•
•
••
••
•
••
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
• •
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
••
•
••
•
• •
•
•
••
••
•
•
•
•
•
•
•••
••
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
• • ••
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
•
•
•
•
••
••
•
•
•
•
•
••
•
••
••
•
•
•
•
••
••
•
••
•
•
•
••
•
••
•
•
••
•
•
••
••
•
•
•
•
•
•
•
•
• •
••
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•••
•
•
•
•
••
••
•
••
•
•
•
•
•••
•
•
•
••
••
••
•
•
•
•
•
••
••
•
••
•
•
•••
•
•
•
••• •
•
•
•
•
••
•
••
•
•
••
•
•
•
•
•
•
•
•• •
••
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•••
•
•
••
•
••
••
•
••
•
•
•
•
•
•
•
••
••
•
•
••
•
•
••
•
••
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
• •
•
• ••••
•
•
••
•
•
•
••
••
•
•
•
••
•
••
•••
•
•••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•••
••
•
••
•
•
•
•
• •••
•
•••
•
•
•
•
•
••
•
• •
•
••
•
•
•••
•
••
•
•••
••
•
••
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
••
•• ••••
••
••
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•
••
••
••
•
•
•
•
•
••
•••
•
•
•
•• ••
•
•
•
•
•••
•
•
•
• •
•
•
•
•
• •
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••••
•
••
•
••
•
•
••
••
•
•
••
•
••
•
•
•
•
•
•
•• ••
•
•
•••
•
•
•
•
•
•
•••
•
•
•••
•
•
•
•
•
••
•
••
•
•
•
••
•
•
••
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
••
•
•
••
•••
•
••
•
•
•
•
••
••
•••
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
••
••
•
•
•
••
•
•
•
•
••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
••••
•
•••
•
••
•
•
••
•
•
•
••
•
••
•
••
•
•••
••
•
•
•
• •• •
• •
••
•
•
••
••
•
••
•
•
•
•
•
•••
••
•
•
• •
•
•
•
•
•
••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•••
•
•
•
•
••
•
•
•
••
•
•
•
• •
•
•
•
•
•
•
•
•
•• •
•••
•
••
••••
•
•• •
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•• •
•
•
•
•
••
•
•
•
••
•
•
•
••
••
•
•
•
•
•
•
••
•
•
•
•
• •
•
•
••
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
• •
•
••
• ••
•
••
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
••
• •
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
••
••
•
•
•
•
•
••
••
•
•
• •
•
••
••
•
•
•••
•
•
•
•
••
•
•• •
•
•
•
•
•
•••
•
•
•
•
•
•
•
••
•
•••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
•• •
•
••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
••
•
•
•
• •
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
••
•
•
••
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
• ••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
••
•
•
•
•• •
••
••
••
•
•
••
•
•
•
•••
•
••
•
•
•
•
•
•
••
•
•
•
• ••
•
•
•
•• ••
•
•
• •
•
•
••
•
•
•
•
• •
•
••
•
•
• • ••
•
••
•
•
•
•
•
•• •
•
• •
••
•
•
•
•
• •
•
•
• • •
•
•
•
•
•
•
•••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
••
••
•
•
••
•
•
••
•
•
•••
•
•
•
•
•
••
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
••
•
•
•
•
•
••
••
•
•
•
•
••
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
• •
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
• •
•
••
•
•
•
•
•
••
•
•
•
••
•• •
•
•
••
•
•
•
••
•
••
• • •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• •
•
•
•
••
•
••
•
•
•
•
• •
•
•
•
••
•
•
•
•
•
•
•
••
••
•
•
•
•• •••
•
••
••
••
•
•
••
•
• ••
•
••
•
••
••
•
••
•
••
•
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
••
•
• •
• •
•
•
•
••
•
•••
• •
•
•
••
•
•
•
••
• ••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•••
•
•
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
•
•
•
••
•
••
•
••
• •
•
•
•
•
••
••
•
••
••
•
•
•
•
• •
•
•
•
•
•••
• •••
•••
•
•
••
•
•••
• ••
•• •
•
•
•
•
••
••
•••
•
••
••
•
•
•
•••
•
••
•
•
•
•
•
•
•
•
•
••
••
• •
•
••
•
•
••• ••
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
••
•
•
• •
•
•
••
•
•
•
•
••
•• •
••
•
•
••
•
•
••
•
•
•
•
••
•••
•
•
•
•
•
•
•
•
•
• ••
•
•
•
• •
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
••
•
••
•
•
••
•
••
•
•
•
•
••
•
•
•
•
•
•
•••
•
•
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
••
••
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
••
•
•
•
•
•
••
•
••
•
•
••
•••
•
•
•
••
•
•
•
•
•
••
•
•
••
••
•
•
•• •
•
•
•
•
•
•
•
•
••
• •
•
•••
•
••
•
•
•
••
•
•
•
••
••
••
•
••
•
••
•
•
•
•
•
•
•
••
•
•
•
••
•
••
•
•
•
•
•
••
•
••
•• •
••
•
•
•
•
• ••
••
••
••
••
••
•
•
•
••
•
•
•
••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
• •
•
•
•
•
•
•
•
•
••
••
•••
•
•
• •
•
••
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
••
••
•••
•
•
••
••••
•
•
• ••
•
•
•
•
•
••
•
•
••
•
••
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
• ••
•
•
••
•
••
•
•
• ••
•
•
•
•
•• •
•••
•
•
•
•
•
••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
• •
•
•
•
•
• •
•
•••
•
•
•••
•
•
•
•
•
••
• ••
•
••
•
•
• •
•
•
•
•
•
•
••
••
•
••
•
• •
•
•
•
•
•
••
•• •
••
•
•
••
•
•
•
•
•
••
•
•
•
••
•
••
••
•
•
•
••
• •
••
•
•
•
•
•
••
••
••
•
•••
••••
•
•
• •
• •
•
••
•
•
•
•
•
••
•
•
•••
•
•
•
•
••
•
•
•••
•
•
•
••
•
•
•
•
••
•
•
•
• •
•
•
•
•
••
•
•
•••
••
•
•
•
••
•
•
• •
•
•
•
•
•
•
•
•
•
•
••
••
••
•
••
•
••
• •
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
••
••
•
•
•
•
••
•
•
•
••
•• •
•
•
•
••
••
•
•
•
•
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
••
•
••
•
••
•
•
•
••
•
•
•
•
•
•
• ••
•
•
•
••
•
••
•
•
••
•
•
•
••
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
••
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•••
•
••
••
•
•
•• ••
•
•
•
••
•• •
•
• •
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•••
•
•
•
•
•
•
•
•
•
•
• •
••
••
••
•
•
•
••
•
••
•
•
•
••
•
•
•
••
•
•
•
•
• ••
•
•• •
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•
• ••
•
•
•
• ••
•
•
•• •
•
•
•
•
•
•
•
•
•
• ••
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
••
•
•
•
••
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
••
••••
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
••
•
••
••
•
•
• ••
•
•
••
•
•
•
•
•
•
•
•
••
•
•
••
•
•
••
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
••
•
•••
•
••
•
••
••
•
• •
•
•
• •
•
•
•
•
•
• ••
•
••••
•
•
•
• •••
••
•
•
•
•
••
• •
•
•
••
••
•
•
•
••
•
•
•
••
•
•
•
•
••
•
•• •
•
•
•
•
•
• •
•
•
•
• •
•
• ••
••
•
•
•
••
••
•
••
••
•
••• •
•
•••
•
•
••
•
•
•
•
•
• •
••
• •
•
•
•
•
•
•
••
••
••
•
•
•
•
•
•
•••
•
•
•
•
•
•
• ••
••
••
•
••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•• •
•
•
••
•
••
• •
•
•
•
•
• •
•
•
•
•
••
••
•
•
•
•
•
•
••
•
••
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
••
•
•
• •
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
• •
••
•
••
••• •
•
•
••
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
• •
•
•
••
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
•
••
•
••
•
•
•
••
•
•
•
• •
•••
•
••
••
••
•
•••
•
••
•
•
•
•
••
••
•
•
•••••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
• •
•
•
••
• •
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
• •
•
•• • ••
•
••
•
•
•
••
• ••
•
•
••
•
•
•
•
••
•
•
••
•
••
•
•
•
•
••
•
•
•• •
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
••
•
•
•
•
••
•
•
••
••
•
•
•••
••• •
•
••
••
•
•
••
••
• •
•
•
•
•
•
••
•
••
•
•
•
• ••
•
•
•
• •
•
•
•
•
•
•••
•
•
•• •
•
••
•
•
•
•
•
••
•
•
•
•
• •
•
•
•
•
•
• •
•
•
•
•
•
••••
•
•
••
••
••
•••
•
•
•
•
•
•
•
••
•
••
••
•
•
•
•
•
•
•
• •
•
•
• •
•
•
••
••
•
• •
•••
•
••
•••
•
•
•
•
•
•
•
••
•
•
•
•••
• ••
•
••
••
•
••
•
•
••
••
••
•
•
•
•••
•
•
•
•
•
• ••
•
•
•
• •
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•••
•
Gumbel
X1
X2-4 -2 0
2
4
-4-2
02
4Margins are standard normal; correlation is 70%.
c©2004 (Frey & McNeil) 17
Introduction to EVT - Applications to QRM 70
III - Dependence Copulas Marie Kratz, ESSEC CREAR
Def. A copula is a multivariate distribution functionC : [0, 1]d → [0, 1] with standard uniform margins (or a distributionwith such a df), i.e. C(1, · · · , 1, ui, 1, · · · , 1) = ui, ∀i ∈ 1, ..., d,ui ∈ [0, 1].
Arthur CHARPENTIER - Extremes and correlation in risk management
0.20.4
0.60.8
u_10.2
0.4
0.6
0.8
u_2
00.
20.
40.
60.
81
Fre
chet
low
er b
ound
0.20.4
0.60.8
u_10.2
0.4
0.6
0.8
u_2
00.
20.
40.
60.
81
Inde
pend
ence
cop
ula
0.20.4
0.60.8
u_10.2
0.4
0.6
0.8
u_2
00.
20.
40.
60.
81
Fre
chet
upp
er b
ound
Fréchet Lower Bound
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
Independent copula
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
Fréchet Upper Bound
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
Scatterplot, Lower Fréchet!Hoeffding bound
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
Scatterplot, Indepedent copula random generation
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
Scatterplot, Upper Fréchet!Hoeffding bound
Fig. 5 – Contercomontonce, independent, and comonotone copulas.
21
Introduction to EVT - Applications to QRM 71
III - Dependence Copulas Marie Kratz, ESSEC CREAR
Frechet-Hoeffding bounds:
max( d∑
i=1
ui + 1− d ; 0)≤ C(u) ≤ min
1≤i≤dui = P[U ≤ u1, · · · , U ≤ ud]
where U is uniformly distributed on [0,1]. (Recall that
−1 ≤ ρ(X,Y ) ≤ 1.)
Remark: Cu(u) := min1≤i≤d ui is a copula for any d, but
Cl(u) := max(∑d
i=1 ui + 1− d ; 0)
is a copula for d = 2, but not for
all d > 2.
Introduction to EVT - Applications to QRM 72
III - Dependence Copulas Marie Kratz, ESSEC CREAR
TheoremSklar’s theoremLet F be a joint cdf with margins (Fi, i = 1, · · · , d). There existsa copula C such that
F (x1, · · · , xd) = C(F1(x1), · · · , Fd(xd)), ∀xi ∈ R, i = 1, · · · , d.
If the margins are continuous then C is unique.Conversely, if C is a copula and (Fi, 1 ≤ i ≤ d) are univariate d.f.,then F defined above is a multivariate df with margins F1, · · · , Fd.
(Proof as an exercise.)
Sklar’s theorem shows how a unique copula C fully describes thedependence of X, so we can provide a further definition:
Definition:The copula of (X1, · · · , Xd) (or F ) is the cdf C of(F1(X1), · · · , Fd(Xd)).We sometimes refer to C as the dependence structure of F .
Introduction to EVT - Applications to QRM 73
III - Dependence Copulas Marie Kratz, ESSEC CREAR
TheoremSklar - dim d = 2Let F be a joint cdf with margins (F1, F2). The copula Cassociated to F can be written as
C(u1, u2) = C(F1(x1), F2(x2))
C(u1, u2) = F (x1, x2)
C(u1, u2) = F (F−11 (u1), F−1
2 (u2))
If the margins are continuous then C is unique.
Property of Invariance: C is invariant under strictly increasingtransformations of the marginals. If T1, · · · , Td are strictlyincreasing, then (T1(X1), · · · , Td(Xd)) has the same copula as(X1, · · · , Xd).
Introduction to EVT - Applications to QRM 74
III - Dependence Copulas Marie Kratz, ESSEC CREAR
Definition: the density function c of a copula C is defined by
c(u1, · · · , ud) =∂dC(u1, · · · , ud)∂u1 · · · ∂ud
.
The density function of a bivariate distribution can be written interms of the density function c of the associated copula and interms of the density functions f1 and f2 of the margins:
f(x1, x2) = c(F1(x1), F2(x2)
)f1(x1)f2(x2).
Application: the product copula characterize the independencebetween two r.v.(exercise: check this property).
Exercise: Let F the Gumbel cdf defined by
F (x, y) =(
1 + e−x + e−y)−1
.
What is the copula associated to F? (use Sklar th).
Introduction to EVT - Applications to QRM 75
III - Dependence Copulas Marie Kratz, ESSEC CREAR
Examples of copulas Examples of copulas
• Independence
X1, . . . , Xd are mutually independent ⇐⇒ their copula C satisfies
C(u1, . . . , ud) =∏d
i=1 ui.
• Comonotonicity - perfect dependence
Xia.s.= Ti(X1), Ti strictly increasing, i = 2, . . . , d, ⇐⇒ C satisfies
C(u1, . . . , ud) = minu1, . . . , ud.
• Countermonotonicity - perfect negative dependence (d=2)
X2a.s.= T (X1), T strictly decreasing, ⇐⇒ C satisfies
C(u1, u2) = maxu1 + u2 − 1, 0.
c©2004 (Frey & McNeil) 7
Introduction to EVT - Applications to QRM 76
III - Dependence Copulas Marie Kratz, ESSEC CREARArthur CHARPENTIER - Extremes and correlation in risk management
0.2
0.40.6
0.8
u_10.2
0.4
0.6
0.8
u_2
00.
20.
40.
60.
81
Frec
het l
ower
bou
nd
0.2
0.4
0.6
0.8
u_10.2
0.4
0.6
0.8
u_2
00.
20.
40.
60.
81
Inde
pend
ence
cop
ula
0.2
0.40.6
0.8
u_10.2
0.4
0.6
0.8
u_2
00.
20.
40.
60.
81
Frec
het u
pper
bou
nd
Fréchet Lower Bound
0.0 0.2 0.4 0.6 0.8 1.0
0.00.2
0.40.6
0.81.0
Independent copula
0.0 0.2 0.4 0.6 0.8 1.0
0.00.2
0.40.6
0.81.0
Fréchet Upper Bound
0.0 0.2 0.4 0.6 0.8 1.0
0.00.2
0.40.6
0.81.0
0.0 0.2 0.4 0.6 0.8 1.0
0.00.2
0.40.6
0.81.0
Scatterplot, Lower Fréchet!Hoeffding bound
0.0 0.2 0.4 0.6 0.8 1.0
0.00.2
0.40.6
0.81.0
Scatterplot, Indepedent copula random generation
0.0 0.2 0.4 0.6 0.8 1.0
0.00.2
0.40.6
0.81.0
Scatterplot, Upper Fréchet!Hoeffding bound
Fig. 5 – Contercomontonce, independent, and comonotone copulas.
21
Countermonotone, independent, and comonotone copulas
Introduction to EVT - Applications to QRM 77
III - Dependence Copulas Marie Kratz, ESSEC CREAR
• Elliptical or normal mixture copulas
ex: Gaussian copula (often used in financial modeling), Student-tcopula , when d = 2:
Arthur CHARPENTIER - Extremes and correlation in risk management
Elliptical (Gaussian and t) copulas
The idea is to extend the multivariate probit model, X = (X1, . . . , Xd) with
marginal B(pi) distributions, modeled as Yi = 1(X?i ≤ ui), where X? ∼ N (I,Σ).
• The Gaussian copula, with parameter α ∈ (−1, 1),
C(u, v) =1
2π√
1− α2
∫ Φ−1(u)
−∞
∫ Φ−1(v)
−∞exp
−(x2 − 2αxy + y2)
2(1− α2)
dxdy.
Analogously the t-copula is the distribution of (T (X), T (Y )) where T is the t-cdf,
and where (X,Y ) has a joint t-distribution.
• The Student t-copula with parameter α ∈ (−1, 1) and ν ≥ 2,
C(u, v) =1
2π√
1− α2
∫ t−1ν (u)
−∞
∫ t−1ν (v)
−∞
(1 +
x2 − 2αxy + y2
2(1− α2)
)−((ν+2)/2)
dxdy.
22
Introduction to EVT - Applications to QRM 78
III - Dependence Copulas Marie Kratz, ESSEC CREAR
• Archimedean copulas
Gumbel copula (when d = 2):
CGuβ (u1, u2) = exp−((− log u1)β + (− log u2)β
)1/β, β ≥ 1.
β = 1: independence; β →∞: comonotonicity
Clayton copula (when d = 2):
CClβ (u1, u2) =(u−β1 + u−β2 − 1
)−1/β, with β > 0.
β 0: independence; β →∞: comonotonicity
Definition. An Archimedean copula C is defined by
C(u1, . . . , ud) = ψ−1(ψ(u1) + · · ·+ ψ(ud)
)
with ψ :]0, 1]→ [0,∞) continuous, strictly decreasing, convex,ψ(1) = 0 and lim
t→0ψ(t) = +∞. (Set ψ−1(t) = 0 if ψ(0) ≤ t ≤ +∞).
ψ is named the strict generator of C. These copulas areexchangeable (invariant under permutations).
Introduction to EVT - Applications to QRM 79
III - Dependence Copulas Marie Kratz, ESSEC CREAR
• Extreme value copulas
Arthur CHARPENTIER - Extremes and correlation in risk management
Extreme value copulas
• Extreme value copulas
C(u, v) = exp
[(log u+ log v)A
(log u
log u+ log v
)],
where A is a dependence function, convex on [0, 1] with A(0) = A(1) = 1, et
max1− ω, ω ≤ A (ω) ≤ 1 for all ω ∈ [0, 1] .
An alternative definition is the following : C is an extreme value copula if for all
z > 0,
C(u1, . . . , ud) = C(u1/z1 , . . . , u
1/zd )z.
Those copula are then called max-stable : define the maximum componentwise of
a sample X1, . . . ,Xn, i.e. Mi = maxXi,1, . . . , Xi,n.Remark more difficult to characterize when d ≥ 3.
26
Introduction to EVT - Applications to QRM 80
III - Dependence Copulas Marie Kratz, ESSEC CREAR
Different copulas: different dependencesRanked Scatter plots with Kendall’s tau (rank correlation) = 0.5
Economy of Risk in InsuranceMichel M. DacorognaMoF, ZH, Sept - Dec 2016
Different Copulas Î Different Dependences
21
Clayton Clayton-M
Gumbel GaussStudent v=1
Scatter plots with ρτ=0.5 (Kendall’s tau)DEAR - ConsultingNext slide: Same margins and playing with the parameters of the copulas...
Introduction to EVT - Applications to QRM 81
III - Dependence Copulas Marie Kratz, ESSEC CREAR
Gaussian copula with ρ = 0, 30, 60, 90 % from left to right
Economy of Risk in InsuranceMichel M. DacorognaMoF, ZH, Sept - Dec 2016
Elliptical Copula: Rank Correlation
The multivariate Normal distribution copula has a matrix as a parameter. The PDF of a Normal copula is:
𝐶𝑅𝑁𝑜𝑟𝑚𝑎𝑙 𝑢1,… , 𝑢𝑛 =1
|𝑅|12∙ exp −
12 𝑆
𝑇 ∙ 𝑅−1 − 𝕀 ∙ 𝑆
Where 𝑆𝑗 = Φ−1 𝑢𝑗 , Φ−1 is the inverse of the CDF of the standard Normal, 𝒩 0,1 , and 𝕀 is the identity matrix of size 𝑛 and 𝑅 is the rank correlation matrix
The rank correlation is an elliptical copula18
m1 m2m1 1 0m2 0 1
m1 m2m1 1 0.3m2 0.3 1
m1 m2m1 1 0.6m2 0.6 1
m1 m2m1 1 0.9m2 0.9 1
DEAR - Consulting
Student t3 copula with ρ = 0, 30, 60, 90 % from left to right
Economy of Risk in InsuranceMichel M. DacorognaMoF, ZH, Sept - Dec 2016
Elliptical Copula: Student’s T
The multivariate Student’s T distribution copula also has a matrix as a parameter. The PDF of a Student’s T copula is:
𝐶𝑅,𝜈𝑆𝑡𝑢𝑑𝑒𝑛𝑡 𝑢1,… , 𝑢𝑛 =1
|𝑅|12⋅Γ 𝜈 + 𝑛
2Γ 𝜈
2∙
Γ 𝜈2
Γ 𝜈 + 12
∙1 + 1
𝜈 ∙ 𝑆𝑇 ∙ 𝑅−1 ∙ 𝑆
ς𝑖=1𝑛 1 + 𝑆𝑖2
𝜈
where 𝑆𝑖 = 𝑇𝜈−1 𝑢𝑖 , 𝑇𝜈−1 is the inverse of the CDF of the univariate Student-t distribution with 𝜈 degrees of freedom
19
𝑛 𝜈 + 𝑛2
𝜈 + 12
m1 m2m1 1 0m2 0 1
m1 m2m1 1 0.3m2 0.3 1
m1 m2m1 1 0.6m2 0.6 1
m1 m2m1 1 0.9m2 0.9 1
n=3
Effects of matrix parameter changes:
DEAR - Consulting
Gumbel copula with θ = 1, 1.5, 2, 3 from left to right
Economy of Risk in InsuranceMichel M. DacorognaMoF, ZH, Sept - Dec 2016
Archimedean Copula: Gumbel Copula
The Gumbel Copula CDF is defined by (𝜃 ∈ 1,∞ ) :𝐶 𝑢, 𝑣 = exp −[(−ln 𝑢)𝜃 + (−ln 𝑣)𝜃]1/𝜃
Where the Generator of the Copula is given by:Φ𝜃 𝑡 = (−ln 𝑡)𝜃
The Gumbel Copula is Archimedean
17
θ = 1.0 θ = 1.5 θ = 2.0 θ = 3.0
0%
5%
10%
15%
20%
25%
30%
35%
40%
1.0 1.5 2.0 3.0
Theta Parameter
Dive
rsific
ation
Ben
efits
DEAR - Consulting
Survival (Mirror) Clayton copula with θ = 0.1, 0.5, 1, 2 from left to right
Economy of Risk in InsuranceMichel M. DacorognaMoF, ZH, Sept - Dec 2016
Archimedean Copula: Clayton Copula
The Clayton Copula CDF is defined by (𝜃 ∈ −1,∞ ) ∖ 0 ):
𝐶 𝑢, 𝑣 = max [𝑢−𝜃 + 𝑣−𝜃 − 1]−1/𝜃, 0
Where the Generator of the Copula is given by:
Φ𝜃 𝑡 =1𝜃 𝑡−𝜃 − 1
The Clayton Copula is Archimedean
15
0%
5%
10%
15%
20%
25%
30%
35%
0.1 0.5 1.0 2.0
Theta Parameter
Div
ersi
ficat
ion
Bene
fits
θ = 0.1 θ = 0.5 θ = 1.0 θ = 2.0
DEAR - Consulting
Introduction to EVT - Applications to QRM 82
III - Dependence Other types of dependence: rank correlation Marie Kratz, ESSEC CREAR
Rank correlationLet C denote a copula of X1 and X2 with parameter ρ.
Spearman’s rho ρS
ρS(X1, X2) = ρ(F1(X1), F2(X2)) = ρ(copula)
and also
ρS(X1, X2) = 12
∫ 1
0
∫ 1
0
(C(u1, u2)− u1u2
)du1du2.
Kendall’s tau ρτ
ρτ (X1, X2) = 2P[(X1 − X1)(X2 − X2) > 0
]− 1
with (X1, X2) an independent copy of (X1, X2), and also
ρτ (X1, X2) = 4
∫ 1
0
∫ 1
0C(u1, u2)dC(u1, u2)− 1.
Introduction to EVT - Applications to QRM 83
III - Dependence Other types of dependence: rank correlation Marie Kratz, ESSEC CREAR
Properties of Rank Correlation, NOT shared by Linear Correlation.We enunciate them for Spearman’s rho ρS , but true also forKendall’s tau ρτ .
1 ρS depends only on copula of (X1, X2)′;
2 ρS is invariant under strictly increasing transformations of ther.v.’s;
3 ρS(X1, X2) = 1 ⇔ X1, X2 comonotonic;
4 ρS(X1, X2) = −1 ⇔ X1, X2 countermonotonic.
Introduction to EVT - Applications to QRM 84
III - Dependence Other types of dependence: rank correlation Marie Kratz, ESSEC CREAR
Kendall’s Tau in Elliptical ModelsSuppose X = (X1, X2)′ has any elliptical distribution (e.g. X hasa Student distribution t2(ν, µ,Γ)). Then
ρτ (X1, X2) =2
πarcsin
(ρ(X1, X2)
).
Remarks:
1 if Xi has infinite variance, then ρ(X1, X2) can be interpreted
asΓ1,2√
Γ1,1Γ2,2;
2 An estimator of ρτ is given by
ρτ (X1, X2) =1
C2n
∑
1≤i<j≤nsgn[(Xi,1 −Xj,1)(Xi,2 −Xj,2)
].
Introduction to EVT - Applications to QRM 85
III - Dependence Other types of dependence: Tail or Extremal dependence Marie Kratz, ESSEC CREAR
Tail dependence or Extremal dependenceObjective: measure dependence in joint tail of bivariate distribution.
Coefficient of upper tail dependenceWhen limit exists, it is defined as
λu(X1, X2) = limα→1
P[X2 > V aRα(X2)|X1 > V aRα(X1)
]
and as function of the copula,
λu(X1, X2) = limα→1
C(α, α)
1− α = limα→1
1− 2α+ C(α, α)
1− α .
coefficient of lower tail dependenceWhen limit exists, it is defined as
λl(X1, X2) = limα→0
PX2 ≤ V aRα(X2) | X1 ≤ V aRα(X1)]
and as function of the copula,
λl(X1, X2) = limα→0
C(α, α)
α.
Introduction to EVT - Applications to QRM 86
III - Dependence Other types of dependence: Tail or Extremal dependence Marie Kratz, ESSEC CREAR
Properties and terminology
1 λu ∈ [0, 1] and λl ∈ [0, 1] ;2 For elliptical copulas, λu = λl := λ. True of all copulas with
radial symmetry, i.e. s.t. (U1, U2) =d (1− U1, 1− U2);3 λu ∈ (0, 1]: upper tail dependence and λl ∈ (0, 1]: lower tail
dependence;4 λu = 0: asymptotic independence in upper tail and λl = 0:
asymptotic independence in lower tail.
Examples
1 Gaussian copula: asymptotically independent for |ρ| < 1;2 t-copula: tail dependent when ρ > −1;
λ = 2tν+1
(√1 + ν
√1−ρ1+ρ
)
3 Gumbel copula: upper tail dependent for β > 1; λu = 2− 21/β ;4 Clayton copula: lower tail dependent for β > 0; λl = 2−1/β .
Introduction to EVT - Applications to QRM 87
III - Dependence Tail dependence: an example Marie Kratz, ESSEC CREAR
Gaussian and t3 Copulas Compared
•
•
•
•
•
•••
•
•
•
••
•
•
•
•
•
••
•
••
•• •
••
•
•
••
••
•
•
•
•
•
•
•
•
• •
•
•••
••
•
••
•
••
•••
•
•
•
•
•
•
•
•
• •
•
••
•
•
••
•
•
•
••
••
•
•
•
••
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•• •
••
•
•
•
•
•
•
•
•
• ••
•
•
•
•
•
••
••
•
••
•
••
•
••
•
•
•
•••• •
•
•
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
••
•
• ••
•
•
•
•
•
•
•
•
•
•
•• ••
•
•
•
•
•
•
•
••
•
•
•
•
••
•
••
•
••
•
••
•
••
•
•
•••
•
••
•
•
•
•
•
• ••
••
•
•
•
•
•
• ••
•
•
•
•
•• •
•
•
••
•••
•
•
•
•
•
• •
•
••
•
••
••
•
•
• •
•
•
•
•
•
•••
••
•
•
•
•
•
•
•
••
• •
• ••
•• ••
•••
•
••
••
•
•
•
•
•
• •
•
••
•• •
•
•••
•
••
•
•
••••
•
••
••
•
••
•
••
•
••
• •
•
•
•
•
••
••
•
•
•
•
•
•
••
•
•
•
••
••
•
• •
•
•
•
•
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
•••
••••
•
•
••
•
•
••
•
••• •
••
••••••
•
•
• •
•
• ••
•
•
••
••
••
•
•
•
•
• ••
•
•• •
•
••••
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•••
•
•
•••
•
•
•••
•
•
••
•
•
••
•
•
•
•
•
•
• ••
•
•
••
• •
•
•••
•••
•
•
•
••
•
•• •
•
•
•
•• •
••
•••
•
••
•
•
•
•
•
•
•
••
••
•
•
••
•
•
•
••
•
•
• •
•
••
•
••
•
•
•• •
•
•
••
•• •
•
•
••
•
••
•
•
• ••
•
•
•
••
•
•
••
••• •
•
•
•
•
•
•
••
••
•
•
•
•
•
•
••
•
•
•
•
•••
•
•
•
•
•• •
••
•
••
•
•
••
•
••
•
•
•
•••
•
•
•
•
• • ••• •
•
••
••
•
•
•
•
•
••
••
•
•
•
•
•
• •
•
•
•
•
•
•
•
•••
•
••
•
•
••
••
••
•
•••• •••
•
••
•••
•
•
••
••
•
•
•
••• •
••
••
••
•
•
•
••
•
•
•
••
•
••
•
•
•
•
•••
••
•
•• ••••
•
•
•
••
•
•
•
••
•
•
••
•••
•
••
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
• ••
•
•
•
•
•
•
••
•
•••
•
•
•
•
••
•
•
•
•
•
• •
•••
•
•
•• ••
•••
• •
•
•••
••••
• ••
•
•
•••
•
•••
•
•
•
•
•
••
•
•
•
••
•
•
•
•
••
• •
••
•
•
•••
•
•
••
•
• •••
•
•
•
•
• ••
•
•
•
• •
•
•
••
•
•
•
•
•
• •••
••
••
••
•
•
•
•
•
•• •
•
••
•
•
•
• •
••
•
•
•
••
• •
••
••
••
•
•
•
••
•
•
•
•
•
•
•• ••
••
•
•
•
••
•
••
•
••
•
•
••
•
•
••
•
•
••
•••
••
•
•
•
•
•
••
•
•
••
•
••
••
•••• •
•
•• •
•
•
••
••
•
•
••
•
•
•• • •••
•
•
•
•
•
•
•
• •
••
•
••
•
•
•
•
•
•
•
•
••
•
••
•
•• •
•
••
••
•
•
•
•
••
•
••
•
•
•
••
•••
••
••
••
•
•
••
•
•
•
•••
•
•
•
•
•
•
•
•••
••
•
•
••
••
•
•
•
•
•
•
•
•
•
••
•
•
•••
•
• •
•
•
•
••
•
•
• ••
••
•
•
•
••
••
•
••
•
•
•
•
••
••
•
•
•
• •
•
•
••
••
•
•
•
• •
•
•
•
• •
•
• •
•
••
•
•
•
•
•
•
•••
•• •
••
• •
• •
•
••
••
• ••
•
•
•
••• ••
•
•
•
•
•
•
•
•
•
•
•
• •
•
••
•
•
••
••
•
•
•• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
••
••
•
• ••
•
•
•
••
•
•
•• ••
• •
••
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
••
•
•
•
•
••
•••
•
•
• •
••
••••
•
•• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
••
•• •
•
• ••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
••
•
• •
••
•
•
•
••
•
•
•
••
••••
•
•
•
•
• ••
•
•
• •••
•••
•
••
•
••
•••
•
••
•
•
•
•
•
•
•
••
••
•
•
••
•
•
••
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•••
•
••• •
•
•
•
•
••
•
•
•
••
••
•
•
••
•
•
•
•
•
••
••
•
••
••
•
•• •
•
•
••
••• • •
•
•
•
••
••
•• •
•
•
•
•
• •
•
•
•
••
•
••
••
••
•
•
•
•
••
••
•
•
•
•
•
•
•
••
•
••
•
••
••
•
•
•
•
•
•
•
•
• •
••
•
••
••
•
••
•
•
•
•
••
••
••
•
•
•
•
•
••
••
•
•
••
•
•
• •
•
••
•
•
•••
•
•
•
•
•
•
• ••
•
•
•••
••
•• •
•
•
•
• •
•
••••
• •
•
••
•
••
••
•
•• •
•
••
•
•
•••
•••
• •••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
••
•
••
••
•
•
• •
•
•• ••
•
•
•
• ••
•
••
•
•
•
••
• ••
•
•
•
••
• •
••
••
••
•
•
•
•
•
•
••
•
•
•
••
• •
••
•
• •
•
•
••
•
•
•
••
•
•
• •
•
••
•
•
•
•
••
•
••
•
•
•
•••••
•
•
•
••
•
•
•
••
• ••
•
•
••
•• •
•
•
••
•••
•
•
•
•
•
•••
•
••
•
•
•
•
• •••
••
•
•
•
•
• ••
•••
•
•
•
•••
•
•
•
•
•
•••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
••
•
•
••
••
••
•
••
•
•
•
••
•
•
••
•••
••
•
•
•••
•
•
•
•
••
•
• •
•
•
•
••
•• •
•
•
•
•
•
••
•
•
• •
•
•
••
•
•
•
•••
•
•
•
•
•
•
••
•
•
•
•
•
•••
•
•
•
•
••
••
•
•
••
•
•
•
•
•
•
•
•• •
•
•
••
•
•
••
••
•
•
• •
•
• •••
•
•
••• •
•
••
••
•••
•••• •
• •
••
••
•
•
•
•
•
••
•
••
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•• •
••
• •••
••
•
•
•
•
•••
•••
••
•
••
•
•
•••
•
•
••
•
•
••
••
••
••
•
• ••
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
••
•
•
••
•
•••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
••
••
•
•
••
••
• ••
••
•
•
••
••
•
•
•
••
•
•
•
•
•
•
••
•• •
••
•
•••
•
•
•
•
•
•••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
••
••
•
•••
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
••• •
•
•
••
•
•
•••
•
• •
•
•
••
•
•
••
•
•
••
••••
•
••
•
•
•
••
•
•
•
•
••
•••
••
•
••
•
•
•
•
•• •
•
••
•
•
••
•
•
•
••
• ••
•
•
•
••
••
•
••
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
•
••• •
•
••
•
••
••
•
•
•
•
•
•
•
• ••
•
••
•
•
• •••
•
•
•
•
•
•••
••
•
•• •••
• • ••
••
•
•
•
•
•
•
••
•
•
••••
•
••
•
•
•
•
•
•
•
••
•
•
•
•
• •• •
•
•
•
•
••
•
•
•
• •
•
•
••
• ••
•
•
•
•
•
• ••
••
•
•
•
•
• •
•
•
•
•
••
•
•••
• •
••
•
•
••
•
•
•
•••
•
•
••
••
••
••
•
• ••
• • •
•
•
•
•
•
••
•
• •
•
•
•
•
•
•
•• •
••
•
•
•
•
•
•
••
•
•
••
••
•
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
••
•
•
••
•
•
••
•
••
•
• •
•
•
••
••
••
•
•
••
•
••
• •
•• •
••
•
•
••
•
•
•
•
•••
•
•
•
•
•
••
•
••
•
•
• ••
• ••
•
••
•
• •
•
•
••
••
•
••
•
•
•
••
•
••
•
••
•
•
••
•
•
•
•
•
••
••
•
•• •
••
•
•••
•
••
•
•
•
•
•
•
••
•
•
• •
•
• •
•
•
••
••
•
• •
•
• ••
•
•
• •
•
•
•
•
•
•
•
•
•
•• •
• ••
• •
•
•
•
•
•
••
•
•
•
•••
•
•• •
••
•
•
•
•
•
•
•
•
•
•••
•
•••
•
•
• •••
•• •
•
•
••
•
•
•
•
•
•
•
•
•
•
• ••
•
••
•
• •••
•
•
•
•
•
••
•
•• •
•
••
•
•
•
••
••
•
•
•
••
••
•
•
•••
•
•
••
•
• ••
•
•
•
••
••
• •
•
•
• •
••
•
•
••
•
•
•
•
• ••
•
•
••
•
••
••
••
••
•••
•
•
••
••
•
••
•
••
•
•
•
•
••
•
•
•
••
••
•
••
•
••
•
•
••
•
••
••
•
•
•
••••
••
•
•
•
•
•
• ••
••
•
••
• ••
••
• •
•• •
•
•• ••
•
••
•••
•
•
•
•
•••
•
•
• ••
•
••
•
••
• •
•
••
•
•
•
•
• •
••
••
•••
•
•
••
••
•
•
••
•
•
••
•
•
•
••
•
•
••
•
••
• •
•
•
•
•
•
•
•
•
•
••
•
••
••
•
•
•
•
•
••••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
••
•
•
••
•
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
• ••
•
•
••• •
•
•
•
•
•
•
•••
•
•
•
•
•
••
• •••
•
•
•
•
•
••
•
•
•
•
••
•
••
• •
• •
•
•••
•
•
•
•
••
•
••
•
•••
••
•
•
••
••
•
• ••
•
••
••
•
•••
•
•• •
•
•
•••
•
•
•
•
• •
• ••
••
•
••
•
•• •
•
•
•
• •
•••
•
•
••
••
•
••
••
••
•
•
•
•
• •
•
••
•
•
•
•
•
•
•
•
•
•
• ••
••
•
••
•
•
••
••
•
•
••
•
•
•
•
•
••
••
• •
•
•••
•
•
••
• •
•
•
•
•
•
•
•••
•
•
••
••
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•••
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
••
•
•
•
•
•
•
•
•
•• •
•
•
•
•
•
•
••
••• •••
•
•
•
•
•••
•
•
•
•
•
••
•••
••
• •
•
••
•
• •••
•
••
•
•••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•••
•
•
•
•
••
•
•
••
•
•
••
•
••
•
•
•
•
•
•• •
•
•• •
•
••••
•
•
•
••
••
•
•
•
•
•
•
•• •
•
•
••
•
••
••
•
•
•• ••
•••
•
•
••
••
•
•
•
•
•
••
••
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•• ••
•
•
•
••
•
•
•
••
•
•
••
•
••
• •
•
•
•
•
• •
••
•
•••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
••
• •
•
•
•
••
••
• ••
•
•
•
•
••
••
•
•
••
•
••
••
• •••
•
•
• •
•
•
•
•••
•
•
•
•
•••
•
••
•
•
•
•
• •
•
••
•
• ••
•
•
•••
•
• •••
•
••
•
•• •
•
••
•
•
•
•
•
• •••
• •
•••
•
•
•
•
•
•
•
•
••
•
• •
•••
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
• •
• ••
•
••
•
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
••
•••
••
••
•
•
••
•••
•
•
•
••
••
•
•• •
••
•
••
••••
•
••
•
•
••
• •••
• •
•
•
•
•
• •
•
••
•
•
•
••
•
•
•
•
••
••
•
•
•
••
•
•
••
•
•
•
••
• •
• •
•
•
•
•
•
••
•
••
••
•
•
•
••
•
•
•
•
••
•
•
•
•
••
•
•
•••
•
•
••
•
•
••
••
••
••
•••
• •••
•
••
• •••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•••
•••
•
••••
•
•
•
•
•
•
• •
••
•
•
•
•
•
•••
•
••
••
•
••
• •
••••
••
•
• ••
••
•
•••
•
•
•
•
••
•
•
• •
•
•
•
•
•
•
• •
••
•••
••
•
•
•• ••
•
• ••• •
••
••
••
•
••
•
•
•
••
•
•
•
•
•
••
•••••
•
•
•
•
•
••
•
•
•
•
•
•
•
•••
•
•
•
•
•••
••
•• •
••
•
••
•
•
•
•
••
••
••
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
••
•
••
•
••
•••
•
• ••
••
•
•••
•
•
•
••
•
•
•
•
•
•
••
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
• •• • ••
•
•
•
••
••
•
•
••
•
•
•
••
••
•
•
•
•
•••
•
•
•
••
•
••
••
•
••
• ••
•• •
•
•
• •
•
•
••
•
•
••
•
••
•
••
•••
•
•
•
••
• ••• •
•
• •
•
•
••
•
•
•••
•
•
•
•
••
••
•
••
•
••
•
•
•
•••
••••
•
•
•
•
•
•
•
•
•
•
••
•
•••
•
•
•
•
•
•
•• •
•
••
••
•
••
•
•
•
•
•
•
•
• ••
•
•• •
•
••
•
•
•
•
••
••
•
•
•
••
•
•
•
•
•••
•
•
• ••
•• •
••• ••
•
•
• •
••
•
• ••
•
•
••
••
••
•
•
•
•
••
•
•
•
•
••
••
•
••• •
•
••
•
•
•••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•••
•
• •
••
•
••
•
•
•••••• •
•
••
••
•
•••
•
•
•
•
•
• ••
•
•
•
••
•
•
••
•
•
••• •
••
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
••
•
•
•
•
••
••
••
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•• ••
••
•
•
•
•
•
• ••
•
•
•
•
••
• •
•
•
•
•
••
•
•
•
••
••
••
•
• ••
•
••
•
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
••
•
•
•
••
•
••
•
•
••
•• •
•
•
•
•
•
•
• •
•
•
•• •
• •
•
•
•
•
••
••
••
••
•
•••
•••
•
•
•••
••• •
••
••
•
•••
••
•
••
•
•
••
••
••
•
•
•
•
•••
•
•
••
•
••
• •
•
•
•
••
•
•
•• •
•
••
•
•
•
••
•••
•
••
•
•
•
•••
••
•
•
•
•
•
•
• •
••
•
•
••
•
•
•
•
•• ••
•
•
••
••
•
•
• •
•
••
•
•••
•
•••
••
•• •
•
••
•
•
•• ••
•
•
• •
• •
•
•
•
•
•
•
•
••
•
•
••••
•
•• •
• •
•
•
••
•
•••
•• •
••
•
••
•
•
••
•
••
•
•
•
•
•
•
•
• •
•• •
• ••
•
••
•
••
•
• ••
••
••• •
•
••
••• •
•
•
•
•••
• •
••
•
•••
••
••
•
•
••
•
••
•
•
••
•
••
•
•
•
•
••
••
••
•
••
•
••
•••
•
•
•
•
•
•
••
•
••
•
••
•
•
• •
••
•
•
•
•
•
•
•
•
•
••
•
•
•••
•
•
••
•
•
• •
•
•
•
••
• •
•••
••
•
••
••
•
••
• •
•
•
•
•••
•
• ••
• •
•
•
•
• •
•
•
•
••
••
•
•••
• ••
•
•
•
•
• •
•
•• •
•
••
•
••
•
•
•
•
•
•
•
••
• ••
•
•
••
•
•
••
••
•
•
••
•
••
•• •
•
•
•
••
•
•
•
•
•
••
•
•
•
•
••
••
•
•
•
•
•
••
•
•••
•
•
•• ••
••
•••
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•• •
•• •
•
•
•
•
••
•
• •
•••
••
•
•
•
•
•• •• ••
•••
••••
••
•
•
••
•••
•
•
••
•
••
••
•
•••
•
•••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•• •
•
•
•
•
••
•
••••
•
•
••
•
•• •
••
•
•
•
•
•
•
•
•
• •
••
•
•
•
• •
••
•
••
• • •
• ••
•
••
•
•
•
• •
•
••••
••
•
•
••
••
••
•
•
•
•
•
•
•
•
•
••
•••
•
•
•
••
•
•
•
•
••
••
•
•
•
•
••
•
••
•
•
•
•
•
••
• •
•
••
•
••
•
•
••
•
••
•
•
•
•
•• ••
••
•
• ••
•
•
•
•
•• •
•
•••
•
••
••
••
•
•
•
• •••
•
••
••
•
••
••
•
•
•
••• •
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
• •
•
• •
•••
••
• •••
•
••
•
•
•
•••
•
•
•
•••
••
•
••
••
•
• •
••
••
•
••
•
•
•
•
•• •
•
• • •
•
•
••• •
•• •
••
•
•
•
•
•• •
•
••
•
•
•
•
•••
•
•
•••
•
••
•
•
•
•
•
•
•••
• • •
•
•
••
•
•
•
•
•
•
•
•
••
••
•
••
•
•••
•
•
•
••
•
•
• ••
•
•
•
•
•
••
•
••
•••
••
•
• •
•••
•
•
•••
•
•
• ••
•••
••
•
••
•
• •
•
••
•
•
•
•
•
• •
•
•• •
•
•
• • ••
•••
•
•
•
•
• •
•
••
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
••
•
•
• •
••
• ••
•
•
•
•
•
•
•• •
•
••
•• •
•
•
•
••
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•••
• •
•
• ••
••
• •
• ••
•
•
•
•
••
•
•
•
••
••
•
•
•
•• •
•
•
•••
•
•
•
•••
•
•
•
•
•
•
•
••
••
•
•
•
•
••
•
•
•
•
••
•
••
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
• •••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
••
•
••
•
•
•
•••••
•
•
•
•
•
•
••
••
•
•
•
•
•
•• •
••
• •
•
•
•
•
• •
•
•
••
•
•
••
••
••
•
•
••
••
•• •
•
•
•
•••
••
•
•
•
•
•
•
•
••
•••
•
••
••
•
•
••
•
•
••
•
••
••••
•
•
•••
••
•
••
•••
•
••
•
•• •
•
•
•
••
•
••
•
•
•
• •
•
•• •
•
•
• •
••
•
•
••
• ••
••
•
•
•
•
•
•
•
•
•
•
•
••
••
•
• •••
••
••
•
•
•
•
•
••
••
•
•
•
•
•••
•
••
•
•
•
•
••
••
•
•
•
•
•
•
•
••
••
•
••
•
•
•
•
•
••
•
•
••
••
•
•
••
•
•
•
•
•
• ••
•
•
•
•
••
•
•••
•••
•
••
•
•
•• •••
••
•
•
•
••
•
•••
•
•
•
•
••
••
•
••
• •
•
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
•• •
••
••
••
•
•
••
••
•
•
••
•
•
•••
•
•
•••
••
•
•
•
••• •
••
•
•
••
••
•
•••
•
• ••
•
••
•
•
••
• •
•
•
••••
••
•
••
•
•
•
•
•
•
•
•
•
••
• •
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
• •
•
•
•
•••
• ••
•
•
••
•
•
•
•
••
•
••
•
•
••
• •• •
••
•
• •••• ••
•
•
•
•
••• •
••
•
• •
•
•
•
•
•
•
••
•
•••
•
•
• •
•
•
••
••
•
•
•• •••
••••
•••
•••
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
•••
•••
•
•
•
•
•
•
•
•
•
••
•
•
•
•• •• •
• •
•
•
•
••
••
•
•
•••
•
•
• ••
•
•
• •
•
•
•
•
••
•
•
••
•
•
••
• •••
••
• ••
•
•
•
•• •
•
•• •
•
•
••
••
••
•
••
•
•
•
•
•
••
••
•
•
••
• ••
•
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•••
•
•
• •• •
•
••
••
•
•
•
•
•
•
••
• •
••
•
•••
•
•
••
••
•
•
•••
••
••
••
•
•
•
•
••
•••
•
•••
••
•
•
•
•
•
•
•
•
•
•
••
•
• •
•
•
•
•
•
•
•
•
•
•• •
•
•••
••
•
••
••
••
•
•
•
••
•
•
•••
•
••
•
•
•
••• •
•
••
•
•
• ••
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•••
•
•
•
•
• •• •
•
•
•
•
••
•
••
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•
•••
••
••
•••
••
•
•
•
•
•••
••
•
•••
•
•
•
•
• • ••
•
••
• •••
• •
•
•
••
••
• •••
••
••
•
•
•
••
•••
•
•
••
•
•
••
••
••
••
•
••
••
••
•• ••
••
•
•
•
•
•
••
•
•
•
••
•
•
•
•
••
•••
•••
•
••
•
•
•
•
•
•
•
• ••
•
•
•
• •
•
•
••
•
•
•
•
• ••••
• •
•
•
•
•
•
•
•
•
••
•••
•
•
•
•
••
••••
••
••
•••
•
•
•
•
• •
•••
•
• •
•••
•••
•
•
•
• ••
•
•
•••• •
• ••
•
••
••
••
•
•••
•
•
•
• ••
•
••
•
• • •
•
••
•
•••• ••
••
••
••
•
••
•
•
•
• •
••
•
•
•
•
••
•
•
• ••
•
•
•
•
••
••
•
•
•
••
•
••
•
• •
••
•
•
•
•
•
•
•••
•
•
•
•
•
••
•
• ••
••
•
•
•
•
•••
••
•
••
•
••
•
•
•
•
••
••
•
•
••
•
••
•
••
•
•
••
•
••
•
•
••
•
•
• •
•
•
•
••
•
•
•
••
•
•
•
•
• •
•
•
•
•
•
•
•
• ••
•• ••
•
•
••
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
••
••
•
•
•
•• •
•
• •
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
•
• ••
•
•
•
•
•
• •
•
•
• ••
••
•
•
••
•
•
•
•
••
•
•
•
•
••
•
•
•
••
•
•
•
•
•
••
••
••
•
••
• •
•
•
• •
•
•
•
•
•
••
•• ••
••
•
•
•
•
•
•
•
•
••
•
•
•
••
••
•
• ••
•
•
• •
•
••
•
•
••
•
•
•
••
•
••
•
•
•
••
•
••
•
•
••
• ••••
•
•
• •
•
•
•
••
••
•
•
•
•
•
••
•
••
••
•
•
•
•••• •
•
•
•
•
•
••
•
•
•
••
•
•
•
•
••
•
••
•
• •
•
•
•
•
•
•
••
•
•
••
••
•
•
•
•
••
•••• •
•
••
•
•
•
••
••
•
•
•
•
•
•
•
••
•
•
•
••
•
••
•
•
•
•
•
••
• •
•
•
•
••
• •
•••
•
••
•
•
••
••
•
••
••
•
•
••
•
••
•
•
••
•
•••
•
•
••
• •
••
•
••
•
••
•
•
•••
•• •
••
•
•
•
•
•
•
••
•
•••
•
•
••
•• •
•
•
•
•• •• •
•
•••
•
•
••
••
•
•
•
•• • •
•
••••
•
••
•••
•
••
•
•
•
••
••
•
•
••
•
•
•
•
•
•
••
•
••••
•
• •
••
•
•
•
•
•
•
• •
••
•
•
•
•••
•
•
••
••
•
• ••
•
••
••
•
•
• •• •
•
•
•
••
••
•
••
••
••
••
•
•
•
•
•
••
••
••
••
•
•
••
•
••• •
••
•
•
•
••
•
••
••
•
•
•
•
•
•
•
•
•
• ••
•••
•
•
•
•
•
•
•
•
•• •
•
•
•••
•
•
••
•
••
•
••• •
•
•
•
•• •
•
•
•
•
•
•
•
•
•
••
• •
•
•
••
•
•
•
•••
• •
•
••
•
•
••
•
••
•
••
•
••
•
•
• •
••
•
•
•
•
••
• ••
•
•
•• •
• • •••
•
••
•••
•
•
• ••
•
•
•
•
•
•
•
••
•
•
••
•
•
•
••••
•
••
•
•
•
•
•
•
•
••
••
•
•• •
•
••
•
••
•
••
•
•
•
•
•
•
•
••
•
•
•
•
••
•
••
••
••
• •
•
••
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•
•
••
••
•
• •• •
• •
•
•
• •
••
•
•
•
•
••
•
• •••
••
••
•
•
•
•
••
•
••
•
•
• •
•• ••
••
•••••• ••
•
• •
•
•
• •
•
•
• •
•
• •
•
•
••
•
•
• •
••
•
••
••
•
••
•
••
•
• •••••
•••
••
•
•
•
••
•
•
••
•
• ••
••
•
••
• •
••
•••
•
•
••
•
•
•••
•
•
••
•
• •
•
••
•
•
•
••
•
•
•
•
••
•
•
•
••
•• •
•
•
•••
••
•
•••
•
•
•
•
•
••
••
••
•
•
•
•• •
•
•
•
•••
•
•
• •
••
•
••
••
•
•
•
••
•• •
•
•
••
••
• •
•• ••
• •
••
•
•
•
•
••
•
•
••
•
•
••
••
• ••
••
••
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
••• •
••
•
•
• • •• •
••
•
••
•
•
•
•
•
•• •
•
••
•
•
••••
••
•
•
•
•
••
•
•
•
•
•
•
•
••
•
••
••
•
• •
••
••
••
•••
• •
•
•
•
••
•
•
•
•
•
••
••
•
•
••
••
•
•
• •••
•• •
••
••
•
• •
•
•
•
•
•
•
•• ••
•
•
•
•
• •
••
•
•
••
•
•
• •
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
••
••
••
•
•
•
••
•
• •• •
•
••
••
••
••
•
•
•
••
•
•
•
•
• •
•
•
••
•
•• •
•••
••
•
• •
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
••
••
••
••
•••
• •
•
•
•
••
•
•
•
•
•
•••
•
•
•
•
• ••
••
•
•
••
•
•••
•
••••• •
••• •
•
•
•
•
••
••
•
•
••
•
••
• ••
•
•
•
•
•
•
•
•
•• •
••
• ••••
••
•
•
• •••
•
•
•
•
•
•
•
•• •
•
••
••
•
••
•
•
•
•
•
•
•
••
•
•
•
• •
•
•
•
•
•
•••
•
•
•
•
•
•
•
••
•
•••
•
••
•
•
•
•
•
••
••
•
•
•
••
••
•
• ••
•
•
•
•
•
•
•
•
•
•
•
•
•
• ••
•
••
•
•
•
••
•
••
•
•
•
• •
•
•
•
••
•
•••
•
••
•••
•
•
•
•
•
•
•
•
••
••
•
•
••
•
••
•
•
•
•
•
•
•
•••
••
••
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
••
•
• •
••
•
••
•
•
•
•
••
••
•
•
•
•
••
• •
•
•
•••
•
•
••
•
•
•
••
•
•
•
••
•••
••
••
•
•
•
••
•
••
•
•
•
•••
••
•• •
••
•
•
•
•
•
••
•
•
•
•
•
•
••
•
••
•
•
•
• •
•
•
•
•
•
••
••
•
•
•
•
• •••
• •
••
•
•
•
••
• •
•••
•
••
••
••••
•
•
• ••
••
•
••
•
•
•
•
•• ••
• •
•
•
•••
•
••
• •
•
•
••
•
•
•
••
•
•
••
•
•
•• •
• •••
•
••
••
••
•
•••
••
•
• ••
••
••
••
•
•
••
•• •• •
••
•
•
••
••
•
• •
••
•
•
•
•
•
••••
•
•
••
••
•
•
•
••
•
•
•
•
••
• •
•
••
•
•
•
•
•
••
•
•
•••
•
•
•
•
•• •
•
•
••
•
•
•
•
•
•
•
•
•••
•
•
•
•
•••
••
•
•
•
••• •
•
• •
•
•
••
••
•
•
••
•
• ••
•
•
•
•
•
•
•
•••
•
•
•
••
•
••
••
•
••
•• ••
•
••
••
•
••
••
••••
•
•
••
•
•••
•
•••
•
•••
•
•
••
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•
•••
•
••
•
•
• ••
•
•
•
•• •
•
•
•
••
••
•
•• •••
• •
•
•
••
•
•
•
•
•
••
••
•
•
•
••
• ••
•
• •
•
•
••
•
••
•
••
•
••
•
••• • •
•
•
•
••
•
•
•
•• •
•• •• ••
•
•
•
•
•
••
•
•••••
••
•
•
••
•
••
•
••
• ••
•
••
•
•
•
••
• ••
•
• ••
•
•
•
•
•
•
••
•
••
•
••
•
••
•
•
••
••
•
•
•
•
••
•
•
•
•
•• •••
•
••
•
••
•
•
••
•
••
•••
•
•
•
•
••
•
•
•
••
•
•
•
•
••
•
•
••
•
•
••
•
••
•
••
•
•
•
•
•
•
••
••
•••
•
•
•
••
•
•
•
•
•
•
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
••
••
•
••
••
••
•
•
• •
•
•
•
•
•• ••
•••
•
•
•
•
••
••
••
•
••
•
•
•
••
•
•
•
•
•
•
•
••
•
••
•
•
•
• •
•
•
••
•
•
•
••
• ••
•
•
•
•
•••
•
•
•••
••
••
••••
•
•
•
•
•
•
•
•
•
••
•
••
••
•
•
•• ••
•
•
•••
•
•
•
•
••
•
•
•
•
•
••
••
•
••
•
•
•
•
••
•
•
•
•
••• ••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
••
••
•
•• •
•
•
•
••
•
••
••
•
••
•
•••
•
••
•
•
•
•
•
•
••
•
•
•
••
••
••
•
•
•
••
•••
••
• ••
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
•
••
•••
•
• •
•
•
•
•
•••
•
•
••• •
•••
•••
••
•
• ••
••
•
•
•• •
• ••
••
•
•
• •
••
••
•
•
•
••
•
• •
•
• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•• ••
•
• •
••
••
•
•
•
•••
•
•
••
• •
•
•
•
•
•
•
•
•
• •
•
•
•
•• •
•
•
•••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
••
••
•
••
•
••
•
•
• •
•
•
•
••
•
•••
•••
• •
•
•
•
•
•
•
•
Normal Dependence
X1
X2
-4 -2 0 2 4
-4-2
02
4
• ••
•
•
•
•
•
•
•
•
•••
••
•
•
•
•
••
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
•
••••
•
••
••
••
•
••
•
•
••
••
•
•
•
•
•
•
••
••
• •
•• •
•
•
•
•
•
•
•
••
•
••
•
••
•
• •
••
••
•••••
••
•
•
•
•
•
•
•
•
••
•
••
••
•
•
•
•
•
••
•
••
••
•••
•
•
•
•
••
•
••
•
•
••
•
•
••
•
••
•
•
••
•
•
••
•
•
••
••
•
•
•
•
•
•••
•
•
•
•
••• ••
•
•
••
•
•
•
•
•••
•
••
•
••
•
••
•
•
•
••
•
••
•
••
••
••
•
••
•
•
•
••
•
•
•
•
•
••
••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
••
•
••
••
•
• •
•
••
•
••
•
•
••
••
••
•
•
••
•
•
•
••
•
•
••
•
••
•
•
•
•
•
•
•
•
•
••
••
•
•••
•
••
•
••
••
• •
•
•
••
•
•• •
•
•
•
•
•
•
•
•
•
•
•
• •
••
•
••
•
•
••
•
•
•
•••
•
•
•
•
• • •
•
••
• •
•
•
••
••
•
•
••
•
•
• •
•••
•
•
•
•
•
•
•
••
••
•
•
•
•
••
•
•
••
•••
••
•
•
••
•••
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
•
•••
• •
•
•
•
•
•
•• •
•
•
•
•• •
••
•••
•
•
••
•
••
•
•
•
• ••
•
•
•
••
•
•
•
•
•
•• •
•
•
••
•
••
• •
•••
••
•
•
•
••
•• ••
•
•
•
•
•
••
•
•
•
••
••
••
• •
•
••
• •
•
••••
•
•••
•
•
••
•
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•••
•
•
•
•
•
••
•
•
•
•
•
••
•
••
•
•
•
••
•
•
•
•
•• •
•
•
•
•
••
• •
••
••
•
•
••
••
•
••
••
•••
••
••
•
•
•••
••
•
•
•
••
• •
• •
•
•
•
••
•
•
••
•
••
•
••
•
•
••
•
•
••
••
•
•••
•
•
•
•
••
••
••
••
•
••
•••
•
•
•
•
•
•
•
•• •
• •
•
•••
• •
•
•
••
•
••
•
•
•
••
•
••
• •••
•
••
••
•
•
•••
•
•
••
•
•
•
••
••
•
•
•
•
• ••
•
•
••
•
•
•
•
••
••• •
••
•
•••
••
••
•
••
•
•
••
• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•• •
•
•
•
•
•
••
•
• •
•
•
•
•••
• ••• •
•
•
•
•
•
• •
••••
•
•
•
•
•
• ••
••
••
•••
•
••
••
•
•
•
•••
•
•
••
•
•
•
•
•
••
•
•• •
••
•
••
• ••
•
•
•
••• •••
•
•
• ••
• ••
•
•
••
•
•
••
•
••
•
••
••
••
••
•
•
••••
•
•
•
•
• •
•
• ••
••
•
•
•
•
••
•
•
•
••
••
•
••
•
••
•••
•
•
••
•
••
•
•
•
•
•
•
•••
•
•
•
••
•
•
••
•
•
••
•••
•
•
•
•
••
•
•
•
•••
•
•
•
•
•
•
••
•
••
•
•
••
••
••
•
••
•
•
•
••
•
•
••
••
••
•
•
•••
•
•
•
• •
••
•
••
•
•
•
••
•
•
•
•• •••
•
•
•
•• •
• •
•
•
••
• •
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
••
••• •
•
•
••
•
•••
•
•
• •
•
••
•
••••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•••
•••
•
•
•
•
•
•• • • •• •
•
•
•
•
•
•
••• •
•
•••
•
•
•
•
•
••
•
••
••
•
••
•
•
• •••
••
•
•
•
•
•
•
•
•
••
•
•••
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
••
•••
••
•
••
•
••
•
• •
••
•
••
•• •
••
•
•
•
•
•
•
•••
•
•
•
• •
• •••
•
•
• •
•
•• •
•
•
•
•
• •
••
• •
•
•
••
•
•
•
•
•
•
•
• • •
•••
•
•
•
•
••
••
•
•
•
•
•• ••
•• •
•
•
•
•
•
•
•
••
•
••
••
•
••
•
••
•
•
•
••
•
•• •• •
•
••
•
••
•
••• ••
••
•
••
••
••
•
•
•
•
• ••
•
•
•
•
•
•
•
•••
•
•
•
••
•
•
•• •
•••
•
••
••
•
• ••
•
•
••
• •••
•
•
•
•• •
••
•
••
•
•
•
•
•
•
•
•••
•
•
•••
•
••
•
•
•
•
•
•••
•
•
•••
••
••
••
•
•
•
•
•
••
•
•
•
•
•••
•
••
••
•
••
••
•
••
••
•
•
••
•
•
•
•••
•
• •••
•
•
••
•
•
•
•
••
••
•
•• •
•
•
•
• •
•
•
•
••
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
••
•
••
•
•
•
•
•
••
•
•
•
•••
•
• ••
•
••
••
••
•••
•
•
•
•
••
•• •
•
•
•
•
•
•
•
•••
••
•
•
•
•
••
••
•
•
•
•
•
•
•• ••
•
••
••
•
•
•
•
•
•••
•
•
• •
•
•
•
• •
•
•
•
••
•
•
•
•• ••
•• •
••
• •••
•
•
•
•
• •
•
•
••
••
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
• •
•
•
•• •
•
•••
•
••
•
•
•
••
•
••
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
• •
••
•
•
• •
•
•
• ••
•
••• ••
••
•
••
•
•
•
••
•
••
•
•
•••
••
••
•• •• •
• •
•
•
••
••
•
•
•••
••
••
•
•
• •
•
•
••
•
•
•
•
•
•
• •
••
••
•
•
•••
•••
•••
••
•
•
•
• •
•
•
• •
••
••
•
••
•
•
••
•
••
••• •
••
•
•
•
•
•
••
•
••
•
•
•
•
••
• •
••
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
• •
••
•••
• •
•
•
•
•
•
•
•
••
••
•
••
•••
•
•••
••
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
••
••
•
• •
•
•
••
• ••
••
••
•
•• •
•
••
•
•••
•
••
• •
• •
•
••
•
••
••
•
••
•
•
•
•
••
•
•• •
•
•
•
••
•
•
••
•
•
•
• •
•
•
•
•
•
• •
•
•
••
•
•
••
•
•
••
••
•
••
••
•
•••
•
•
•
•
•
•
•
• •
••
•
•
•
•
•
•
•
•
• •
•
••
• •
• •
•
•
•
•
•
•
• • •
•
••
•
•
•
•
•
••
•• •
•
•
•
••
•
•
•
•
• ••
••
••
•
• •
•
•
•
•
••
• • •
•
•
•
••
••••
•
•
•
•
•• •
••
•
•
•
•
• ••
•
•••
•
•
•
•
•
•
••• • •••
••
••
••
••
•
•
••• •
•• •
• •
••
•
•
•
•••
•••
••
•• •
•••
•
•
••
•
•
••
••
•
•
•
••
•
•
•
•• •
•
•
•
••
••
•
•
•
•
••
•
•
•
• ••
• •••
•
••
•
•
••
•
•
•
•
••
••
•
• ••
•
•••
•
••
• •
• ••
•
•
•••
•
•••
•
•
••
•••
•
•
•
••
•
•
•
•• •
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•••
••
••
•
••
••
••
•
•••
• •
•
•
•
•
••
•
•••
••
•
•
••
•
••
••
•
••
•
•
•
••
••
•
•
•
••
•
•
•
• ••
•
•
•
••
•
•
•
•
• ••••
•
••
•
•••
•
•
•
••
••
•
••
•
••
••
•
•
•
•
•• ••
•
•
• •• ••
•
• ••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
•
• • •
•• • •
•
•
••
•
•
••
•
••
•
•
•
•
•
•
• ••
••
•
••
••
••
•
••
••
•
•
•
••
• ••
•
• •
•
•
• •
•••• •
••
•
••
•
•
••
•
••
• •
•
•
••
•
••
•
•
••
• ••
••
••
••
•
•
•
••
•
•
••
•
••
•
•
•
•
•
••
•
•
•
••
•
•
••
•• •
•
•
•• ••
•
•
•
•
•
•
• ••
•
•
• •
•
•
•
•
• •
•
•
•
••
•
•
•
•
•
•
••• •
•••
•
•
•
••
••
•
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
••
• •• •
••
•••
•
••
•
•
•
••
•
•••
•
•
••
•
•
•••
•
•••
•
••
••
•
••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•
••
••
•
••
••
•
••• •
••
•
•• •
•
•• • •
• •• •
•
•••
•
•
••
•
•
•
• •
•
•
• •
•
••
•
•
•
••
•••
•
••
••
•
•
•
•• •
••
••
•
••
•
••
••
•
•
•• •
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
•• ••
•
•••
••
••
•
•
••
••
•
••
•
•
•
•
••
•
••
•••
••
••
•
••
•
•
•
•
•• •
••
•
•••
•
••
•
• •• ••
•
•••
•
••
•
••
••
•• • •
•
••
•
•
••
••••
••
•• •
• ••
•••
•
•••
• •
•
••
•• •• •
•
•
•
•
•
••
•
•
••
••
•
•
•
•
•
•
• ••
••
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
•
•
•
••
•
•
•• •
••
•
•
•
••
•
•
••
•
•
••
•
•
••••
••
•
• •
•
•
•
•
••
•
•
•
•
•
••
••
••••
•••
•
••
•••
•
•
•
•
•
••
•
•• •
•••
•
•
•
•
••
•
•
•
•
•
•
•
••
••
•
••
•
••
••
•
••
•
••
•
•
•
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
•
••
•
•
•
•
•
••
•••••
••
•••
••
• •
•
•
• •
••
•
••
•
••
••
••
••••
•
•
••
•
•
••
••
•••
•
••
•
•
•
•
•
•
•
••
••
••
•
•
•
•
•
•
••
••
•
••
•
• •
•
•
•
•••
•
••
•
•
•
•
•
•
••
•
•
•
••
•
••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•••
•
•
••
•
• •
•
•
•
•••
••
•
•
•
•
•
•
•
••
••••
••
••
•
•
• ••
•
•
•
•
•
••
• • •
•
•
• •
•
•
• ••
•
••
•
••
•
•
•
••
•
•
•
•
••
• ••
•
•
•
••
•
•
••
•
•
•
•• •
•
•
•
•
•
••
••
•
••
•••
• •
•
•••
•
•
••
•
• •••
••
••
••••
•
•
•• •
•••
••
••
••
•
•
•
•
•
•
•
••
••
•
•
•
•
•••
•
•
•
•
•
•
••
••
•
•••
•
•
•
•
•
• •
•
•••
•
•• ••
•
•
•
•••
•
• ••
••
•
•
•
•
•
•
••
•
••
• •
• •
••
•
•
••
••
•
•
••
•
••
•
•• ••
•
•
•
••
•
•
•
••
•
•
•
•
•
•
•••
••
•
•••
••
•
• •••
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
•••
•
••••
•
•
•
•
•
•
•
•
• ••
••
•
••
••
•
•• ••
•
•
••
•
•••
•••
•
•
••
•
•
••
•• •
••
••
•
•
•
•
••
•
•
•
••
•••
••
••
•
••• •
•
••
•
•
•
•••
•
••
• •
•
•
•
••
••
•
• •
•
•
•
•
•
••
•
•
•
•
••
•
•• •
••
•
•
••
•
••
•
••
•
•••
•
•
••
•
•
•
••
•
•
••
•
•
•
•
•
••
•
•
• •
•
••
•
••
•
•
•
•
••
•
••
•
•
•
•
••
••
•
•
•
•
•
••
•
•
•
•• •
•
•
•
•
• •
•
•
•
••
•
••
•
•
•
•
••
•
•
•
••
•
•
•
•
•• •
•
•
•
• ••
•
••
•
•
•
•
•
•
••
•
•
••• •
•
•
•
•
•
•
••
•••
•
•
•
•
••
•
••
•
••
••
•
••••
•
•
•
•
•
•
••
•
••
•
•
•
•••
•
•
•
••
• •
•
•
•
•
••
•
••
•••
•
•
••
•
•
•
••
•
•
•
•
•
••
•
•
•••
•
•• •
••
•
•
•
••
•
•••
••
•••
•
•
••••
• •
••
••
••
•
•
•
•
•
••• •
•
•
•
••
•
••
•
•
•••
•
• •
•
•
•
•
•
•
•••
•
••
•
•
•
•
••
• •
•
•
•••
••
•
•
•
••
•
•• •
•
•• •
•
•
•
• •
••
•
••
•
••
•
•
•
•
•
•••
• •
•
••
•
• •
•
•••
••
•
••
• •••
•
••
•
•
•
•
•
••
••
•
•
•
•
•
•
••
• • •
•
••
•
••
•
• •
•
••
•••
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
• •• •
•
•
•
••
•
•
••
•
•
•
•
•
•
••
• •
•
•
•
•
•
•
••
•
•
••
• •••
•
••
• ••
•
•
•
••
• •••
•
•
•
••
•
•
••
•
•
•• ••• ••
•
•
•• •
••
•
••
•
••
•
••
•
•
•• •
•
•
•
•• •
••
•
•
• •
•
••
••• •••
•
••
•
•
•
••
•
••
••
•
• ••
••
•
•
•
•
•
•••
••
•
•••
•
•• •
••
•
•
•
• ••
•
•
•••
••
•
•
••• ••••
•
•
•
••
•
•
•
•
•
•
•
•••
• •
•
•
•
••
••••
•••
••
•••
•
••
•
•••••
•
• •
•
•
•
•
••
••
•
••
•
••••
•
•
• •
••• •
••
•
•
•
•
•
•
•
••
•
••
•
•
•
•
• •
•
•
• •
• •• •
•
•
•
••
•
•
•
•
•
••
••••
•
• •
•
•
•
••
••
•
•
•
•
•
•
•
•
••• •
•
•
•
•
••
•• •
•
•
••
•
•
••
••
••
••
••
•
•••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•••
• •
•
••
• • ••
•
•• ••
•
• ••
• •
•
•
•
••
•
••
•
••
••••
•
•
•
•
•
••
•
•
•
•
•
•••
••
•
•
•
•
•
•
•
• ••
••
•
•••
•
•
•
•
• •
••
•
•
•
•
•
•
•
• ••
••
••
• ••
••
•
•
•
•
••
• •
•
••
•
•
•
•
•
•
•
••
•
•• •
•
•
• ••
••
•
••
•
•••••
•
•••
•
•
•
•
•
••
•
•
•
••
•
•• ••
•
•
•• •• ••
•••
•••
•
•
•
••
•
•
•
•
•
••
•
•
•
•• •
•••
•
••
•
•
•
•
•
•
•
•
•
•••
•
•
•
••
•
••
•
••
•••
• •••• •
• •
••
••
•
•••
••
•
•
•
••
••
•
•
•
•
••
•
•
••
•
•••
••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•• •
•
•
••
•
• ••
•
•• •
•
•
•
•
••
• ••
•••
•
•
•
•
•• •••
•
•
•
••
• •
•
•
•
••
•
•
•••
•
•
•
•
•
••
•
•
•
•••
•
••
••
•
•
•
••
•
•
•
•
•••
•
•
•
•
•••••
•
•
•
••
••
•
•
•• •
••
•
•
• •
••
•
••
••
•
•
•
•
••
•
•
••••
•
•
•
•
• •
••
••
••• ••••
•
••
•
•
•
••
•
••• •
•
••
••
• ••• •
•
•
•
••
•
•
••
•
••
•
•
•
•
••
• •
•
••
•
•
•
• ••
••
•
••
•
••
•
•
•• ••
•
•
•
•••
•
•
•
••
••
••
• •
•
•
••
•
•
• •••
••
••
• •• •
•
•
•• •• ••
••
•
•
••
•••
••
•
••
• ••
•
•
•
••
•
••
•
•
•
••
•
•
••
•• •
•
•
•
••
•
•
•••
•
•
•••
••
•
••
••
••
••
•
•
•••
••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
••
•
••
•
•
•
•
••
•••
••
•••
••••
•
•
•
••
••
•
•
•
•••
••
••
•
•••
• •
• •
•
••
•
•
••
•
••
•
••
• •
••
• •
•
•
•
•
•
•
••
•• • •
••
•
•
•
•
•• •• •
•
•
•
••
•• •
•••
•
•
•
•••
•
••
•
•
•
• •• •
•
•
••
•
•
••
•
• •
•
•
•
•
•
•
•
••
•
••
•
•
••
•
•
••
••
•
•
•
•••
••
•
•
•
•
•
••
••
•
• ••
•
• •
•
•
• •
•
••
•
•
•
••
•
•
•
•
••
••
•• •
•
•
•
•
•
•
•
••
••
•
••
•
•• •
•••
•
••
••
•
•
•••
•
•
•
••
•
••
••
•
•
•
•
••
•
••
•••
•
•
•
••
•
••
••
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••• •
•
•
••
•
•
• •
••
••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
••
•
•
••••
••
•
•••
•
•
••
•
•
•
•
• •
••
•
•••• •
•
•
•
•
•
••
•
•
•
•
•
•
•
••
••
••
•
••
•
••
•
•
•
•
•• • •
•
•
•• •
•
•
•
•
•
•
•
•
•
••
• ••
•
• • •
•
••
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
•
•
•
•••
•
•
•
••
•
•
••
•
••
•
••
••
••
• •
•
•
•
•
•
• •
• •
•
••
•
•
•
••
•
••
• •
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
••• •
• •
•
•
••
•
••
•
•••
•
•
••
••
• •
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
••
•
•••
•
•
•
••
•
••
•
• •
•
••
••
••
•
•
•
••
•
•
•
•
•
•
•
•
•• •
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
••
•
••
•••
••
•
•
•
••
••
•• ••
•
•
•
••
•
•
••
••
•• •
•
•••
•••
•
••
•
•
•
••
• ••
•
•
••
•
••
•
•
•
•
•
• ••
•
•
••
•
•
••
•
•
•
••
••••
• •
•
•
•
••
•
••
• •
•
••
•
•••
•
••
•
•
•
•
•
• •
•
•
• •
••
••
••
••
• •
•
•
•
•
••
•
•
•
••
•
•• •
•••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
••
•
••
•
••
•
•
••
•
•
•
•
•
•
••
• •
•
•
• •
••
••
••
•
••
••
•
•
••
•••
•
• ••
•
•
•
••
•
••
•
••
•
••
••
•
•
• •
••
••
•••
•
•
••
••
••
•
••
•
• •••
•
• •
••
•
•• •
••
•
•
••
•
•
•
••••
•
•
•
•
•
•
•
•••
•
••
•
•
•
••
•
••
•
•••
•
••
••
••
••
••• •
•
•• ••
•
•
•
•
••
•
•
•
•
•
••
•
•
•
••
••
•
•
•
••
•
•
•
•
•••
••
••
•• •
•••
•••
•
•
•••
•
•
•
•
•
•
•
••
••
•
•
•••
••
••
•
•• ••
••
•
••
•
• •
•
••• •
•
• ••
•
•
••
••
••• •• •
•
•• •
••
•
•
•
•
•
•
•
•
•
••
• •
•
•
••
•
••
•
•
•
•
•
•
•
••
•
•
•
• •• ••
••
••
••
••
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
•
•
••
•••
•
•
•
•
•
••
•
••
• •
•
••
• •
•
•
•
•
•
•
• ••
•
••
•
••
•
•
•
•
•
•
•
• ••
•
•• ••
•
•
•
•
•
•
•
•
• •
• •
•
••
•
••
••
• •
•
•
•
•
••
•
•• ••
•
•
•
•
•
•
•
•
••
•
•
•
•
•
• •
•••
••
•
•
•
•
•
••
••• ••
••
•
•
•
••
•
••
••
•• •
•
•
•• •
•
•
•
••
•
•
••
•
• ••
•
••
•••
•
•
•
•
• ••
•• ••
•
••
••
•
•
• •
•
••
•
•
•
••
••
•
••
•
•
•
•
••
•
•
•
• •••••
•
••
•• •
•
•
••
••
•
•
•
••
•
•
•
•
•
•
•
•••
•
•
•
•
••
•
•
•
••
•
•
•
•
•
•••
•
• •
••
•
•
•
•••
•
•
•
••
•
••
•
•
•
•
•
• ••
•
•
•
•
••
•
•
•
•
• •
•• •
••
•
•
•••
•
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•• •••
•
••
•
•
•
••
•
•
••
•
••
•
•
••
••
•
•
•
•
•
•
••
• •
•••
••
•
•
•
•
•
•••
•
•
•
•
•
•
••
•
•
• •
•
•
•
•
•
•
•
•
•• •
• ••••
• •
••
•
•
•••
•••••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
••
•
•••
•
•
• •
•••
••
•
•
••
•
•
•
•
•
•
••
•••
••
•
•
•
••
•
•
••
••
•
•
• •
• •
••
••
•
••
••
•
•
•
••
•
• •
•
•
••
•
••
•
••
•
•
••
••
•••
•
••
•
•
•
•
•
• •
••
•
•
•
•
•
••
•
•••
•
•
•
••
••
•
•
••
•
••
•
•
•••
•
•
•
•
• •
•
•
•
•
•
•
••
•
•
••
•
•
••
•••
•
•••
•
•
•
••
•
•
•••
••
• •
•
•
•
•
•
••
••
••
•
••
••
••
•••
•
••
•
••
•
••
•
•
••
••
•
•
•
•
••
• •
•• •
•
•
••
•
•
•
•••
••
•• ••
•
••
•
•
•••
•
••
••
•
• •
•
•
• •
•• •
••
••
••
• •
•
• •
•
•
•
•• ••
•
••
•
•
••
•
••
••
•
• ••
••
••
•
••
••
•
••• •
••
•
•
•
•
•
•
• •
• ••
• •
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
••
•
•
•
•
••
••
•
••
••
•
••• •
•
••
•
••
•
•
••
•
•
•
•
• ••
•
••
••
•
•
•
•
•
•
••
•
••
•
•
•
••
•
•
•
••
••
••
•
••
••
••••
••
•
••
•
• •
••
••
•
•
•
• ••
••
•
•
•
•
••
•
• •
•
•
••
••
•
•
•
•
•
•
•
••
•
•••
• ••
•
• •
••
•
•
•
• ••
•
•
•
•
••
•
•
•
•
•
••
••
•
•
•
• •
•••
•
••
••
••
•
•••
••
•
•
•
•
••
••
•
•
••
•
•
•
•••
•
• ••
•
• •
•
•
•
• •
•
•
•
•
•
• •
•
•
•
••
•
•
•
•
•••
•
••
•
••• •
•
••
•••
•
•
••
• •
••
•
•
•
• ••
•
••
•
•
••
•
•
•• •
•
•
••
•
•
•••••
•
•
•
•
•
•
•
•
•••• •
•
••
••
•
•
••
••• •
•
••
•
•
•
•
••
• •
•
••
••
•
•••
•
•
••
•
• •
••
•
• •
•
•
• • ••
•
••
•
•
•
••
••
••
••
•
• ••• •
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
••
•
•••
•
•
•
•
•
•
•••••
•
••
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
••
••
•
•••
•
•
•
••
•
•
•
•••
• •
••
• •••
•
••
•
•
•••
••
•••
•
• ••
•
•
••• •
••
•
•••
•
•
••
••
•
•
•
••
••
•
•
•
••
•
••
•
•
•
•
•
•••
•
•
•
••
•
•••
••
••
••
•
•
••• •
•
•
•
•
••
•
• •
••
•
•••
••
•
•
•
•
•
•
•
•
•
•
•
••
••
•••
•
•
• •••
•••
••
•
•• •
•
•
•
•
•
•
•
••
•
••
•
•
••
•
••
•
•
• •
•
•
••
•
• •
••
•
•
••••
•
••
•
•
••
•
••
••
•
• •
•
•
• •
••
••
••
•••
•
•••
• •
•
•
•
•
•
• ••••
•
• •
••
•
•
•
•
••
• •
•
•••
•
••
•
•
••
•
•
•
••
•
•
•••
•
•
•
••
••
••
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
••
•
•
• •
•
•
•
•• •
•
•
•
•
•
•
•
•••
• ••
•
••
•
•
• ••
•
•••
•• •
••
•
•
••
•
•
•
•
•
••
•
•
•
•
••
••
• •
•
•
•
• ••
•
•
••
••
••
•
••
••
••
•
•
•
••
•
•
••
•••
••
•••
••
•
••
•
••
•
•
•
•
•
••
••
•
•
•
•
•
• ••
••
• •
••
•
•
•
•
•
• ••
•
•• •
•
•
•
•
•
•
••
••
••
• •
•• •• •
•
• •••
•
••
•
•
•
•
••
••
•••
•
•••
•••
•
•
•
•
•
•
•
••
••
•
•• •
•
•••
•
••
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
••
•
•
•
••
•
••
•••
•
•
•
••
•
••
•••
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
•
••
••
•
•
•
•
•
•
•• •
•
•
•
•
• ••••
•
•
•
•••
•
••••
•
•
••
••
•
• • •
•
•
•
•••
•
•
• •
••
•
••
•
••••
•
••
•
••
••
•
••
•
• •
•
•
••
••
•
• •
••
••
•
•
•
••
•
••
•
•
•
•
•••
•
••
••
••
•
••
•
••
•
•
•
••
• •
•• •
•
••
••
•
••• •
•
•• •
•••
•
•
•
•
••
•
•
•
••
••
•••• ••
•••
•
• •
•
•
•••
• •
•
•
•
•
•
•
•
•• •
•
•
•
•
•
•
•
••
•
••
•
•••
•
•
•
•
•
•
••
• •
•
•
•
••
••
•
•
•
••
•
•
••
•
•
••
•
••
•• •
•
••
•
•
•
••
••
••
•
•
•
• ••
••
•
•
••
•
•
•
••
•
•
••
••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
•
•
•
••
••
•• •
•
•
•
••
•
•
•
•
•
•
• •
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
••••
••
•••••
• •
••
•
••
•
•••
•
••
•
•
•
•
•
•
•
• •
• ••
•
•
•
•• ••
•
•
•
•
••
•
•
•
•
••
•
••
••
•
•• ••
••
••
•
•
•
•
•
• • •
•
•
•
•
•
•
• •
•
•
••
•
•
••
••
•
••
•
••
•••
•
•
••
••
••
••••
••
•
•
•
•
•
•
••
•
•
•
•
• •
•
•
••
••
•
••
••
•
•
•••
•
•• ••
•
•
••
•• •
•
•
•
•
•
••••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
••
•
••
•
••
•
•
• ••
••
•
•
•
••
•
•
•
••
•
••
•
•
••
•
• ••
••
•
•
•
•
•• •
••
•
••
•
•
•
••
•
•
••
••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
•
•
•
••• •
•
•
•
•
•
••
• •••
•
•
••
••
••
••
•
•••
•
• ••
•
••
•
•
•
•
••
•
•
••
•••
•
•
•
•• ••
••
••
•
•
•
••
• •
•
••
•
•••
•
•••
•
•
••
• •
•
••
•
•
• ••
• •
•
•••
•
•
•
••
•
• •
•
••
••
•
•
•
••
••
•
•
•
••
••
•
•
•
••
•
•
••
••
•
•
•
•• •
•
•
•
•••
••
••
•
•
• ••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
••
••
•
•
••
•
•
•
•
•
••
•
•
•
••
•
•
•
• •••
• •
•
•
•
•
•
•
•
•••
•
•
••
••
••
••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
• ••
•
•
•
••• •
•
•••
•••
••
•
•
•
••
••
•• •
•
•
•
••
•
••
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
•• •
••
•
•
•••
•
•
•• •
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
••
• •• ••
•
•
•
•
••
••
•
•
•
•
•
••
•
• • •
•
•
•••
••
•
••
•
•
••
•
• •
••
•
••
•
•
•
•
•
• •
•
••
••
• •
•
•
•
••••
•
••
•••
•
•••
•
••
•
• •
•
• •
•••
•
•
•
••• • •
•••
•
•
•
••••
•
••
•
•••
••
•
••
•
•• • ••
•
••
••
• •
•
••
•
••
•
•
•
••
•
•
••
••
• ••
••
•
•
••
•
•
•
•
•
••
•
••
•
•
•
••
••• •
• ••
••
•
•
•
•• •
• •
•
••
••
•••
•
•
•
•
•
••••
•
•
•
•
•
••
•
•
••
••
•
•
•
•
• ••
•
• •
••
••
•
•
• •
••• ••
•
•
•
•
•
•
•
• ••
•
•
••• • •
•
•
•••
•
••
•
•
•
••
•
•
•
•
•• ••••
•
•
••
•
•
•
•
•
•
•• •
••
•
•
•
••
•
•••
•
••
•• •
•
••
• •
••
•
••
•
•
•••
• •
•
•
•
•
•
•
•
•••
•
•
•
••
••
•
•
•
•
•
•
•
•
•
• •••
•••
•
•
••
•
•
•
••
•
•
•• •
•
•
•
•
•••
•
• ••
••
• •
•
•
•
••
•
•
•
••
•
••
••
•
•
• •
•
••
•
••
•
•••
•
•
•• •
•
•
•
••
•••
••
•• ••
• ••
••
••
•
•
••• •
•••
••
•
•
•
••
•
•
•
•
••••
••
•
•
••
• ••
•
•
•
••
• ••
••
•
•
•• •
•
••
•
•
•
•
••
••
•
•
••
••
••
••
•
•
•••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
• ••
••
••
• •
•
•
•
•••
•
•••
•
••
••
••
•
•
•••
•
••
•
•
••
•
•
•
•••
•••
••
••
•
•
•••
••••
•
•
•
•••
•
•
••
••
•
•
•
•
•
• •
••
••
•
•
•
•
•
•
• •
•
••
•
•
•
•
•
••
• •
•
•
•
••
•
•••
•
•
•
••
•
•••
•
••
•
•
•• ••
•
••
•
•
•
•
••
•
•
•••
•
•
• •
•
•
••
••
•
•
•
•
•
•
••
•
••
•
•
•
• •••
•
•
•
•
•
•
•••
•
•• •
•
••
••
••
••
•
•••
•
•
•
•
•
•
•
•
•
• •
• •
•
•
•
•
•
•• •
• ••
••
••
•
•
•
•
•
•
•••••
•
•
••
•
•
••
•
••
•
•
• •
•• •
•
•
•
•
•
•• •
•
•
•
•
•
• •
•••
•
••
•
•
•
•
•
•
••
••
•
•••
•
• ••
•••••
•
• •
••
•••
•
• ••
••
•
•
•
•
•
•
•
•
•
•
•
•• • •
• •
•
•
• •
•
•
• ••
•
•
•
••
•
••
•
•
•
••
••
••
•
•
•
•
•
••
••
•
•
•
•
••
•
•
•
••
••
••
• •• •
•
•
•••
• ••
•
••
•
•
••
•
•
•
•
•
•
• •
•
•
•
•
•• •• •
••••
••
•
•
•
••
•
••
•
•
•
•
•
•
•
•
•• •
•
••
•
•
•
•
•
•
•
• •
••• ••
••
•
••••
••
•
•
• •
•
•
t Dependence
X1X2
-4 -2 0 2 4
-4-2
02
4Copula parameter ρ = 0.7; quantiles lines 0.5% and 99.5%.
c2004 (Frey & McNeil) 24
Introduction to EVT - Applications to QRM 88
III - Dependence Tail dependence: an example Marie Kratz, ESSEC CREAR
Joint Tail Probabilities at Finite Levels
ρ C Quantile
95% 99% 99.5% 99.9%
0.5 N 1.21× 10−2 1.29× 10−3 4.96× 10−4 5.42× 10−5
0.5 t8 1.20 1.65 1.94 3.01
0.5 t4 1.39 2.22 2.79 4.86
0.5 t3 1.50 2.55 3.26 5.83
0.7 N 1.95× 10−2 2.67× 10−3 1.14× 10−3 1.60× 10−4
0.7 t8 1.11 1.33 1.46 1.86
0.7 t4 1.21 1.60 1.82 2.52
0.7 t3 1.27 1.74 2.01 2.83
For normal copula probability is given.
For t copulas the factor by which Gaussian probability must be
multiplied is given.
c2004 (Frey & McNeil) 25(Example from the book by McNeil, Rudiger and Embrechts (2017).Quantitative Risk Management)
Introduction to EVT - Applications to QRM 89
III - Dependence Tail dependence: an example Marie Kratz, ESSEC CREAR
Joint Tail Probabilities, d ≥ 2
ρ C Dimension d
2 3 4 5
0.5 N 1.29× 10−3 3.66× 10−4 1.49× 10−4 7.48× 10−5
0.5 t8 1.65 2.36 3.09 3.82
0.5 t4 2.22 3.82 5.66 7.68
0.5 t3 2.55 4.72 7.35 10.34
0.7 N 2.67× 10−3 1.28× 10−3 7.77× 10−4 5.35× 10−4
0.7 t8 1.33 1.58 1.78 1.95
0.7 t4 1.60 2.10 2.53 2.91
0.7 t3 1.74 2.39 2.97 3.45
We consider only 99% quantile and case of equal correlations.
c2004 (Frey & McNeil) 26
Introduction to EVT - Applications to QRM 90
III - Dependence Tail dependence: an example Marie Kratz, ESSEC CREAR
Financial InterpretationConsider daily returns on 5 financial instruments and suppose thatwe believe that all correlations between returns are equal to 50%.However, we are unsure about the best multivariate model forthese data.
→ If returns follow a multivariate Gaussian distribution then theprobability that on any day all returns fall below their 1% quantilesis 7.48× 10−5. In the long run such an event will happen onceevery 13369 trading days on average, that is roughly once every51.4 years (assuming 260 trading days in a year).
→ On the other hand, if returns follow a multivariate t distributionwith 4 degrees of freedom then such an event will happen 7.68times more often, that is roughly once every 6.7 years.
Introduction to EVT - Applications to QRM 91
IV - Multivariate EVT MEV Marie Kratz, ESSEC CREAR
IV - MEV distribution
Some notation.Let X1, · · · , Xi, · · · , Xn be iid random vectors in Rd, each Xi
(i = 1, · · · , n) having its components denoted by Xij , j = 1, · · · , d;they could be interpreted as losses of d different types.
Let F be the joint df of any random vector Xi and F1, · · · , Fd beits marginal dfs.
Let Mnj = max1≤i≤n
Xij , for j = 1, · · · , d; it is the maximum of the
jth component.
Let Mn be the d-random vector the vector of componentwise blockmaxima, i.e. with components Mij , i = 1, · · · , n.
Main question: as in the univariate case, which underlyingmultivariate dfs F are attracted to which MEV distributions H?
Introduction to EVT - Applications to QRM 92
IV - Multivariate EVT MEV Marie Kratz, ESSEC CREAR
Def. MEV and MDA. If there exist vectors of normalizingconstants (of dimension d) cn > 0 and dn such that
P[Mn − dn
cn≤ x
]= Fn(cnx+ dn) −→
→∞H(x), for some H
(i.e. (Mn − dn)/cn converges in distribution to a random vectorwith joint df H), we say that F is in the Maximum Domain ofAttraction of H, written F ∈MDA(H), and we refer to H as aMEV (Multivariate Extreme Value) distribution.
If H has non-degenerate margins, then
univariate EVT ⇒ these margins are univariate EVdistributions of one of the three types;
continuous margins + Sklar’s theorem ⇒ H has a uniquecopula
Introduction to EVT - Applications to QRM 93
IV - Multivariate EVT MEV Marie Kratz, ESSEC CREAR
TheoremIf F ∈MDA(H) for some F and H with GEV margins, then theunique copula C of H satisfies the scaling property
C(u) = Cz(u1/z), ∀u ∈ Rd, ∀z > 0
which means that C is an extreme value (EV) copula (as definedpreviously); it can then be the copula of an MEV distribution.
The dependence function A (named Pickands function) can bedefined as A(w) =
∫ 10 max
(w(1− x); (1− w)x
)dH(x) for a
measure H on [0, 1], or can be defined from the EV copula bysetting
A(w) = − lnC(e−w, e−(1−w)
), w ∈ [0, 1].
Bounds had been also provided for A ; if the upper bound is reached, ie ifA(w) = 1 ∀w, then C is the independence copula; if the lower bound isreached ie A(w) = max(w, 1− w), then it is a comonotonicity copula.
Introduction to EVT - Applications to QRM 94
IV - Multivariate EVT Copula domain of attraction Marie Kratz, ESSEC CREAR
Copula domain of attraction
Theorem (Galambos, 1987)
. Let Fi; i = 1, · · · , d be some continuous marginals dfs and C besome copula.Let define F (x) = C
(F1(x1), · · · , Fd(xd)
)and let
H(x) = C0
(H1(x1), · · · , Hd(xd)
)be an MEV distribution with EV
copula C0.Then F ∈MDA(H) iffFi ∈MDA(Hi) for i = 1, · · · , d, and
limt→∞
Ct(u
1/t1 , · · · , u1/t
d
)= C0(u1, · · · , ud), u ∈ [0, 1]d.
Notice that:
the marginal distributions of F determine the margins of the MEVlimit but are irrelevant to the determination of its dependencestructure;
the copula C0 of the limiting MEV distribution is determined solelyby the copula C of the underlying distribution .
Introduction to EVT - Applications to QRM 95
IV - Multivariate EVT Copula domain of attraction Marie Kratz, ESSEC CREAR
Definition. If limt→∞
Ct(u
1/t1 , · · · , u1/t
d
)= C0(u1, · · · , ud), u ∈ [0, 1]d,
for some C and some EV copula C0, then we say that C is in thecopula domain of attraction of C0: C ∈ CDA(C0).
Upper tail dependence and CDA Let C be a bivariate copula withupper tail-dependence coefficient λu. Assume that C ∈MDA(C0)for some EV copula C0.Then λu is also the upper tail-dependence coefficient of C0 and isrelated to its dependence function by λu = 2(1−A(1/2)).
Proof. First, let us prove that C and C0 have the same λu. To do so, we just
need to check that limα→1
1− C(α, α)
1− α = limα→1
1− C0(α, α)
1− α .
We have, using the definition of C ∈ CDA(C0),
limα→1
1− C0(α, α)
1− α = limα→1
logC0(α, α)
1− α = limα→1
limt→∞
log(t[1− C(α1/t, α1/t)]
)1− α
= limα→1
lims→0+
1− C(αs, αs)
−s log(α)= limα→1
lims→0+
1− C(αs, αs)
− log(αs)= limβ→1−
1− C(β, β)
1− β .
hence the result. Prove the converse as an exercise.
Introduction to EVT - Applications to QRM 96
V - Backtesting risk measures VaR - optimal point forecast Marie Kratz, ESSEC CREAR
V - Backtesting Risk Measures
1 - VaR
(a) Optimal point forecast
VaR is elicited by the weighted absolute error scoring function
s(x, y) = (1x≥y − α)(x− y), 0 < α < 1 fixed
(Thomson (79), Saerens (00), or Gneiting (11) for details)
⇒ VaR : optimal point forecast
→ this allows for the comparison of different forecastmethods.
However, in practice, we have to compare VaR predictions bya single method with observed values, in order to assess thequality of the predictions.
Introduction to EVT - Applications to QRM 97
V - Backtesting risk measures VaR - binomial test Marie Kratz, ESSEC CREAR
(b) A popular procedure: a binomial test on the proportion ofviolations
Assuming a continuous loss distribution,P[L > V aRα(L)] = 1− α⇒ the probability of a violation of VaR is 1− α
We define the violation process of VaR as
It(α) = 1L(t)>V aRα(L(t))
.
VaR forecasts are valid iff the violation process It(α) satisfiesthe two conditions (Christoffersen, 03):
(i) E[It(α)] = 1−α (ii) It(α) and Is(α) are independent for s 6= t
Under (i) & (ii), It(α)’s are iid B(1− α) ⇒n∑
t=1
It(α)d∼ B(n, 1− α)
Introduction to EVT - Applications to QRM 98
V - Backtesting risk measures VaR - binomial test Marie Kratz, ESSEC CREAR
In practice, it means:
to estimate the violation process by replacing VaR by itsestimatescheck that this process behaves like iid Bernoulli randomvariables with violation (success) probability p0 ' 1− αTest on the proportion p of VaR violations,
estimated by1
n
n∑
t=1
It(α):
H0: p = p0 = 1− α against H1: p > p0
If the proportion of VaR violations is not significantly different from1− α, then the estimation/prediction method is reasonable.Note:
Convenient procedure because it can be performedstraightforwardly within the algorithms estimating the VaRCondition (ii) might be violated in practice ⇒ various tests onthe independence assumption have been proposed in theliterature, as e.g. one developed by Christoffersen and Pelletier(04), based on the duration of days between the violations ofthe VaR thresholds.
Introduction to EVT - Applications to QRM 99
V - Backtesting risk measures ES - distribution forecast Marie Kratz, ESSEC CREAR
2 - Expected Shortfall (ES) or TVaR
(a) Backtesting distribution forecasts
Testing the distribution forecasts could be helpful, inparticular for tail-based risk measures like ES.
Ex: method for the out-of-sample validation of distributionforecasts, based on the Levy-Rosenblatt transform, namedalso Probability Integral Transform (PIT).See Diebold et al.; based on the Rosenblatt result that
F (X)d= U(0, 1); they observed that if a sequence of distribution
forecasts coincides with the sequence of unknown conditional lawsthat have generated the observations, then the sequence of PIT areiid U(0, 1).
Nevertheless, there were still some gaps to fill up before a full
implementation and use in practice. Various issues left open studied
by Blum (PhD thesis, 04), in part. in situations with overlapping
forecast intervals and multiple forecast horizons.
Introduction to EVT - Applications to QRM 100
V - Backtesting risk measures ES - componentwise optimal forecast Marie Kratz, ESSEC CREAR
(b) A component-wise optimal forecast for ES
ES: example of a risk measure whose conditional elicitability(see Emmer et al.) provides the possibility to forecast it intwo steps.
1 We forecast the quantile (VaRα) as
qα(L) = arg minxEP [s(x, L)]
with s(x, y) = (1x≥y − α)(x− y) strictly consistent scoringfunction
2 Fixing this value qα, E[L|L ≥ qα] is just an expected value.Thus we can use strictly consistent scoring function to forecast
ESα(L) ≈ E[L|L ≥ qα].
If L is L2, the score function can be chosen as the squarederror:
ESα(L) ≈ arg minxEP [(x−L)2] where P (A) = P (A|L ≥ qα).
Introduction to EVT - Applications to QRM 101
V - Backtesting risk measures ES - multinomial test Marie Kratz, ESSEC CREAR
(c) An implicit backtest for ES: a simple multinomial test
. Idea came from the following (Emmer et al.):
ESα(L) =1
1− α
∫ 1
αqu(L) du
≈ 1
4[ qα(L) + q0.75α+0.25(L) + q0.5α+0.5(L) + q0.25α+0.75(L) ] .
where qα(L) = V aRα(L). Hence, if the four qaα+b(L) aresuccessfully backtested, then also the estimate of ESα(L)might be considered reliable.
. We can then build a backtest based on that intuitive idea ofbacktesting ES via simultaneously backtesting multiple VaRestimates evaluated with the same method as the one used tocompute the ES estimate.
Note: the Basel Committee on banking Supervision suggests a variant of
this ES-backtesting approach based on testing level violations for two
quantiles at 97.5% and 99% level (Jan. 2016).Introduction to EVT - Applications to QRM 102
VI - An implicit backtest for ES Introduction Marie Kratz, ESSEC CREAR
VI - Building an implicit backtest for ES via a simplemultinomial approachMain questions:
Does a multinomial test work better than a binomial one formodel validation?
Which particular form of the multinomial test should we usein which situation?
What is the ’optimal’ number of quantiles that should be usedfor such a test to perform well?
To answer these questions, we build a multi-steps experiment onsimulated data:. Static view: we test distributional forms (typical for the
trading book) to see if the multinomial test distinguishes wellbetween them, in particular between their tails
. Dynamic view: looking at a time series setup in which theforecaster may misspecify both the conditional distribution ofthe returns and the form of the dynamics, in different ways.
Introduction to EVT - Applications to QRM 103
VI - An implicit backtest for ES A multinomial test Marie Kratz, ESSEC CREAR
A multinomial testTesting set-up
- We have a series of ex-ante predictive models Ft, t = 1, . . . , n anda series of ex-post losses Lt, t = 1, . . . , n.
- At each time t, the model Ft is used to produce estimates (orforecasts) of V aRα,t and ESα,t at various probability levels α.
- The VaR estimates are compared with Lt to assess the adequacy ofthe models in describing the losses, with particular emphasis on themost extreme losses.
We generalize the idea of Emmer et al. by considering VaR probabilitylevels α1, . . . , αN defined, for some starting level α, by
αj = α+j − 1
N(1− α), j = 1, . . . , N.
We set, for N > 1, α = 0.975 (level used for ES calculation, and lowestof the two levels used for backtesting under the Basel rules for banks)and for N = 1, α = 0.99 (usual level for binomial tests of VaRexceptions).
We also set α0 = 0 and αN+1 = 1.
Introduction to EVT - Applications to QRM 104
VI - An implicit backtest for ES A multinomial test Marie Kratz, ESSEC CREAR
Testing simultaneously N VaR’s (with N > 1) leads to a multinomialdistribution; we can set the null hypothesis of the multinomial test as
(H0) : pj := E[1(Lt>V aRj,t)](= P[Lt > V aRj,t]) = pj,0 := 1− αj , ∀ j = 1, · · · , N
Assuming the n observations come from a loss variable L with continuousdistribution F , introduce the observed cell counts between quantile levels
qα = F←(α) as Oj =
n∑
t=1
I(qj−1<Lt≤qj), for j = 1, ..., N + 1.
Then (O1, . . . , ON+1) follows a mutinomial distribution:
(O1, . . . , ON+1) ∼ MN(β1 − β0, . . . , βN+1 − βN )
for parameters β1 < · · · < βN with β0 = 0 and βN+1 = 1.Hence the test can be rewriten as
∣∣∣∣H0 : βj = αj for j = 1, . . . , NH1 : βj 6= αj for at least one j ∈ 1, . . . , N.
To judge the relevance of the test, compute :its size γ = P(reject H0)|H0 true] (type I error)and its power 1− β = 1− P[(accept H0)|H0 wrong] (1- type II error).
Introduction to EVT - Applications to QRM 105
VI - An implicit backtest for ES A multinomial test Marie Kratz, ESSEC CREAR
Checking the size of the multinomial test: straightforward, bysimulating data from a multinomial distribution under the nullhypothesis (H0). This can be done by simulating data fromany distribution (such as normal) and counting theobservations between the true values of the αj-quantiles, orsimulating from the multinomial distribution directly.To calculate the power: we have to simulate data frommultinomial models under the alternative hyp. (H1). Here wechose to simulate from models coming from a distribution G,having heavy tails and possibly skewness, with G 6= F (truedistr.), where the parameters are given by
βj = F (G←(αj)) , with βj 6= αj .
Example:F= true distribution of Lt, so that the true quantiles= F←(αj). However a modeller chooses the wrongdistribution G and makes estimates G←(αj) of the quantiles.The probabilities associated with these quantile estimates ares.t. βj = F (G←(αj)) 6= αj .
Introduction to EVT - Applications to QRM 106
VI - An implicit backtest for ES A multinomial test Marie Kratz, ESSEC CREAR
This test is closely linked to the PIT method for the backtest of aprobability distribution forecast. Checking that, ∀j,βj = F (G←(αj)) = αj , comes back to check that G(Xj) is uniformlydistributed, with Xj ∼ F , with known realizations xj (for PIT method,we would do it for all the known realizations). Kind of PIT test.
Various test statistics can be used to describe the event (reject ofH0) (see e.g. Cai and Krishnamoorthy for five possible tests for testing
the multinomial proportions). Here we use, for comparison,
the Pearson chi-square:
SN =
N∑
j=0
(Oj − n(αj+1 − αj))2
n(αj+1 − αj)d∼H0
χ2N
and two of its possible modifications:
the Nass test
the LR (asymptotic Likelihood Ratio test)
Introduction to EVT - Applications to QRM 107
VI - An implicit backtest for ES Multi-steps experiment: static view Marie Kratz, ESSEC CREAR
. Multi-steps experiment: Static view
Simulate multinomial data where F is normal (benchmark) and Gof various types: t5, t3 and skewed t3
Count the simulated observations lying between the N quantiles ofG, where N = 1, 2, 4, 8, 16, 32, 64
Choose different lengths n1 for the sample of backtest, namelyn1 = 250, 500, 1000, 2000, and estimate the rejection probability forthe null hypothesis (H0) using 10 000 replications (changing seeds)
Why introducing several quantiles (ES) ?
V aR0.975 V aR0.99 ∆1 ES0.975 ∆2
Normal 1.96 2.33 0.00 2.34 0.00t5 1.99 2.61 12.04 2.73 16.68t3 1.84 2.62 12.69 2.91 24.46
st3 (γ = 1.2) 2.04 2.99 28.68 3.35 43.11
Values of V aR0.975, V aR0.99 and ES0.975 for four distributions (mean0, var 1) used in simulationstudy (Normal, Student t5, Student t3, skewed Student t3 with skewness parameter γ = 1.2). ∆1column shows percentage increase in V aR0.99 compared with normal distribution; ∆2 column showspercentage increase in ES0.975 compared with normal distribution.
Introduction to EVT - Applications to QRM 108
VI - An implicit backtest for ES Multi-steps experiment: static view Marie Kratz, ESSEC CREAR
Rejection rate for the null hypothesis (H0) on a sample size of length n1, usinga multinomial approach with 3 possible tests (χ2, Nass, LR) to backtestsimultaneously the N = 2k, 1 ≤ k ≤ 6, quantiles VaRαj , 1 ≤ j ≤ N , withα1 = α = 97.5%, on data simulated from various distributions (normal,Student t3, t5 and skewed t3)
test Pearson Nass LRT
G n | N 1 2 4 8 16 32 64 1 2 4 8 16 32 64 1 2 4 8 16 32 64
Normal 250 3.9 4.7 5.6 8.5 10.5 14.1 21.5 3.9 3.5 5.0 4.7 5.1 5.0 4.8 7.5 10.0 6.5 6.5 6.5 6.2 6.1500 3.9 4.4 5.2 6.6 8.6 12.3 16.2 3.9 3.9 4.7 4.7 5.5 5.5 5.3 5.9 5.8 5.5 5.6 5.3 5.3 5.21000 5.0 5.2 5.0 5.6 7.2 9.0 12.0 5.0 4.8 4.7 4.9 5.1 5.3 5.1 4.1 5.5 5.5 5.8 5.6 5.6 5.72000 5.0 4.5 4.8 5.0 6.3 7.2 8.8 5.0 4.3 4.5 4.5 5.3 5.1 4.9 4.2 4.9 4.7 5.0 5.1 5.1 5.0
t5 250 4.1 10.2 14.1 20.8 22.4 27.0 34.2 4.1 7.7 12.8 14.1 13.4 14.4 13.0 6.9 14.4 15.8 21.6 26.6 30.7 33.7500 5.2 15.7 22.1 28.4 32.2 36.2 39.8 5.2 14.3 20.5 24.5 26.6 26.0 22.7 6.5 15.5 26.9 36.6 44.7 50.4 54.81000 6.9 26.7 40.2 48.2 53.0 54.8 55.8 6.9 25.5 39.5 46.2 48.6 47.7 43.8 5.2 26.1 46.4 61.8 71.4 76.7 80.52000 7.3 47.2 70.4 79.3 82.5 82.8 82.0 7.3 47.0 69.6 78.2 80.8 80.2 77.0 5.8 48.0 77.4 89.5 94.4 96.6 97.6
t3 250 3.6 7.3 13.7 21.1 19.4 25.8 28.1 3.6 5.6 12.1 14.8 13.4 13.2 13.6 10.3 24.4 24.4 35.4 43.2 48.0 51.9500 4.8 16.1 25.2 32.7 35.2 40.1 38.6 4.8 15.5 22.4 28.7 32.3 29.4 26.4 9.5 26.2 44.2 58.6 67.9 73.8 78.01000 9.9 37.4 55.6 62.9 65.2 64.8 64.2 9.9 35.2 54.1 60.3 61.4 59.9 54.7 9.7 47.2 75.4 87.7 93.2 95.5 96.82000 16.6 73.1 91.0 94.5 94.9 93.9 92.1 16.6 72.7 90.5 94.2 94.3 92.6 89.6 16.5 79.5 96.8 99.4 99.8 99.9 100.0
st3 250 5.4 18.9 28.8 40.0 38.7 46.3 50.5 5.4 15.3 26.3 30.5 30.2 30.5 30.7 8.0 24.6 33.5 46.5 55.1 60.8 65.4500 6.9 34.9 50.7 60.6 64.6 69.5 70.2 6.9 33.2 47.6 56.2 61.4 60.0 56.8 7.9 35.9 59.3 73.6 81.6 86.2 88.91000 9.5 62.3 83.0 89.1 91.3 92.1 92.0 9.5 61.4 82.3 88.1 90.0 90.0 87.9 6.9 62.3 88.1 95.3 97.9 98.9 99.22000 12.2 90.7 98.7 99.7 99.8 99.8 99.7 12.2 90.7 98.6 99.7 99.7 99.7 99.5 9.8 91.6 99.3 99.9 100.0 100.0 100.0
Table 3: Estimated size and power of three di↵erent types of multinomial test (Pearson, Nass, likelihood-ratio test (LRT)) based on exceptions of N levels.Results are based on 10000 replications
13
Introduction to EVT - Applications to QRM 109
VI - An implicit backtest for ES Multi-steps experiment: static view Marie Kratz, ESSEC CREAR
Synopsis for the static view
- For all non normal distributions, considering only the VaR (1 point)does not reject the normal hypothesis, for all tests. The VaR doesnot capture enough the heaviness of the tail. Taking 2 quantilesimproves slightly but not enough. The mulinomial approach withN ≥ 4 gives certainly much better results than the traditionalbinomial backtest
- The heavier the tail of the tested distribution, the more powerful isthe multinomial test
- For all the distributions, increasing the number n1 of observationsimproves the power of all tests
- The Nass test with N = 4 or 8 seems to be a good compromisebetween an acceptable size and power and to be slightly preferableto the Pearson test with N = 4.
- In comparison with Nass, the LRT with N = 4 or N = 8 is a littleoversized but very powerful.
- If obtaining power to reject bad models is the overriding concern,
then the LRT with N > 8 is extremely effective
Introduction to EVT - Applications to QRM 110
VI - An implicit backtest for ES Multi-steps experiment: static view Marie Kratz, ESSEC CREAR
Determining an ’optimal’ N , s.t. N the smallest possible toprovide a combination of reasonable size and power of the backtest(to have a backtest comparable with the one of the VaR in termsof simplicity and speed of procedure):
- Select N s.t. the size of the 3 corresponding tests lies below6%.
- For n1 ≥ 500, the size varies between 4.2% and our threshold6%. For the first two tests (chi-square and Nass), the sizeincreases with N , whereas, for the LRT, it is more or lessstable (slightly nonincreasing with increasing N)
- The power increases with N and the sample size n1, for the 3tests. It makes sense: the more information we have in thetail, the easier it is to distinguish between light and heavy tails
→ N = 4 or 8 : overall reasonable choice.
Introduction to EVT - Applications to QRM 111
VI - An implicit backtest for ES Multi-steps experiment: static view Marie Kratz, ESSEC CREARof these thresholds, which makes them a more reliable type of test.
G n | test Bin (0.99) Pearson (4) Nass (4) LRT (4) LRT (8)
Normal 250 4.0 5.6 5.0 6.5 6.5500 3.7 5.2 4.7 5.5 5.61000 3.8 5.0 4.7 5.5 5.82000 5.4 4.8 4.5 4.7 5.0
t5 250 17.7 14.1 12.8 15.8 21.6500 22.4 22.1 20.5 26.9 36.61000 33.0 40.2 39.5 46.4 61.82000 59.9 70.4 69.6 77.4 89.5
t3 250 13.5 13.7 12.1 24.4 35.4500 16.2 25.2 22.4 44.2 58.61000 22.3 55.6 54.1 75.4 87.72000 41.4 91.0 90.5 96.8 99.4
st3 250 31.2 28.8 26.3 33.5 46.5500 44.2 50.7 47.6 59.3 73.61000 66.2 83.0 82.3 88.1 95.32000 92.9 98.7 98.6 99.3 99.9
Table 4: Comparison of estimated size and power of one-sided binomial score test with ↵ = 0.99and Pearson, Nass and likelihood-ratio test with N = 4 and LRT with N = 8. Results are basedon 10000 replications
3.2 Static backtesting experiment
The style of backtest we implement (both here and in Section 3.3) is designed to mimic theprocedure used in practice where models are continually updated to use the latest marketdata. We assume that the estimated model is updated every 10 steps; if these steps areinterpreted as trading days this would correspond to every two trading week.
3.2.1 Experimental design
In each experiment we generate a total dataset of n + n2 values from the true distributionG; we use the same four choices as in the previous section. The length n of the backtestis fixed at the value 1000.
The modeller uses a rolling window of n2 values to obtain an estimated distribution F , n2
taking the values 250 and 500. We consider 4 possibilities for F :
The oracle who knows the correct distribution and its exact parameter values.
The good modeller who estimates the correct type of distribution (normal when G isnormal, Student t when G is t5 or t3, skewed Student when G is st3).
The poor modeller who always estimates a normal distribution (which is satisfactoryonly when G is normal).
The industry modeller who uses the empirical distribution function by forming stan-dard empirical quantile estimates, a method known as historical simulation in indus-try.
16
Results from binomial tests are much more sensitive to the choice of α. We
have seen before that their performance for α = 0.975 is very poor. The
multinomial tests using a range of thresholds are much less sensitive to the
exact choice of these thresholds, which makes them a more reliable type of test.Introduction to EVT - Applications to QRM 112
VI - An implicit backtest for ES Multi-steps experiment: static view Marie Kratz, ESSEC CREAR
Other experimental design (static view)The style of backtest is designed to mimic the procedure used in practice wheremodels are continually updated to use the latest market data. We assume thatthe estimated model is updated every 10 steps.In each experiment we generate a total dataset of n+ n2 values from the truedistribution G; we use the same four choices as in the previous section. Thelength n of the backtest is fixed at the value 1000.
The modeller uses a rolling window of n2 values to obtain an estimated cdf F ,
with n2=250, 500 respectively. We consider 4 possibilities for F :
The oracle who knows the correct distribution and its exactparameter values.
The good modeller who estimates the correct type of distribution(normal when G is normal, Student t when G is t5 or t3,skewed Student when G is st3).
The poor modeller who always estimates a normal distribution (which issatisfactory only when G is normal).
The industry modeller who uses the empirical distribution function byforming standard empirical quantile estimates, a methodknown as historical simulation in industry.
We consider the same three multinomial tests as before and the same numbers of
levels N . The experiment is repeated 1000 times to determine rejection rates.Introduction to EVT - Applications to QRM 113
VI - An implicit backtest for ES Multi-steps experiment: static view Marie Kratz, ESSEC CREAR
Results:
- Again clear that taking values of N ≥ 4 gives reliable results,
superior to those obtained when N = 1 or N = 2.
- The use of only one or two quantile estimates does not seemsufficient
→ to discriminate between light and heavy tails→ a fortiori to construct an implicit backtest of ES based on N
VaR levels.
Introduction to EVT - Applications to QRM 114
VI - An implicit backtest for ES Multi-steps experiment: dynamic view Marie Kratz, ESSEC CREAR
. Multi-steps experiment: Dynamic view
Backtesting experiment conducted now in a time-series setup. Thetrue data-generating mechanism for the losses is a stationaryGARCH(1,1) model with Student innovations (parameters chosenby fitting this model to S&P index log-returns for the period2000–2012 (3389 values)).
A variety of forecasters use different methods to estimate theconditional distribution of the losses at each time point and deliverVaR estimates.
Length of the backtest: n = 1000 (approximately 4 years)
Each forecaster uses a rolling window of n2 values to make theirforecasts.
We consider the values n2 = 500, 1000 respectively (longer windowlengths than in the static backtest study since more data isgenerally needed to estimate a GARCH model reliably). All modelsare re-estimated every 10 time steps. Experiment repeated 500times to determine rejection rates for each forecaster.Introduction to EVT - Applications to QRM 115
VI - An implicit backtest for ES Multi-steps experiment: dynamic view Marie Kratz, ESSEC CREAR
Oracle: the forecaster knows the correct model and its exact parametervalues.
GARCH.t: the forecaster estimates the correct type of model(GARCH(1,1)- t).
GARCH.HS: the forecaster uses a GARCH(1,1) model to estimate thedynamics of the losses, but applies empirical quantileestimation to the residuals to estimate quantiles of theinnovation distribution and hence quantiles of the conditionalloss distribution (method called ’filtered historical simulation’)
GARCH.EVT: the forecaster uses a variant on GARCH.HS in which an EVTtail model is used to get slightly more accurate estimates ofconditional quantiles in small samples.
GARCH.norm: the forecaster estimates a GARCH(1,1) model with normalinnovation distribution.
ARCH.t: the forecaster misspecifies the dynamics of the losses bychoosing an ARCH(1) model but correctly guesses that theinnovations are t-distributed.
ARCH.norm: as in GARCH.norm but the forecaster misspecifies thedynamics to be ARCH(1).
HS: the forecaster applies standard empirical quantile estimation tothe data. As well as completely neglecting the dynamics ofmarket losses, this method is prone to the drawbacks ofempirical quantile estimation in small samples.
Introduction to EVT - Applications to QRM 116
VI - An implicit backtest for ES Multi-steps experiment: dynamic view Marie Kratz, ESSEC CREAR
Estimated size and power of three different types of multinomial test (Pearson,Nass, likelihood-ratio test (LRT)) based on exceptions of N levels. Results arebased on 500 replications of backtests of length 1000
Test Pearson Nass LRT
n2 F | N 1 2 4 8 16 32 64 1 2 4 8 16 32 64 1 2 4 8 16 32 64
500 Oracle 6.0 4.0 3.8 5.0 5.6 9.6 9.4 6.0 3.2 3.6 4.2 2.8 4.8 4.0 3.4 4.8 5.2 5.0 5.4 5.6 5.6GARCH.t 6.8 5.6 6.2 8.0 8.2 12.8 18.4 6.8 5.0 6.0 6.2 7.0 7.6 6.4 4.6 5.0 5.4 4.8 4.6 5.2 5.2GARCH.HS 1.6 1.6 4.4 11.8 25.4 92.0 98.8 1.6 1.4 4.4 10.8 20.4 85.0 97.4 0.8 1.6 3.6 2.0 2.0 5.6 13.0GARCH.EVT 2.2 3.6 3.6 7.2 7.6 12.2 16.2 2.2 3.6 3.2 6.0 5.0 6.8 7.4 0.8 3.6 2.0 0.8 1.2 1.0 1.0GARCH.norm 10.8 34.0 50.4 61.6 66.0 68.6 69.4 10.8 32.2 49.4 60.0 61.4 63.2 55.4 8.2 34.0 55.2 71.2 79.8 85.0 87.4ARCH.t 34.0 32.4 32.0 29.8 29.4 33.8 39.6 34.0 31.4 31.2 28.6 26.8 25.6 28.0 30.4 31.2 31.4 31.6 31.8 31.8 31.2ARCH.norm 96.2 99.6 99.6 99.8 100.0 100.0 100.0 96.2 99.6 99.6 99.8 100.0 100.0 100.0 95.0 99.6 99.6 99.8 100.0 100.0 100.0HS 39.4 38.8 39.8 42.2 49.8 80.2 90.0 39.4 38.6 39.8 40.8 48.0 77.0 85.0 36.8 40.0 44.8 43.8 42.2 49.2 55.8
1000 Oracle 4.2 3.4 3.8 3.4 5.0 7.6 10.2 4.2 3.2 3.8 2.8 3.6 3.8 3.8 3.4 2.6 3.2 2.6 2.6 2.4 2.4GARCH.t 5.8 4.6 6.2 5.2 6.0 11.2 12.8 5.8 3.8 5.2 3.2 4.2 6.6 6.6 4.4 2.8 3.6 3.6 3.4 4.8 4.0GARCH.HS 3.0 2.0 2.6 4.4 10.2 21.2 69.0 3.0 1.8 2.2 4.0 7.2 13.2 56.0 1.8 1.6 2.6 3.4 3.8 3.0 5.2GARCH.EVT 2.6 3.4 4.2 4.2 7.0 7.2 10.4 2.6 3.4 3.6 3.4 5.0 3.8 4.2 1.6 4.6 3.2 2.6 2.0 1.8 1.8GARCH.norm 9.4 30.6 45.6 52.2 58.4 61.4 63.6 9.4 29.8 44.6 49.6 53.0 54.6 50.6 6.4 28.4 49.8 65.2 76.6 83.0 86.6ARCH.t 42.4 36.8 32.8 28.0 25.0 30.2 33.8 42.4 36.0 32.2 27.0 23.0 25.6 27.2 39.4 40.2 39.6 40.0 40.2 40.4 40.8ARCH.norm 82.8 94.6 97.6 98.2 98.6 98.2 98.6 82.8 94.4 97.6 98.0 98.2 98.0 97.8 80.8 95.2 98.8 98.8 99.2 99.2 99.4HS 51.4 51.0 45.0 37.2 34.6 39.8 55.6 51.4 50.6 44.4 35.0 31.8 36.2 49.8 49.2 51.8 52.6 53.8 53.8 53.0 55.4
Table 6: Estimated size and power of three di↵erent types of multinomial test (Pearson, Nass, likelihood-ratio test (LRT)) based on exceptions of N levels.Results are based on 500 replications of backtests of length 1000
22
To conclude, this experiment confirms that using N = 4 or 8 quantiles
gives an effective multinomial test; N = 4 is appropriate if using a
Pearson or Nass tests and N = 8 gives superior power if using the LRT.
Introduction to EVT - Applications to QRM 117
VI - An implicit backtest for ES Criterion Marie Kratz, ESSEC CREAR
A procedure to implicitely backtest ES
. In view of the numerical results we can suggest an ’optimal’ multinomial test.
Number of quantiles taken at intervals such that E(Oj) isconstant; it turns out that choosing N = 4 seems adequate,and N = 8 in LRT is the most powerful.Among the 3 possible tests, the Nass test and the LRT shareon average the best results, taking into account both the testsize and power, the Nass for the static view and the LRT forthe dynamic one. The LRT is in general the most powerfuland might be used if we want more sensitivity, in particularw.r.t. the parameters.
. The ES estimated with a model that is not rejected by our multinomial test,is implicitely accepted by our backtest. Hence we can use the same rejectioncriterion for ES as for the null hypothesis (H0) in the multinomial test.
. A traffic light system has been proposed recently by the Basel Committee for
Banking Supervision (Jan.2016) based on the backtest of two quantiles, to
improve the binomial approach for one quantile. We can use a similar metaphor
to illustrate the decision criterion about validating or not the ES estimate, and
compare it to the binomial (N = 1) or N = 2 approaches.
Introduction to EVT - Applications to QRM 118
VI - An implicit backtest for ES Conclusion Marie Kratz, ESSEC CREAR
Conclusion
We developed several variants of a multinomial test tosimultaneously judge the backtesting performance of tradingbook models at different VaR levels; it gives then an implicitbacktest for ES.
Evaluation of this multinomial approach in a series of MonteCarlo simulation studies of size and power, and furtherexperiments that replicate typical conditions of an industrybacktest. It aims as understanding better the test itself andset a benchmark; it has been carried out on real data (oneexample on S&P500; see the paper)
The multinomial test distinguishes much better between goodand bad models (particularly in longer backtests) than:
- the standard binomial exception test- a multinomial test based on two quantiles
Introduction to EVT - Applications to QRM 119
VI - An implicit backtest for ES Conclusion Marie Kratz, ESSEC CREAR
Backtesting simultaneously 4 or 8 (for LRT) quantile levels seemsan optimal choice whatever is the test in terms of balancingsimplicity and reasonable size and power properties
This multinomial backtest could be used for ES as a regular routine,as done usually for the VaR with the binomial backtest, giving evenmore arguments to move from VaR to ES in the future Basel III.
Possible to design a traffic-light system for the application of capitalmultipliers and the imposition of regulatory interventions,completely analogous to the current traffic-light system based onVaR exceptions over a 250 day period at the 99% level.
We would suggest moving to longer backtesting periods than 250days to obtain more powerful discrimination between good and badbacktesting results.
For sharper results, other backtests may complement this one, asthe PIT already used for distribution forecasts, or methods based onrealized p-values, or e.g. joint testing procedures of expectedshortfall and VaR proposed by Acerbi and Szekely
Introduction to EVT - Applications to QRM 120
References Marie Kratz, ESSEC CREAR
Main references:
BCBS (2016). Standards. Minimum capital requirements for market risk. Basel Committee on BankingSupervision, January 2016.
M. Busse, M. Dacorogna and M. Kratz (2014). The impact of systemic risk on the diversificationbenefits of a risk portfolio. Risks 2, 260-276
Y. Cai, K. Krishnamoorthy (2006). Exact size and power properties of five tests for multinomialproportions. Comm. Statistics - Simulation and Computation 35(1), 149-160.
S.D. Campbell (2006). A review of Backtesting and Backtesting Procedures. Journal of Risk 9(2), 1-17.
N. Debbabi, M. Kratz, M. Mboup. A self-calibrating method for heavy tailed data modeling.Application in neuroscience and finance. ESSEC Working Paper 1619 (2016) & arXiv1612.03974v1
P. Embrechts, C. Kluppelberg, T. Mikosch (1997). Modelling Extremal Events for Insurance andFinance. Springer-Verlag
S. Emmer, M. Kratz, D. Tasche (2015). What is the best risk measure in practice? A comparison ofstandard measures. Journal of Risk 18, 31-60.
M. Kratz, Y. Lok, A. McNeil (2016). A multinomial test to discriminate between models. (ASTIN2016 proceedings
M. Kratz, Y. Lok, A. McNeil (2016). Multinomial VaR Backtests: A simple implicit approach tobacktesting expected shortfall. ESSEC Working Paper 1617 (2016) & arXiv1611.04851v1
M. Kratz and S. Resnick (1996). The qq-estimator and heavy tails. Communications in Statistics.Stochastic Models 12(4), 699-724.
A. McNeil, R.Frey, P. Embrechts (2015, 2nd Ed.). Quantitative Risk Management. Princeton Univ.Press
S. Resnick (1987). Extreme Values, Regular Variation, and Point Processes. Springer-Verlag
S. Resnick (2007). Heavy-tail Phenomena: Probabilistic and Statistical Modeling. Springer Science &Business Media
Introduction to EVT - Applications to QRM 121
top related