† & † & # ‡ † !$& & " ‡ !$ $& & " & $& $ *'& )'(+
� ��� �������������������������������������������������������� ������������������ ������
��
������������� ��†&������������������†&�
�������#�������������������‡���
† � �����!�����$&�� ��&��"�����
‡ �����������!�����$������������$&������� ��&��"�������
�� ������������������������������� ������� ����&�������$&�� �$�*'&�)'(+�
�
1
Background
�� Codes on graphs: build large and powerful codes out of a set of smaller component codes
�� Message passing decoding: (e.g. belief propagation) efficient parallel computation of marginals by local computations and exchange of messages within the factor graph
x1
x2
x3
x4
x5
f1 f2
µf1,x3 µf2,x3
f(x1, x2, x3, x4, x5) = f1(x1, x2, x3) · f2(x3, x4, x5)
Question:
which influence does the structure of the component codes have and how simple or powerful should they be?
2
Convolutional Codes for Iterative Decoding
Parallel Concatenation: Serial Concatenation:
+ better BP decoding threshold - worse distance spectrum / error floor
- worse BP decoding threshold + better distance spectrum / error floor
- worse MAP decoding threshold + better MAP decoding threshold
Ensemble Rate ϵBP ϵMAP
PCC 1/3 0.6428 0.6553
SCC 1/4 0.6896 0.7483
Ensemble Rate ϵBP ϵMAP
PCC 1/3 0.6428 0.6553
SCC 1/3 0.6118 0.6615
PCC 1/2 0.4606 0.4689
SCC 1/2 0.4010 0.4973
Observation: optimizing component codes for iterative decoding does not necessarily optimize the strength of the overall code
Spatial coupling: can overcome this discrepancy due to threshold saturation
�� Consider transmission of a sequence of codewords:
Spatially�Coupled�LDPC�Codes
vt ·HT = 0 ∀t = 1, . . . , L
v1 vL. . . vt
�� Assuming a conventional LDPC code, each codeword satisfies:
�� Spatial coupling: codewords are interconnected with their neighbors
vt ·HT0 (t) + vt−1 ·HT
1 (t) + · · ·+ vt−m ·HTm(t) = 0 ,
... ...
H0(t) +H1(t) + · · ·+Hm(t) = H ∀tCondition:
3
����������� �����
4
0.32 0.34 0.36 0.38 0.4 0.42 0.44 0.46 0.48 0.5
10-4
10-2
100
Bit e
rasu
re ra
te
(5,10) LDPC
BP BP
(3,6) LDPC
Channel erasure probability (BEC)
MAP
gain due to coupling
BP coupled
•� ������� � ���������$� ��� ���� ��������� ������� L� ���������#� ���� �� ��� ������������ �������������������������� ��� ������������ ���•� �������� ������������� ��������������� ������������������!������������� �� ���������� ����������!��
5
Parallel Concatenated Codes (PCCs)
Factor graph: Compact form: Coupling (edge spreading):
Trellis Interleaver Variable nodes �����������
6
Construction of Spatially Coupled PCCs
1. Consider a sequence of L independent blocks
Trellis Interleaver Variable nodes
2. Interconnect (couple) neighboring blocks by spreading edges
�����������
vUt
vLt
ut
7
Spatially Coupled PCCs (SC-PCCs)
vUt−1
vLt−1 vL
t+1
vUt+1vU
t
vLt
utut ut+1ut−1
ΠtΠt−1
ut−1
Πt+1
ΠUt+1ΠU
t−1 ΠUt
ΠLt ΠL
t+1
ut+1
ΠLt−1 CL CL CL
CUCU CU
•� �� �����������#�m=1, can be generalized to m>1�
•� ��������&����� ������������� �������� ������ ���� ������������������� ��� � ����!#���������� �� ����� �����������t=L+1���������vL+1=0�
•� ���� ����!�������������� ��� ��� �����%�� ����������� ��� �����"��������������!���� ������������������
8
Density Evolution Analysis (BEC)
tt− 1 t+ 1
ϵ
p(i,t)U,s
p(i,t)U,p
q(i−1)L
p(i,t)U,s = fU,s
!q(i−1)L , ϵ
"
p(i,t)U,p = fU,p
!q(i−1)L , ϵ
"
q(i−1)L = ϵ ·
2p(i−1,t)L,s + p(i−1,t−1)
L,s + p(i−1,t+1)L,s
4
Constraint node update (trellis):
Variable node update:
tt− 1 t+ 1
ϵ
ϵϵ
p(i,t)U,s
p(i,t)U,p
q(i−1)L
+.,��(("������'��(�(������'������(( ���'�)�$��������������%��������"������������������������������������#��" �����������������������%�����"����������'*����������������� ��������������������������������������������������'����(�/--0'�#��(�0(���
�����������'�����������������������#������% �����$����������������������������"�� ����+.,(��
9
Spatially Coupled Serial Concatenated Codes
1. Consider a sequence of L independent blocks
Trellis Interleaver Variable nodes
2. Interconnect (couple) neighboring blocks by spreading edges
�����������
ut
vIt
vOt
10
Spatially Coupled SCCs (SC-SCCs)
uIt+1
vIt+1
vIt−1
uIt−1 uI
t
vItΠ(1)
t−1 Π(2)t−1 Π(2)
t+1Π(1)t+1Π(1)
t Π(2)t
utut−1 ut+1
CI CI CICO CO CO
t t+ 1t− 1
•� �� �����������#�m=1, can be generalized to m>1�
•� ��������&����� ������������� �������� ������ ���� ������������������� ��� � ����!#���������� �� ����� �����������t=L+1���������vL+1=0�
•� ���� ����!�������������� ��� ��� �����%�� ����������� ��� �����"��������������!���� ������������������
11
Numerical Results (SC-TCs with 4-state components)
Thresholds for punctured SC-TCs with different coupling memories
Ensemble Rate ρ2 εBP εMAP ε1
SCε3
SCε5
SCδSH
CPCC/CSC−PCC 1/3 1.0 0.6428 0.6553 0.6553 0.6553 0.6553 0.0113
CSCC/CSC−SCC 1/3 1.0 0.5405 0.6654 0.6437 0.6650 0.6654 0.0012
CPCC/CSC−PCC 1/2 0.5 0.4606 0.4689 0.4689 0.4689 0.4689 0.0311
CSCC/CSC−SCC 1/2 0.5 0.3594 0.4981 0.4708 0.4975 0.4981 0.0019
CPCC/CSC−PCC 2/3 0.25 0.2732 0.2772 0.2772 0.2772 0.2772 0.0561
CSCC/CSC−SCC 2/3 0.25 0.2038 0.3316 0.3303 0.3305 0.3315 0.0018
CPCC/CSC−PCC 3/4 0.166 0.1854 0.1876 0.1876 0.1876 0.1876 0.0624
CSCC/CSC−SCC 3/4 0.166 0.1337 0.2486 0.2155 0.2471 0.2486 0.0014
CPCC/CSC−PCC 4/5 0.125 0.1376 0.1391 0.1391 0.1391 0.1391 0.0609
CSCC/CSC−SCC 4/5 0.125 0.0942 0.1990 0.1644 0.1968 0.1989 0.0011
Observation: threshold saturation occurs for large enough coupling memory m (,)��%��� �������� �#�%����� ��#� ����%������ ���#��&� � ��!��� ������ ���������$����������� ����������������������� ���#'�����,*+-%�
������������ �����������������������;� ������������������������>E?4������#�))�&����%�(�#!1���#&/9��%)!*0�'�(!*09� ��"�<� ���=��&%.&#-+&%�#��&��)�* �*��(���#&)�#0�(�#�*���*&�'(&�-�*��&��)5�
12
>E?��5�5���#*)*(&$3��5��(- �� �.3��5� �%*$�!�(3��%���5� 5��!��%�!(&.3�7�(�!�����#&�"��&��)38��������������������� 3�.�GG3�%&5�H3�''5�DHFB:DHGI3��-%��DBBJ5��
;� ���)�/!* �����&$'&%�%*��&��)�/�(��(���%*#0��&%)!��(����&(� !� �)'����&'+��#��&$$-%!��+&%)�>F?5�
>F?��5�5��!�%3�5�5���)*�(3��5�5���(�0�%�%3��5���&3��%���5���1� (� 3��7*�(�+.�� �(�����!)!&%����&�!%��&���(�!��������&��)��&(� !� 9)'����&'+��#��&$$-%!��+&%38��!%��(&�5������#&��#���#��&$$-%!��+&%)��&%��(�%��3�DBCE5�� �������6CE53����5�DBCE5��
;� %�* !)�/&("�/���&%)!��(����&-%*�('�(*�&�����)���##�����(�!�����&%.&#-+&%�#��&��)�<���)=�>G?5��
>G?��5�� �%�3��5� �%*$�!�(3��5� 5��!��%�!(&.3��%���5�5��&)*�##&3��(53�7�(�!�����&%.&#-+&%�#��&��)4����%�/��#�))�&��*-(�&9#!"���&��)38�������(�%)5�%�5�� �&(03�.�GH3�%&5�C3�''5�ECH:EEC3���%5�DBCB5�
;� ���)���%����)��%��)����#�))�&��*-(�&9#!"��� �����&��)3�!5�53����(!������*/��%�*-(�&��&��)��%�� �����&��)5�
13
ut
ut+1 v(1)t+1
v(2)t+1
v(2)t
v(1)t
v(1)t−1
v(2)t−1
•� ����� ���� ��� ����� �� ������#� ��� ������������ �������� �������� �����!�
•� ��������������������������������������������������������� �������$"%!�
•� ������������������ �������� ���� ����������������� ��� �����������������������!��
������ ����������������������������
13
ut
ut+1 v(1)t+1
v(2)t+1
v(2)t
v(1)t
v(1)t−1
v(2)t−1
v(0)t = ut
v(1)t
v(2)t
ut
Encoder A
Encoder B
D
D
������ ����������������������������
��������������� �� ��� ����� ����������
14
������������� �������� ��� ���������
������ ����� �����������������������N���
P(0)t
P(1)t
P(2)t
DN
DN
Encoder A
Encoder B
utut
v(1)t
v(2)t
������������������� �������� ����
15
•� ����������������������� ���������� �L�����&�•� �������t$�������������������������� �������������������•� ������������������!��������!���������
•� �����������������������•� ����������������������t < 1 ����t > L��������������"���&�
•� ������������%�������������������������&���������������!���������������� ����L�(�'&��
CU CU CU
CL CL CLΠLt
ΠUtΠU
t−1
ΠLt−1 ΠL
t+1
ΠUt+1
Πt+1ΠtΠt−1
vLt−1
vUt−1 vU
t+1
vLt+1vL
t
vUt
ut
ut ut+1ut+1ut−1
ut−1
( )
� ����� ����� ���� ������ ��
16
CU
CL
Π(U,1)t
Π(U,2)t
Π(L,2)t
Π(L,1)t
Πt
vLt
vUt
utut
������������������� �� � ���������� �����������������ut,A
lut,B
������������ �������
������������ �����
(ut,A,ut−1,B)
(ut,B,ut−1,A)
ut,A
lut,B
������������
���������������������������������
17
ϵBP ϵMAP ϵSCm = 1 m = 3 m = 5 m = 7
Type-I 0.55414 0.66539 0.66094 0.66447 0.66506 0.66524Type-II 0.55414 0.66539 0.66534 0.66538 0.66539 0.66539
������������� �!� �������!�������� �����m�+4,&�
������ ����� ��������������������������������� ��������
ϵBP ϵMAP ϵSCm = 1 m = 3 m = 5
SC-PCCs 0.64282 0.65538 0.65538 0.65538 0.65538SC-SCCs 0.61184 0.66154 0.65190 0.66140 0.66153
+4,��&������ ���%��&�����!��%� ����&��� �������� �%��'�� ��������"��!��� ��������*����� �������� � ��#���!������!���)����������%(����%�2013&�+5,��&�����!��%��&������ ���%� ����&��� �������� �%�'�� � ��#���!������!���������%(��������&�6��������� ��� ���#�����!������!����������-����� �"�������� �������������%�2013&�
� �������� ��������� �����
18
•� �$���.��������� �� �� ���������� ����� ' !�� �
/60��+ ����)� +. +�����)�+�+��$'��)������+�+�� !��)�,�� ���������������!��� ����� �!$��"����������$����� ���������$� ��� )-�������+���!���+��'��+�����$�������� �1��!���"%��������+����+�5345+�
Definition [8]: A scalar admissible system (f, g), is defined by the recursion
x(i) = f!g(x(i−1)); ε
",
where f : [0, 1]×[0, 1] → [0, 1] and g : [0, 1] → [0, 1] satisfy the following conditions:
• f is increasing in both arguments x, ε ∈ (0, 1]
• g is increasing in x ∈ (0, 1]
• f(0; ε) = f(x; 0) = g(0) = 0
• f and g have continuous second derivatives
ut
vUt
vLt
N
N
TU
TL
NTO
TI 2N
ut
vOt
vIt
N
N
TU
TL
ut
vLt
vUt
�������� ����� �������
����*�����$��!�������$�"�� �� ������$� �������!������������&�
� �������� ��������� �����
19
•� ��"��#����%��#��,�
192��-����%��+�-���"���� +������-�� ����������"+�. � �!�������"% �#����� ����#���)���%������ % ��0���������!��&� �"������� )�� �!% ���������+/��"������� ����� ��-�� ��6457-�
U(x; ε) =
# x
0
$z − f(g(x); ε)
%g′(z)dz
= xg(x)−G(x)− F (g(x); ε),
where F (x; ε) =& x0 f(z; ε)dz and G(x) =
& x0 g(z)dz.
•� � ��� "),�����(�������"����"������ ��% !����( x = f (g(x); �) ) �� �!����!�"����!"�#��� )�����"����"����� �!����������"��#����%��#���U (x; �)��
•� � �!�����!�"% �#����������� �&���%!����"�����"��#����%��#���192+������'����"���!"��!���������+���!"� ��"���-����182-�
�������� �����
20
0 0.2 0.4 0.6 0.8 1�0.1
�0.05
0
0.05
0.1
0.15
x
U(x
;ε)
ε = 0.6ε = 0.6428ε = 0.65ε = 0.6554ε = 0.7
������� ����������������������G'"$�%!&#
ut
vUt
vLt
N
N
TU
TL
���� ��� ��� εBP = sup
'ε ∈ [0, 1]|U ′(x; ε) > 0, ∀x ∈ (0, 1]
(
���������� ��� ��� ε∗ = sup
'ε ∈ [0, 1]|U(x; ε) ≥ 0, ∀x ∈ [0, 1]
(.
������������� ������������������� �� �������������� ��� ������������������������ �������� ������
�����������
�� ������� ��� �������������"������� ������&������� ��%��� ���������������� ��� ����� ��������������� ��� ����� ��� � ��������������� ����
�� �!��� �����"����������������������������������� �������� ������������������� ����������������������
�� �����#���������������� ��������������� ��� ���� �����������������"������#������������������������������� ���
�� ������������������������������� ��������"� �������������� ��������%��� � �����������������������
��
21