Digital CommuniCations

Soutce
Coder NUX channe Diqtal R Sul
Coder
Mod syre

SOurLe channd Digt

deoder Tdesoder Pemod

Sourre oding: ophim2y h e

The
opimz
na.
comprnio
ma
ode

Mull plexer hd
ond
pa
pos
itn

Sqnod
a k is to mutiplea m a
t
clasnnel
one
channed der
i job
eror detertio
comat eror
d e t o h r
is wed to
Channel

Copin heory: tme -

dis c r e t e
Amplitud.
dis Uete
convert
raloa
Analag.
to

nalog to dgital.
Caert&

Camparq Quantizaton

2qton
annon't Cotanty

C B o ,CItSNR)
1T th stgnal whih is oriqin
Baie Bard cigna
uch e at l o frey-Cmeiage S'qa

Sig: Maulated sqyals are ue Bdpatt

Eandpo
Shal
-ronmistion) - Ycte ptionsYctem

traum stter
tronmi sion medun

) receivey

InfonatHon
Courte ad input transduter:

tn-formaahon can be nalg C") digitol.

Sourte o
T digtal comunicttb), the stiqmal conciste o ' sa
need Source encoler.
we
o' For

e SourLe encoder:
muni catton, we convert the siqnal tror
T digital com
metioned. The ePtuency
Source ioto dig ita siqnal a

Tetr in ttle
e nepreentation Source ouutfut

Seauen
ce inas digi
) no Yedundancy thir
Cea n e n c e
.

i called inPowmation

Souru encooin9 d o t a comMprertion:

o aftiucntty convetq he
h e otput ck
The proce
Source nto a seauente o otnay
aralog Co digi td
digit is cale as Sour c e encudinga
Channet encodcr
Tne 'nformation Seamence iPagec through the channel

ot channe) encoder ic to intoduce,

encoder The PApose
Some Yedundancy èntheina
in Contrv|led manner
information) Sea-encethat Can be used at the

an

eCever to overcome
&u CPfettt of moi e

inFer ferente enuountered in tranamissiór) on the cigra

tro tne channel

bi infomakion cepence a d mp tttK

etake
un ique n
att seqcne ole cde word.
lortc
ic mcauredbu e ) n
The amount t Rechncancy Coole rte
Digital malulation:

The procet d todirg a digital informadtion Spal ntot

othe trancnitted siqnd.
amplitude, phasc CD)-req
procend aPfect Hebandusidth # sanas
Snas
The entoedèdg
roausthet to Cannel impair-nens.
and i

RF Subsrte FOuwerto
ALS
Sterm Bplues
Rodiorequncy
The
o m i e r o a v e .

in the for)
clnannel comphed tranamh
Digdal Demodulator;
r o ceLey
and d o t a ceD
Temoves w a v e - f o r m

Yectutes the
and
www-form
sAAc numben.
Channel Deuodkr;

he orñgna ignal.
btncts

Thas
Soure Decodcr; ppron epicoa
formthe ppr
algoritb, th
Uring entoding
traimit1ed cn) oñgnsin

Outpt transodluA

Ftnal opt om
 01-08-264

Iofomation he
ory and Cbung,

Infosmation meauute
fArq infomation S oined be rivg a set d

8t eent
Meaqe, Ocurente

Selt tormatfGon;

Messoqe Saurce X -*,--*}

d having prior probabilihy Plzi) =

PCxi)

-to Pu) Baye -6b=2,bih

deonds). 6-è, nak.

we ve 1,) ,
C ) =
1 o)+ IO)

Ped

tWe e len compledy

opetieA

T p t ) < Plzj) +hen I (xi) > IC;)

T4) o i , PC;) =1
POi)et
3 I C )2 o be Caue OL

Tn. a teuerce b2 messoaeS, ; and we

(
 independentty-Fron fhe Some
SoLYLe,
ore 2nevoted
PCi) and PCy)

I -Log (Pt )

ee Binar
Binary source;o's OcccAY 3 +ymc a d ten a 1's
Find %e Tofomatidn. comlained in 1's and a's, Bt 2

Nat

31+ -

o 34
Io) =
+tog, 3u
Co, B) = o-uIc 6it.
2bt
-b-28 7 Nat
=
o2a s ) L o . 4 ) = 0-693

EntroP
to -Fg ofomation.
IF refert

i P(x:) i ,,3,-- L
HCX = E PCX)I

S PCxi) Cog PCxi) units otmbol

 TF enhrv icgiven, sumbol sade i« en

Sqmbol yate sumolsee

R itsm x R

itr
sel

HCX) -PCo) Leg Plo) ple) lag Plt

- 0 . 1 S xoqIr - o-29 X2

0 SI bit Bgmbos1

dota rale o souree I6o00 Sume

O-81 x Go0d Sy.

12960 i t sec.

isCrete Memory-let
IF a sourre prdua a CeaeKes messov

and every mca independert tun t memao

ewer
-le saurnes. CE gi Distete T it is D-ML-s

Siati ona
-6prior Prob. d Mgnot chongee t h eateh oulsut thn

is clerttonar
Etrop a celf introduction

X = 2
Tall car orth
P PP Pn Ceol Pro L.

R P P -Pp
L
 )
P:LoP: Lo (L)
L

Lo LSP

Log LC ). -teq

HCK) log
Souree

TP take cloino
O

PC)= PCX o)
P P(X 1 ) - - P(x -

hen en
ee HOX) -[PCa)a,P{*) +P(x,) tP)
t0-p)
- P ) Lo,Pl) +(l-PC))

H(x)

proo(P)
iF (s
diccrete dta produùng mugt. ard

sed a,23,u? P "a P 4, -s

farvducexd Prn ,

ind ertropy inSt a 8 Hary. ind flCc)

6 s (s
won alu are e a prob
41C)

t7 t.
H)eipreb. lt= = 2bit o 26 hartlea
 Jeint and condiHonal entropy

2R-V. X and
ad q=9:
eh P(;) P(4,) X =Xi

HCx,4) -joint eop

m

Pixi,)

X ad indeperdert
P i ,) = PMi) Ply:)

HX,) ei)u;) P) Rly)

- HCX)HEY)

oint ertrop H CX,1) HHCx) + HCY) ie x al

ana idepedh

ae e prob.

HCX )-H(X) =H)

Nou, Conlitiona evrttoPY

HEx) (*l4), HC/)

Avg. ntormati on for RVX afler obscving

outcome for

P( y) P(xi E)
P(y:
 t (4) Pa,4) Lo

Nole HCX) H(X/4)

o H(X/4) HOX)

e 2 distret V and 9 Loe biany uttomes o

9,04 =I. Th joint Prob are

Py=0
PCA.) "lu PCa)-"ly
Fid HCr) ad +L) a H() a H[X/M)

PCM) P (y) +Pl-,4)-"

P P + P73,) - }a. PO)- Yy

HO o tL =6t laymbol

P(1) PC*9
PCi)
PC4.) PC-
 PCly.)
Mu
.

PC
.1

xIS+or
68ubit.

Mctua information
x= i, Y-
Te IC,) ,
omount d infomation hat ii'ootain-d\ okout- X-
at ter obtervdna = Yi

Coq P(il4)
PC
andA Creave statically ind e pendent,
PCi ly:) - P(Li)

fAvq. mutu al nformeion x ad

TC) E POM,) LePC*il4i)

PCi)
 EE P( i ) q P(,9)
J=
Pl;)Plx)

HX) Pi$) P,)

M

PC)P|zi)

Pi)eliai)omp:tpush
Pxi)

HCx)HCx) + H(9(x)

j= PCxi)
n

P ) p(ri) j
T(X)H (r) -

4{x/yDI
I(x,1) HC4)-H(R)
Properties d mttal nformatiorn.
TX4) -I(1;X)
T(K1) 2o
T O ) = tIH) -HCY|X)

I (X) H(x) - H(¥/v)

5) T(X1)D -H(x)+H(1) -1(xM)
 6 I(X1) =
H Cx1- Hy) (For nuice Tree channel)
7) I(X1) = o (Fr a noicy Ca) loy chamel

Statis tis o clCrte

DC
PCI)
ran sithoh

PCx)
PC,1 Pl
PClz) t P(Y-/a,) -I

PC,)+ PCl1) -1
T PlyJ)=P P(a)zP
P(,)=l-P Plta) -1-P
t-P Transition Pro.

Biay symmetril
'cnnel
(-P

P(x) , -p
BSC

PCYlx) - | PCHL) P(1«) PCn1)

Discrett
memou-tes ) P() -

channe

P it
) 1 for ai
 PCX)-P) PO)P(,) PCx)

P (3,) P(»,)Pl). HYn)

PCx) P()-
P) P(
PCy,)
P )
PCu) PL3,)

HCR)-L: *0

channel mdels
lP, olP ard set o tranution

PL4 Cond. pro

ie i=j
GNo error

eo

EPCila:) =ISi-,l,-7{.
J
ehanne MOdtI
Tancitiv)
(,x) PG|x) - - Pun Probatilty
Po mactnx.

-Pl|x«)
 Pca) PCA,B)
P(a)
P) P(4)-P(xi)

2PCt,4i) - P(y:) for Fined J=

PC4 )= P(y, /«i) P(i)
Join Prob matin:

PC9 /i). Pxi)

PCy,) P(x)- PCox)P(«,)

eC4mn) Plxn) -. PCym/) Plxn)J

eca9,) P(m

Pup Joint p mabrix.

t) Sum o all eletnent of t Colunn of JPM

eCy) =P ) for otput

Pi) PCl4)etai)
J-

Pot)S P(i ) for nput

i, Sum o au pi) wil alwayt bt .

 *

-
T

-|

e
special channel

watri oill have.

noise-le channel The eanne

one
and ony one Mon-zerd etcrentin every totu

Sum ot all etemenk

s un
unrY. In

b 2 bu bs
PCba)

Lost o
iforrehon =O.
mouut d
ICA,B) = H{a) -BH(Als)

ILA, D) -H{a)|

C Ma(TEA,B)) xg3ateof siqrol qen

C ma(He) « C channel capaity

Deferministiu Canned-wu hare

one aand
non-2ero elenent in voud.

u sum o al elements unty in xdW:

Cto)
alwas, a 6

H CBA) =o fr elcminit

TA,0)= HCB) -ti (B|a)

TCe.E)H CE)
 C ax e,8)).
C ma [H(L)

Chiform stmmetric channe:

roD Conteinsthe Same etenet
ard Seubseauen

athat of r D o (orter may e dferent),

PLA)- PP e

P P

Properties

ePCbi lai) =t

p a ) -PC°ilai) Pai)
S

HCB/) Pa,bi) Loq rPCla)

H(bl) P(bi la) Ploi). (
j=
Plbjla

pa)P(ilo) a,Plbila)
fron prop
=

let h
T(A,8) H(B)- HCBIn)

TCA,8)- HB) -h |

C Max (ILA,B))-91s

C Max (HB)-K).

C (H(B)-h).1 Man H()

C Loq,S -h

EMample
For the Channel matrii
lo b
eCla)

Find channe capaut

C Max(wmaxTlA,0)) .

max (HC6) -n) .9

H
ma

H }Pj a, 3 +2
G

C- S
-u)

,
 ts9 bits kumbol.

C
ogSh
g -1.GS9 F1y -lsymse.
0.12S8 Lit (ee.

inar&ymmetric channel:

b P

PCDla) =a

C oas-h
J

h -PLoq( *po

Tn tk S-l.only

(BcC, PC)ls P()-I3

3
y3ly]
 ind
H(x), H(M)
c
and redundan
efei ciencu

HCx)
P() t

= 0 389 + 0s7

0 4 bitr ot
HC)
PC)- PCx) P{Y[x) +Pla) P(|l,)
P) PC) Pl) P[1,1)

H) 12 S

Lg7l4 *Log 2-4

o . 1 9 Sts m o
 C t-h

O1857 ee

-T(X) HY)- Hxl) HCY14)-H(*1)

c
efficiency C
-HY)
HX)- H(x)+ H(V)

O.916 O 9799 H(,1)

O.1881

R 1 M
Redund.anca

PCXM) 2

SJ.
eras re channel (BEC)
Binary ye

be R PP
br

To Pind t(Ab

uola)-h a
P Cog, P
let pa) u ad w+ =

be 6
PA,B) P(ai, b,) .e wp

P P
eaB) P (at ,6s)
o

HCAB) S

J
P(a,b) og.

P o ote
HCA) wl

C
a H(A) -HCANB)} 1

-H(a) Cr-p)
A P.g
Cascaded chanel:

X
channelT ctahnel 2

TCx)H(1) - H(Y|*)
ICx,z) -

H(a) -u(-lx)
 0.9
e O8

o.2
.
22

-P(Xa)0:S

TCx, Z) LI (X,V