code notbee ato i des co o dumo
endeat isCede od 6)
H(x) (x)- H x) s)
emple
2
«)
bh)hd
8+log. los, 8
lo3,4 2t tH>
Sfmbol
at
2
ate Satlnati )
hat ssage me
Sanple. bilts 9H-
Bateopy
leels Hte all Since
aee
toill be ma imer
wen Hee probabil:keg
ie p(x +e)
2
-2
) Cod
|o92 +2 log,.
&x2
4) Catn >) log, L los, 8 >g
>) n>
Lntegy 5lex Sl2 x9
>t564 22 bit
to)
enteopy H-(-os og, o9-o.2 leg, o)
>0-e bit
Synbols, reded
He enteyeneodig Shee Llocky
by
(-.H(xn) »0.H>)
The bounds
Codo
lengh
(b) Upper
P
log -glegp p
p
logp p
legp Pqo
p(v>n)pqnd wles
Py
paecnee diteibuton
cth qeometelc the hay
head fot Heti|| tosse of nemte The 13)
o
encody
urce iciant moit enco tkman
te ts dy 12)
Mbps -6oo
(rec pixel
6
ee >l0oM
pizel bil* yo6 log, H>
Hae allodssme )
leels 6u
lu) wlog,(+ P
-looo
C>huux looo bps l·uu kbps
tS)
plmo),so
plm)
pl*:) >P((md +
P()plm)
xLto25x
2 2
s
P
p(n) O625
) H- M8lo,2t log, 4 loo, S l6 log,
n()"
) ut a ve
o tte heceved
Hat 2ees hay becn teamted
have Xo
P P(9
>082 bìt
le) 25 X10
) -) B
log, (1*)
>leg, (t*) B
-) (1+
3
>)
R -31:5o3
(4) channe mati
plyl /oasfe
Asume
plrly).
(a ) ossle
pls)- 31y ; plc)>
ple) >p(Ble) rlc)e r( Bl:) pl)
pl)+r()
2 >p(elc) tsp(Bly) - p(Ble)+2 p(ele)
plle) P(al)e le)
ple)
Po
e2
nert possible Cole cou
H*)- - pl)lo9, pli) bi lsyabol
pli)log, Pi) Liblgm bo
H(x)>
+(k) |·96 bits )Smbo)
prcbility to occerving ts p(o)
| 23
) Hx) ma
log, 9 3
xloo 76os 6s362-/
iv) HCxmax
shannan coding
Code
A
B
H
+ l49 (oquks
()H
d()*
( Go|(:)d Gol )d(:
ha t(n-o)
6o o<Go|
s.o)+(sia)Go
196| |49 uabs (oq
(oquhs
(X)H |9¬-)
(oqwhg
hoo |ooo
loooo
bx ho.O
H(1)- H() 9-922 bi / Symbe )
q9.4g /.
23)
Bw B3 kH
29-88 lk bittlsee
o3
O30
O30
O3
odon bits în fo molion pu Synbol
in
pl«i) les: ( )
()+oe
oz (
log, )+
)+osla).
2s le.(, ) 4:x0 oos loaao
log:)o ou leg, (L
o
)Ha) R.lo1 bts)Smbl
acehding to hutnan Cuding
odvg no.of bits
bis gnbo)
oheee PK
Caeied loy messages x,
Ondvidal
Satmatoo
aee
P- prliity mesage
me soage
P
aee Sndependent,
me ssage
) Paetabtt, 4 composike
log. ('p)+ leg ( e)
1(X)- I)43(xe)
te input
c§uect ecephon
to BSc
incct 2ephon givalt
Bsc
to
pl
chand Cepac
+log2
(6
ole to Prepe Fhog d
teanymiHed uoll be eeeired ay He
deeeied aee Oo0, Oo |, 01 0 loo
B2
P
32
clamne
Capacity 2
32 32 32 lag, 32
|-o.ut8 -o9e 6 o36 bid Ime
nceeases chanel
9,(oo)
92)
7,(oo) y.(o)
Pi
r(y)9' P
mateca P9)p x P )
plry) Pq 2
2
2 2
2 2
kog adding p(a13)
get ply), pl9.); ply) elyu)
pl): p't 2
ply:) P1
ply)>
2 2
2
2
s) ) Rave Hat
P( r(m) >P()ola) > Jplm,)
>) (o+)(o.s) > (o)(o-5) > (o) (o 2)
8elect mo
tat
P()pla) >
) (os) (o5) >(o3) (o3) > (o)(o)
Belet m, wenee
also
r()plm) >ol)plm.) > )pla.)
>)) lou) (o-s)> (o:s) (o)> (ou) (o-3)
>) Seleet m wtheney , isit eceied
() Phobalit, bcing Correet
plc)> p(ma)r( )plm) r()+p(m)r()
> (o-4)lo)+ (os) (o 5)+ (os) (ou) o63
Paclalilit, ervd -> ple) >1- pley
2a)chonnel Capacy C- Blog. ((te SNe) binlsec.
log. ((*t5s). lSoo kbi# sec
(i) Cçven, eech bendidh is Qooo H3
encodey
Sample
See
)
be
-dalod
22 Channe
3) Jcermlted Bymko! Sel,J- ..
#plas) los p/sil3,)
-)1(,y).
r(3i3j)-p (a:)
ploi. 3;) les ( )
j
I(x). #rlo)) log. Pln)
Cordiberl plo)
M
lo)
eoi) p)
Maxl lx,),
a
have
) mar ((r (x ))- o:
plai3)legs Plai)
M
we have plai,9;) - plai)
Max ( T (x,Y)7 - H(x)
maximwn Valee Hl*) teurs when all the
e plni) = Hence
ee esupobabte
ma o(;)], los (w)- log, (w) Lis
3) odraleg Sranad bondimiled to 3:3 kHz
gallt
Cuard end
-)
Sonples Bec
Pi
Llog, 2+ o9, utlg 8
H e + * et 3 + x8
3 2s bitslsample
Onfmaon at
bih
lu,o00 bìHlsec,
