Θεωρία Πληροφορίας

Ορισμοί, Γκαουσιανές τυχαίες μεταβλητές, Ακολουθίες τυχαίων μεταβλητών, Πυκνότητα φασματικής ισχύος, Προσθήκη τυχαίου γκαουσιανού θορύβου σε σήμα, Ορισμός του μέτρου της πληροφορίας κατά Shannon, Ιδιότητες της μέσης ποσότητας πληροφορίας, Συνδυασμένη και Αμοιβαία Πληροφορία, Υπό συνθήκη ποσότητα πληροφορίας, Αμοιβαία ποσότητα πληροφορίας, Διακριτή πηγή πληροφορίας χωρίς μνήμη, Μέθοδοι κωδικοποίησης πηγής (Fano, Shannon, Huffman), Διακριτές πηγές πληροφορίας με μνήμη, Διαδικασίες Markoff, Διακριτά κανάλια επικοινωνίας, Βασικές έννοιες κωδικοποίησης καναλιού, Γραμμικοί block κώδικες, Μαθηματικό υπόβαθρο (πίνακας γεννήτορας, απόσταση hamming, κτλ), Παράδειγμα γραμμικού block κώδικα, Κυκλικοί block κώδικες, Μαθηματικό υπόβαθρο (πολυώνυμο γεννήτορας, κτλ), Παράδειγμα κυκλικού block κώδικα, Κέρδος κωδικοποίησης καναλιού, Διεμπλοκή (Interleaving), Κώδικες Reed-Solomon, Αναπαράσταση συνελικτικών κωδίκων (Διαγράμματα Trellis, Διαγράμματα καταστάσεων), Παράδειγμα συνελικτικού κώδικα, Αλγόριθμος Viterbi, Αποκωδικοποίηση χαλαρής απόφασης, Σύγκριση μεταξύ αποκωδικοποίησης χαλαρής και αυστηρής απόφασης, Κώδικες turbo, Το θεώρημα Χωρητικότητας καναλιού (Όριο Shannon), Εφαρμογές κωδίκων διαύλων στην εγγραφή και μετάδοση δεδομένων, CD/DVD, modem, DSL, 3G, DVB, WiFi, WiMAX, Θεωρία ρυθμού-παραμόρφωσης, Κωδικοποίηση πηγής με παραμόρφωση, Εφαρμογές στα πρότυπα JPEG, MPEG, H.26X.

Με την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές θα μπορούν:

1. Να κατανοούν τους βασικούς ορισμούς και τις έννοιες των πιθανοτήτων.
2. Να περιγράφουν τις έννοιες της εντροπίας, της πληροφορίας και του πλεονασμού.
3. Να μελετούν τις διακριτές και τις συνεχείς πηγές πληροφορίας με μνήμη και χωρίς μνήμη.
4. Να περιγράφουν τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv.
5. Να περιγράφουν την έννοια της χωρητικότητας καναλιού χωρίς θόρυβο και με AWG θόρυβο.
6. Να περιγράφουν τους μπλοκ κώδικες, τους γραμμικούς κώδικες και τους συνελικτικούς κώδικες καναλιού.
7. Να περιγράφουν την αποκωδικοποίηση χαλαρής απόφασης.
8. Να περιγράφουν τα πρότυπα μη απωλεστικής κωδικοποίησης zip, bzip, pkzip, gzip, 7zip
9. Να περιγράφουν τα πρότυπα απωλεστικής κωδικοποίησης JPEG, MPEG, H.26X

ΔΙΑΛΕΞΗ 1 – Βασικές Αρχές Θεωρίας Πιθανοτήτων

• Στοιχεία θεωρίας συνόλων
• Αρχές θεωρίας πιθανοτήτων
• Τυχαίες μεταβλητές
• Διακριτές κατανομές πιθανότητας
• Αθροιστική συνάρτηση κατανομής
• Συνάρτηση πυκνότητας πιθανότητας

ΔΙΑΛΕΞΗ 2 – Στοχαστικά Σήματα

• Μέση τιμής και διασπορά τυχαίας μεταβλητής
• Gaussian πυκνότητα πιθανότητας
• Η συνάρτηση σφάλματος
• Πυκνότητα πιθανότητας Rayleigh
• Το κεντρικό οριακό θεώρημα

ΔΙΑΛΕΞΗ 3 – Βασικές Αρχές Θεωρίας Πληροφοριών

• Ορισμός του μέτρου της πληροφορίας κατά Shannon
• Ιδιότητες της μέσης ποσότητας πληροφορίας
• Συνδυασμένη και Αμοιβαία Πληροφορία
• Υπό συνθήκη ποσότητα πληροφορίας
• Αμοιβαία ποσότητα πληροφορίας

ΔΙΑΛΕΞΗ 4 – Διακριτή πηγή πληροφορίας χωρίς μνήμη

• Διακριτή πηγή πληροφορίας χωρίς μνήμη
• Ποσότητα πληροφορίας της πηγής
• Κωδικοποίηση πηγής
• Αλγόριθμοι κωδικοποίησης πηγής (Fano, Shannon, Huffman)

ΔΙΑΛΕΞΗ 5 – Διακριτή πηγή πληροφορίας με μνήμη

• Διακριτές πηγές πληροφορίας με μνήμη
• Διαδικασίες Markoff
• Εντροπία των πηγών Markoff
• Ζητήματα κωδικοποίησης των πηγών Markoff

ΔΙΑΛΕΞΗ 6 – Κανάλια επικοινωνίας

• Διακριτά κανάλια επικοινωνίας (χωρητικότητα καναλιού, θεώρημα κωδικοποίησης, διακριτά κανάλια με μνήμη)
• Συνεχή κανάλια επικοινωνίας (χωρητικότητα καναλιού, θεώρημα κωδικοποίησης, συνεχή κανάλια με μνήμη)

ΔΙΑΛΕΞΗ 6 – Κωδικοποίηση Καναλιού με γραμμικούς κώδικες Block

• Βασικές έννοιες κωδικοποίησης καναλιού
• Γραμμικοί block κώδικες
• Μαθηματικό υπόβαθρο (πίνακας γεννήτορας, απόσταση hamming, κτλ)
• Παράδειγμα γραμμικού block κώδικα (κωδικοποίηση, αποκωδικοποίηση)

ΔΙΑΛΕΞΗ 7 – Κωδικοποίηση Καναλιού με κυκλικούς κώδικες Block

• Κυκλικοί block κώδικες
• Μαθηματικό υπόβαθρο (πολυώνυμο γεννήτορας, κτλ)
• Παράδειγμα κυκλικού block κώδικα (Κωδικοποίηση, Αποκωδικοποίηση)
• Κέρδος κωδικοποίησης καναλιού

ΔΙΑΛΕΞΗ 8 - Προηγμένη κωδικοποίηση Block

• Διεμπλοκή (Interleaving)
• Κώδικες Reed-Solomon

ΔΙΑΛΕΞΗ 9 – Κωδικοποίηση Καναλιού με Συνελικτικούς Κώδικες

• Ιστορική αναδρομή
• Μαθηματικό υπόβαθρο
• Αναπαράσταση συνελικτικών κωδίκων (Διαγράμματα Trellis, Διαγράμματα καταστάσεων)
• Παράδειγμα συνελικτικού κώδικα (Κωδικοποίηση, Αποκωδικοποίηση)
• Αλγόριθμος Viterbi

ΔΙΑΛΕΞΗ 10 – Κωδικοποίηση Καναλιού με Συνελικτικούς Κώδικες

• Αποκωδικοποίηση χαλαρής απόφασης
• Σύγκριση μεταξύ αποκωδικοποίησης χαλαρής και αυστηρής απόφασης

ΔΙΑΛΕΞΗ 11 – Κωδικοποίηση Καναλιού με Κώδικες Turbo

• Κώδικες turbo
• Το θεώρημα Χωρητικότητας καναλιού (Όριο Shannon)

ΔΙΑΛΕΞΗ 12 – Εφαρμογές Κωδίκων

• Εφαρμογές κωδίκων διαύλων στην εγγραφή και μετάδοση δεδομένων, CD/DVD, modem, DSL, 3G, DVB, WiFi, WiMAX.
• Θεωρία ρυθμού-παραμόρφωσης
• Κωδικοποίηση πηγής με παραμόρφωση
• Εφαρμογές στα πρότυπα JPEG, MPEG, H.26X

Για το χειμερινό εξάμηνο του ακαδημαϊκού έτους 2016-17, οι παραδόσεις του μαθήματος ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ γίνονται κάθε Παρασκευή, ώρα 1.00 - 4.00 μ.μ. στην αίθουσα Α3.

Η συστηματική παρακολούθηση των παραδόσεων είναι ιδιαίτερα σημαντική για την κατανόηση των εννοιών του μαθήματος.

Από την υπηρεσία ΕΥΔΟΞΟΣ του Υπουργείου Παιδείας μπορείτε να επιλέξετε ένα από τα ακόλουθα συγγράμματα:

[1] Εισαγωγή στη Θεωρία Πληροφοριών, Κωδίκων και Κρυπτογραφίας

Συγγραφείς: Ν.Αλεξανδρής, Β.Χρυσικόπουλος, Κ.Πατσάκης

Κωδικός Βιβλίου στον Εύδοξο: 59374208

[2] Εισαγωγή στη Θεωρία Πληροφορίας

Συγγραφέας: Αφράτη Φώτω 

Κωδικός Βιβλίου στον Εύδοξο: 45421

Παρακολουθείτε τις ανακοινώσεις της Γραμματείας για να ενημερωθείτε για την χρονική περίοδο κατά την οποία μπορείτε να επιλέξετε το σύγγραμμά σας.

Το μάθημα εξετάζεται με γραπτή τελική εξέταση.

• Η εξέταση γίνεται με ανοικτά βιβλία και σημειώσεις, τα οποία πρέπει να φέρουν το όνομα του κατόχου τους. Επιπλέον, οι σημειώσεις πρέπει να είναι συρραμένες. 
• Επιτρέπεται η χρήση υπολογιστικής μηχανής (calculator).
• Δεν επιτρέπεται η χρήση υπολογιστών ή κινητών τηλεφώνων / smartphones.

Δρ. Παρασκευάς Μιχάλης 

Επίκουρος Καθηγητής Τμήματος Μηχανικών Πληροφορικής Τ.Ε. του ΤΕΙ Δυτικής Ελλάδας

email: mparask "at" teiwest.gr [για την αποστολή μηνύματος αντικαταστήστε το "at" με το @]

Προσοχή! Δεν θα απαντώνται μηνύματα φοιτητών, τα οποία:

- Δεν αποστέλλονται από τον λογαριασμό email που σας έχει δώσει το Τμήμα

- Δεν υπογράφονται με το ονοματεπώνυμο του φοιτητή/φοιτήτριας

- Είναι γραμμένα σε greeklish

Επανάληψη από θεωρία πιθανοτήτων, πληροφορία, εντροπία, θεώρημα Shannon, διακριτές πηγές με και χωρίς μνήμη, διακριτά κανάλια επικοινωνίας, μη απωλεστικές τεχνικές συμπίεσης πληροφορίας (θεωρία και αλγόριθμοι Huffman, Shannon και arithmetic coding), σήματα και θόρυβος, διακριτά και συνεχή κανάλια, κωδικοποίηση και χωρητικότητα καναλιού, διαχωρισμός πηγής-καναλιού, συμπίεση με απώλειες και κβαντοποίηση, συνάρτηση ρυθμού-απώλειας (rate-distortion function), κωδικοποίηση ανίχνευσης και διόρθωσης σφάλματος (γραμμικοί κώδικες, BCΗ κώδικες, κυκλικοί κώδικες, Reed-Solomon), τεχνικές ARQ-Interleaving.

Με την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές θα μπορούν:

Σε επίπεδο Γνώσεων:

1. Να κατανοούν τους βασικούς ορισμούς και τις έννοιες των πιθανοτήτων.
2. Να περιγράφουν τις έννοιες της εντροπίας, της πληροφορίας και του πλεονασμού.
3. Να μελετούν τις διακριτές και τις συνεχείς πηγές πληροφορίας με μνήμη και χωρίς μνήμη.
4. Να περιγράφουν τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv.
5. Να περιγράφουν την έννοια της χωρητικότητας καναλιού χωρίς θόρυβο και με AWG θόρυβο.
6. Να περιγράφουν τους μπλοκ κώδικες, τους γραμμικούς κώδικες και τους συνελικτικούς κώδικες καναλιού.
7. Να περιγράφουν την αποκωδικοποίηση χαλαρής απόφασης.
8. Να περιγράφουν τα πρότυπα μη απωλεστικής κωδικοποίησης zip, bzip, pkzip, gzip, 7zip
9. Να περιγράφουν τα πρότυπα απωλεστικής κωδικοποίησης JPEG, MPEG, H.26X

Σε επίπεδο Δεξιοτήτων

1. Να υπολογίζουν την εντροπία πηγών με μνήμη και χωρίς μνήμη.
2. Να εφαρμόζουν σε συγκεκριμένα προβλήματα τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv.
3. Να αξιολογούν τα αποτελέσματα της παρουσίας θορύβου στο κανάλι.
4. Να αξιολογούν τους αλγορίθμους κωδικοποίησης κυματομορφής
5. Να υπολογίζουν μπλοκ κώδικες για δοθέν πρόβλημα.
6. Να συγκρίνουν τις δομικές διαφορές μεταξύ των κωδίκων ανίχνευσης και διόρθωσης λαθών.
7. Να συγκρίνουν τους γραμμικούς και τους κυκλικούς κώδικες.
8. Να υπολογίζουν συνελικτικούς κώδικες για δοθέν πρόβλημα.

Σε επίπεδο Ικανοτήτων

1. Να εφαρμόζουν σε συγκεκριμένα προβλήματα τους αλγόριθμους κωδικοποίησης Shannon, Huffman, Fano, Shannon-Fano-Elias και Lempel-Ziv.
2. Να συγκρίνουν και να αξιολογούν τις μεθόδους κωδικοποίησης πηγής χωρίς μνήμη και με μνήμη.
3. Να σχεδιάζουν και να αξιολογούν μπλοκ κώδικες για δοθέν πρόβλημα.
4. Να εφαρμόζουν τον αλγόριθμο Viterbi σε δοθέν πρόβλημα
5. Να σχεδιάζουν κώδικες μπλοκ, κώδικες διεμπλοκής μπλοκ (interleaving) και κώδικες Reed-Solomon.
6. Να σχεδιάζουν διαγράμματα δικτυωτού (Trellis diagrams)
7. Να σχεδιάζουν συνδυασμένα συστήματα κωδικοποίησης πηγής, καναλιού και διαμόρφωσης ως σύνολο.

1. Β.Ζορκάδης, Θεωρία πληροφορίας και κωδικοποίησης, Ελληνικό Ανοικτό Πανεπιστήμιο, 2002.
2. Αφράτη Φώτω, Εισαγωγή στη θεωρία της πληροφορίας, Σ.ΑΘΑΝΑΣΟΠΟΥΛΟΣ & ΣΙΑ ΟΕ
3. Βούκαλης Δημήτρης, Θεωρία πληροφοριών - Κώδικες, ΣΤΕΛΛΑ ΠΑΡΙΚΟΥ & ΣΙΑ ΟΕ
4. K. SamShammungen: Ψηφιακά και Αναλογικά Συστήματα Επικοινωνίας, Μετάφραση – επιμέλεια: Κ. Καρούμπαλου, Αθήνα, Εκδ. Γ. Πνευματικού, αγγλόφωνη έκδοση John Wiley & Sons, 1979.
5. G. Proakis and M. Salehi, Συστήματα Τηλεπικοινωνιών, ΕΚΠΑ, Αθήνα, 2002
6. Roman, «Introduction to Coding and Information Theory», Springer Verlag, 1996.
7. A. Jones, J. M. Jones, «Information and Coding Theory», Springer Verlag, 2000.
8. C. A. van der Lubbe: Information Theory, Cambridge University Press, 1997.
9. M. Cover, J. A. Thomas: Elements of Information Theory, John Willey & Sons, 1991.

Θεωρία Πιθανοτήτων