3814 Θεωρία Πληροφορίας

    Μάθημα Επιλογής, Η’ εξάμηνο, 6 μονάδες ECTS

    Διδάσκων: Δεν προσφέρεται

    URL:

    Περιεχόμενο

    Η Θεωρία Πληροφορίας είναι το θεμελιώδες πεδίο μελέτης της μετάδοσης και συμπίεσης σημάτων. Το μάθημα προσφέρει μια ευρεία εισαγωγή στις βασικές έννοιες της Θεωρίας Πληροφορίας, μαζί με κάποια στοιχεία από πρακτικές εφαρμογές στη συμπίεση και την κωδικοποίηση σήματος και τη σχέση της Θεωρίας Πληροφορίας με την Επιστήμη Υπολογιστών. Συγκεκριμένα αναλύονται: έννοιες της εντροπίας και της πληροφορίας, ιδιότητα ασυμπτωτικής ισοκατανομής, αναπωλειακή συμπίεση σήματος (θεωρία και αλγόριθμοι Huffman, Shannon και arithmetic coding), σήματα και θόρυβος, διακριτά και συνεχή κανάλια, κωδικοποίηση και χωρητικότητα καναλιού, διαχωρισμός πηγής-καναλιού, συμπίεση με απώλειες και κβαντοποίηση, συνάρτηση ρυθμού-απώλειας (rate-distortion function), αλγοριθμική πολυπλοκότητα Kolmogorov.

    Μαθησιακά Αποτελέσματα

    Μετά την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές θα είναι σε θέση

    • Να περιγράφουν, να χειρίζονται και να χρησιμοποιούν τις θεμελιώδεις έννοιες (εντροπία, αμοιβαία πληροφορία, χωρητικότητα, συνάρτηση ρυθμού-παραμόρφωσης) και τα βασικά θεωρήματα κωδικοποίησης (συμπίεση με ή χωρίς απώλειες και μετάδοση μέσω καναλιών με θόρυβο) της Θεωρίας Πληροφορίας.
    • Να αναγνωρίζουν τις θεμελιώδεις αντισταθμίσεις και περιορισμούς που διέπουν τα συστήματα μετάδοσης και αποθήκευσης πληροφορίας.
    • Να μοντελοποιούν συστήματα δημιουργίας, μετάδοσης και αποθήκευσης πληροφορίας με χρήση συστατικών μοντέλων της Θεωρίας Πληροφορίας.

    Προαπαιτούμενα Μαθήματα

    Για να εγγραφεί στο μάθημα, ο φοιτητής πρέπει να έχει εξεταστεί επιτυχώς σε προηγούμενο εξάμηνο στο μάθημα «Πιθανότητες». Επίσης συνιστάται στους φοιτητές να έχουν εξεταστεί επιτυχώς σε προηγούμενο εξάμηνο και στα μαθήματα «Εφαμορσμένες Πιθανότητες και Τυχαιοκρατικοί Αλγόριθμοι» και «Μαθηματικά ΙΙ».

    Συνιστώμενη Βιβλιογραφία

    • Στοιχεία της Θεωρίας Πληροφορίας. T. Cover, J. Thomas (μετάφραση από αγγλικό πρωτότυπο), Πανεπιστημιακές Εκδόσεις Κρήτης, 2014.
    • Information Theory, Inference and Learning Algorithms, D. J. C. MacKay, Cambridge University Press, 2003.

    Διδακτικές και Μαθησιακές Μέθοδοι

    Διαλέξεις (2 διαλέξεις των 2 ωρών εβδομαδιαίως), φροντιστήρια (1 φροντιστήριο των 2 ωρών εβδομαδιαίως) και ατομικές ομάδες ασκήσεων (εβδομαδιαίως).

    Μέθοδοι Αξιολόγησης/Βαθμολόγησης

    Ο τελικός βαθμός ισούται με τον βαθμό της γραπτής τελικής εξέτασης.