Αριθμητικές Μέθοδοι και Βελτιστοποίηση στη Στατιστική και στη Μηχανική Μάθηση (7 ΠΜ)

    Κωδικός: 
    6115
    Εξάμηνο: 
    6ο
    Μαθήματα Επιλογής
    Διδάσκων: 

    ΓΙΑΝΝΑΚΟΠΟΥΛΟΣ ΑΘΑΝΑΣΙΟΣ

    Αριθμητική γραμμική άλγεβρα: Διασπάσεις και παραγοντοποιήσεις πινάκων (LU, Cholesky, QR, SVD) αριθμητικός υπολογισμός και εφαρμογές στην στατιστική και την μηχανική μάθηση. Επαναληπτικές μέθοδοι: Επαναληπτικές μέθοδοι, γενική θεωρία και φιλοσοφία, Παραδείγματα επαναληπτικών μεθόδων στην επίλυση γραμμικών συστημάτων ή αντιστροφή πινάκων  (Jacobi, Gauss-Seidel, χαλάρωση (over relaxation)) και εφαρμογές στην στατιστική και την μηχανική μάθηση. Παραδείγματα επαναληπτικών μεθόδων στην επίλυση προβλημάτων ιδιοτιμών (Power type methods, QR method)    και εφαρμογές στην στατιστική και την μηχανική μάθηση. Βελτιστοποίηση χωρίς περιορισμούς: Λεία προβλήματα: Μέθοδοι πρώτης τάξης (gradient descent, stochastic gradient descent, momentum methods, Adagrad, ADAM), Μέθοδοι ανώτερης τάξης (Newton methods, Quasi Newton Methods). Μη λεία προβλήματα: Το υποδιαφορικό, proximal methods. Εφαρμογές στην εκμάθηση μοντέλων μηχανικής μάθησης  και στα νευρωνικά δίκτυα, kernelized models. Βελτιστοποίηση με περιορισμούς: Μέθοδοι προβολής (projected gradient descent και γενικεύσεις) Μέθοδοι δυισμού (Duality based methods) και υπολογιστικές μέθοδοι βασισμένες σε αυτές. Saddle point methods, descent and ascent methods βασισμένες σε πολλαπλασιαστές Lagrange κλπ. Εφαρμογές στην εκμάθηση μοντέλων μηχανικής μάθησης Προβλήματα μεγάλης κλίμακας ή μεγάλου όγκου δεδομένων: Μέθοδοι αριθμητικής γραμμικής άλγεβρας για μεγάλα δεδομένα (Μέθοδοι Krylov – Iterated Subspace methods). Μη κυρτή βελτιστοποίηση. Ευρετικοί και εξελικτικοί αλγόριθμοι (Heuristics and Evolutionary algorithms). Scalability and scalable methods. Εφαρμογές στην εκμάθηση μοντέλων μηχανικής μάθησης.

    Προτεινόμενη Βιβλιογραφία

    • Ακρίβης Γ., Β. Δουγαλής, Εισαγωγή στην Αριθμητική Ανάλυση, 5η Έκδοση, 2025 Πανεπιστημιακές Εκδόσεις Κρήτης
    • Chapra, S., Canale, R. (2016). Αριθμητικές Μέθοδοι για Μηχανικούς. Εκδόσεις Τζιόλα.
    • Ford, .,  Numerical Linear Algebra with Applications, 2014 Elsevier
    • Kravvaritis D. and A. N. Yannacopoulos Variational methods in nonlinear analysis with applications in optimization and partial differential equations, 2nd edition De Gruyter 2026 (ch. 2,4,5)
    • G. Lan, First order and Stochastic Optimization Methods for Machine Learning Springer, 2020
    • Lange, K. (2010). Numerical Analysis for Statisticians. Springer.
    • Monahan, J. F. (2011). Numerical methods of statistics. Cambridge University Press.
    • Α. Ν. Γιαννακόπουλος, Σημειώσεις μαθήματος
    • Εξειδικευμένη βιβλιογραφία από ερευνητικές εργασίες, στοχευμένες στα διάφορα θέματα των εργασιών (διαθέσιμη στους φοιτητές ανάλογα με το επιλεγμένο θέμα από τον διδάσκοντα).

    (παλιός τίτλος: Αριθμητικές Μέθοδοι)