Το όνομά της το πήρε από την ομώνυμη μεσαιωνική πόλη
Κερνίτσα, η οποία αρχικά κατοικήθηκε από Σλάβους. Αρχικά ήταν ανδρική, όμως το 1940 με βασιλικό διάταγμα μετετράπη σε γυναικεία. Κατά τα χρόνια της τουρκοκρατίας λειτουργούσε ως κρυφό σχολειό.
Στο πέρασμα των αιώνων βίωσε αμέτρητες λεηλασίες με αποτέλεσμα πολλά κειμήλια μεγάλης αξίας να καταστραφούν ή να χαθούν, όπως ένα πολύτιμο χρυσό Ευαγγέλιο. Η θαυματουργή εικόνα της Παναγίας βρέθηκε σε μια σπηλιά κάτω από τον ναό. Στο εσωτερικό της εκκλησίας της Παναγίας υπάρχουν λειψανοθήκες με λείψανα και οστά αγίων και μαρτύρων.
Στον περίβολο της Μονής ανατολικά είναι κτισμένος στην κεφαλή ενός βράχου ο Βυζαντινός Ναός της Κερνίτσης όπου βρίσκεται και η θαυματουργική εικόνα. Τιμάται στο όνομα της Παναγίας και εορτάζεται στις 15 Αυγούστου.
Κάτω από τον συγκεκριμένο ναό υπάρχει μια σπηλιά όπου εκεί βρέθηκε η Εικόνα της Παναγίας.








