Το όνομά της πιθανόν να οφείλεται στον θαλασσινό θεό Πρωτέα, γιο του Ποσειδώνα. Κατά άλλους, σύμφωνα και με τον Ηλείο ιστορικό Γεώργιο Παπανδρέου, πιθανόν να προέρχεται "διότι πρώτη οράται υπό των μακρόθεν προς την Πελοπόννησον πλεόντων και κατά άλλους, διότι είναι πλωτή πέριξ, ως έχουσα πανταχόθεν βαθέα ύδατα, κατά διαλεκτικήν εναλλαγήν των συμφώνων λ σε ρ".
Μνημονεύεται από τον Θουκυδίδη γιατί εκεί "ερήμου ούσης", το 7ον έτος του Πελοποννησιακού πολέμου, 425 - 424 π.Χ., στάθμευσε προσωρινά, λόγω τρικυμίας, ο Αθηναϊκός στόλος του Δημοσθένη, επανακάμπτοντας από τη Ζάκυνθο και συνεχίζοντας προς την Πύλο, όπου πλησίον αυτής, στη νήσο Σφακτηρία, πολιόρκησε τους συγκεντρωμένους εκεί Σπαρτιάτες.
Σύμφωνα με τις τοπικές παραδόσεις αποτελούσε στο παρελθόν καταφύγιο ναυτικών, πιθανόν δε ακόμα κατά διάφορες εποχές και λημέρι Πειρατών, Κουρσάρων Σαρακηνών, που έκρυβαν εκεί και τους θησαυρούς τους. Έχει σπουδαία αρχαιολογική σημασία γιατί πάνω του σώζονται ερείπια ακροπόλεως Μυκηναϊκής ή προκλασικής εποχής με τείχος και κυκλοτερή πυργίσκο.
Σε έναν μικρό κόλπο του νησιού, που ονομάζεται Γραμμένο, υπάρχουν διάφορα μηνύματα γραμμένα πάνω στους βράχους. Περίπου 30 επιγραφές, που ανάγονται στην Μετακλασική, Ρωμαϊκή και Βυζαντινή περίοδο, αποτελούν ευχές ναυτικών, που περνούσαν από εκείνο το σημείο, για να έχουν καλό ταξίδι στις θάλασσες. Οι επιγραφές είναι σμιλευμένες πάνω στα βράχια και είναι καθαρές και ευδιάκριτες ακόμη και σήμερα.
Ανατολικά του νησιού υπάρχει μια μοναδικού κάλλους αμμουδιά, που ονομάζεται αμμουδιά της Βουρλιάς. Στην είσοδο του όρμου βρίσκεται βυθισμένο ένα σκάφος με κάποια σημεία του να είναι πολύ κοντά στην επιφάνεια ή και να διακρίνονται ελάχιστα. Πρόκειται για το πλοίο Ανουάρ μήκους 40 μέτρων, που βυθίστηκε εκεί στη διάρκεια βομβαρδισμών κατά τον Β' Παγκόσμιο Πόλεμο.
Βορειότερα από τη Βουρλιά βρίσκεται ένας ακόμη ήσυχος όρμος, που χρησιμεύει σαν λιμανάκι για τους επισκέπτες της Πρώτης και ειδικότερα των επισκεπτών της Μονής Κοιμήσεως της Θεοτόκου Γοργοπηγής. Πήρε το όνομά της από την ομώνυμη εικόνα του 1832, που βρέθηκε στα βράχια του νησιού το 1984 στο σημείο, που σήμερα υπάρχει ένα μικρό εκκλησάκι.
Η δίκλιτη εκκλησία του μοναστηριού είναι αφιερωμένη στην
ανακομιδή των λειψάνων του Αγίου Στεφάνου και στην απόδοση της Κοιμήσεως της Θεοτόκου. Το μοναστήρι είναι ανδρικό και εορτάζει στις 23 Αυγούστου και στις 24 Σεπτεμβρίου με πλήθος επισκεπτών να έρχονται, για να τιμήσουν την ημέρα, που βρέθηκε η εικόνα.
Εκτός του μοναστηριού δεν υπάρχουν σπίτια η ξενοδοχεία. Οι ακτές είναι απότομες και βραχώδεις, χωρίς όμως να λείπουν μερικοί υπήνεμοι όρμοι, που προσφέρουν ασφαλές αγκυροβόλιο, οι οποίοι και στο παρελθόν είχαν χρησιμοποιηθεί σαν πρόχειρα αγκυροβόλια. Πυκνή βλάστηση καλύπτει το έδαφός της κυρίως από σκίνους, κουτσουπιές, γκορτσιές και αγριελιές.













