Ονομάστηκε Coffee Bay το 1893 όταν από ένα ναυάγιο που έχασε το
φορτίο των κόκκων του καφέ κοντά στην ακτή, φύτρωσαν εκατοντάδες καφεόδεντρα αν και ενδέχεται να μην υπάρχουν πλέον. Βρίσκεται σε μια περιοχή που ήταν προηγουμένως μέρος του Xhosa bantustan, Transkei και ο πληθυσμός εξακολουθεί να είναι κατά κύριο λόγο Xhosa.
Η Δημοκρατία του Transkei (Xhosa: iRiphabliki yeTranskei), ήταν ένα μη αναγνωρισμένο κράτος στη νοτιοανατολική περιοχή της Νότιας Αφρικής από το 1976 έως το 1994. Ο παραδοσιακός τρόπος ζωής Xhosa στο Coffee Bay είναι ένας από τους λόγους που προσελκύουν τουρίστες στην περιοχή.
Coffee Bay περιλαμβάνει ελάχιστες εγκαταστάσεις, ένα εμπορικό κατάστημα, έναν απλό κάμπινγκ και δύο ξενοδοχεία. Η περιοχή είναι γεμάτη με ποικίλη άγρια χλωρίδα και πανίδα.
"Η τρύπα στον τοίχο". Στο Coffee Bay υπάρχει μια μεγάλη τρύπα σε έναν μεγάλο βράχο, που εκτείνεται πάνω από τη θάλασσα. Η τρύπα ενισχύει τον ήχο των κυμάτων πάνω στο βράχο, εμπνέοντας τους ντόπιους ανθρώπους Xhosa να τον ονομάσουν esiKhaleni, που σημαίνει «τόπος ήχου».
Υπάρχουν διάφοροι λαϊκοί παραδοσιακοί μύθοι για την "τρύπα στον τοίχο". Πολλοί πιστεύουν ότι η τρύπα είναι πύλη προς τους προγόνους, άλλοι, ότι ο ποταμός Μπάκο σχημάτισε κάποτε μια χερσαία λιμνοθάλασσα που μπλοκαρίστηκε από τον βράχο.