Οικοδομήθηκε στα
1856-1860 και φέρει το όνομα του αρχιτέκτονά του Χάινριχ φον Φέρστελ, Heinrich von Ferstel, 1828 - 1883. Ξεχωρίζει για τη μοντέρνα για την εποχή του νεογοτθική αρχιτεκτονική, με μαυριτανικές επιρροές, εμπνευσμένη από τα κτήρια της Βενετίας και της Φλωρεντίας.
Στα πρώτα χρόνια, το Ανάκτορο Φέρστελ στέγασε το Χρηματιστήριο της Βιέννης και την Αυστρο-ουγγρική Τράπεζα, ενώ από το 1906 φιλοξενεί διάφορα εμπορικά καταστήματα και το Cafe Central που βρίσκεται στην πρώην κεντρική αίθουσα της τράπεζας. Την ίδια εποχή κατασκευάστηκε και η εμπορική στοά μέσα στο ίδιο μέγαρο.
Το είχε κάνει δεύτερη κατοικία του. Είχε μάλιστα δώσει τη διεύθυνση του καφενείου - Χέρενγκασσε 14 - και παραλάμβανε εκεί το ταχυδρομείο του. Σήμερα, προς τιμήν του, ένα ολόσωμο ομοίωμα του ποιητή υποδέχεται τους επισκέπτες του Cafe Central.
Ήταν το αγαπημένο στέκι του Αυστριακού θεατρικού συγγραφέα Άρτουρ Σνίτσλερ, ο οποίος τα πιο πολλά θεατρικά έργα του, όπως το "Ανατόλ" και το "Ερωτικό γαϊτανάκι", τα έγραψε στα τραπέζια του. Σύχναζαν οι θεατρικοί συγγραφείς Ούγκο φον Χόφμανσταλ και Φρανκ Βέντεκιντ, οι συγγραφείς Ρόμπερτ Μούζιλ και Στέφαν Τσβάιχ, ο ποιητής Άλφρεντ Πολγκάρ.
Επίσης αρχιτέκτονας Άντολφ Λόος, ο ζωγράφος Όσκαρ Κοκόσκα και ο σατιρικός συγγραφέας Καρλ Κράους, ιδρυτής του "Θεάτρου Ποίησης". Ο Σίγκμουντ Φρόυντ, ο ψυχίατρος Άλφρεντ Άντλερ, αλλά και Ρώσοι επαναστάτες όπως ο Λέων Τρότσκι και ο Βλαντίμιρ Λένιν. Επίσης, ο Αδόλφος Χίτλερ το επισκεπτόταν κατά καιρούς.
Οι αίθουσές του διακοσμημένες στο στυλ του τέλους του 19ου αιώνα και η εσωτερική διακόσμησή του, με τα θολωτά ταβάνια και τα αψιδωτά παράθυρα, τους φερ-φορζέ πολυελαίους, τους απαστράπτοντες μαρμάρινους κίονες και τα πολύχρωμα βιτρώ, αντανακλούν αυτοκρατορικό μεγαλείο.
Με πολλές ζημιές κατά τη διάρκεια του Β' Παγκοσμίου Πολέμου, έκλεισε το 1943. Έμεινε κλειστό για 43 χρόνια. Το Ανάκτορο Φέρστελ ανακαινίστηκε μετά το 1978 και το Cafe Central επαναλειτούργησε το 1986. Ακόμη και σήμερα αυτό που σε κερδίζει στο Cafe Central είναι η ατμόσφαιρα.