Das Schloss wurde synchron mit dem herzoglich sächsischen Hoftheater von Balthasar Harres geplant und war die Residenz der 50-jährigen Opernsängerin Natalie Eschborn. Der Neffe von Herzog Ernst von Coburg und der Bruder der Herzogin Marie, Herzog Ernst Alexander von Württemberg beauftragten Harres für sich und seine zukünftige Frau ein schlossartiges Gebäude auf den grünen Hügeln des ehemaligen Tiegartens. Nachdem Harres 1838 das Schloss verlassen hatte, vollendete Vincenz Fischer-Birnbaum das Gebäude 1840 im klassizistischen Stil.
Warum wird die Burg „Hohenfels“ genannt??
Nach dem Tod von Herzog Ernst im Jahr 1968 und dem Wegzug von Natalie Eschborn nach Berlin erhielt ihre Tochter Alexandra das gesamte Anwesen. Nur drei Jahre später überschrieb sie das Anwesen an den Fabrik- und Gutsbesitzer Julius Heinzel.
Genau dieser Herr war es, der der Burg Hohenfels seinen Namen gab. Warum? Julius Heinzel wurde in den Adelsstand erhoben und trug nun den Titel „Freiherr Heinzel von Hohenfels„. Und so wurde aus der ehemaligen Burg Ernsthöhe die Burg Hohenfels.