Перша згадка про будову на скелі відноситься до 976 року. Спочатку тут було імперське укріплення, так званий пфальц, щось на зразок готелю для імператора. У таких пфальцах імператори Священної Римської імперії зупинялися, коли подорожували. Близько десяти імператорів і королів побували в замку.
У XII столітті, один з найбільш значущих королів в історії Німеччини Фрідріх Барбаросса, шість разів проводив у замку рейхстаг, імперські збори, вищий законотворчий орган Священної Римської імперії. За часів Барбаросси замок був істотно перебудований.
У цей час було побудовано вежу доглядача (Hausmannsturm). У таких вежах доглядачі спостерігали за ситуацією в місті та замку, оперативно попереджаючи про пожежі або наближення ворога. Останні доглядачі залишили свої пости тільки у XX столітті.
Вхід у вежу вільний, можна побачити кімнату доглядача і гарні краєвиди з маленьких вікон.
У Німеччині замок скандально відомий через викрадення принців Ернста й Альбрехта в липні 1455 року. Лицар Кунц фон Кауффунген (Kunz von Kauffungen) викрав спадкових принців із саксонської династії Веттинів. Метою була спроба змусити курфюрста Фрідріха II Лагідного компенсувати територіальні та фінансові втрати, яких зазнав лицар під час Саксонської братньої війни.
У XVII столітті замок став резиденцією герцогів Саксен-Гота-Альтенбург, і між 1706 і 1744 роками був перебудований у репрезентативний палацовий комплекс. Наразі перебуває у власності міста.
Як дістатися: припаркуватися можна і біля входу до замку (50.987944, 12.441250), але ми залишили автомобіль трохи далі (50.988889, 12.443861) і ще прогулялися через замковий парк. Неподалік від парку розташована залізнична станція Bahnhof Altenburg.