Первоначальная крепость была построена в 12 веке для княжеской семьи Липпе. В 1500 году семейство переехало в Детмольд, где построили новую резиденцию, и крепость Браке потеряла свое значение.
В 1584 году она перешла к самому известному его владельцу - графу Симону VI из рода Липпе. Он был хорошо образованным человеком, интересовался науками и коллекционировал живопись. Граф перестроил крепость в замок в стиле везерского ренессанса и сделал его своей резиденцией. Башня использовалась ним для астрономических целей и наблюдения за звездами.
На территории есть итальянский ресторан и старая водная мельница. Внутри замка расположен музей везерского ренессанса.
Как добраться: Парковка N 52 01.372 E 8 54.891. Железнодорожная станция Lemgo-Lüttfeld находится в двух минутах от замка.