Zamek w Karłowicach jest jednym z najstarszych i najlepiej zachowanych średniowiecznych budowli zamkowych w powiecie opolskim. Zamek został wzniesiony w połowie XIV wieku, za czasów, kiedy właścicielami Karłowic była rodzina Czamborów de Kertzendorf (von Tschammer). Powstał na niewielkim wzniesieniu, nad brzegiem rzeki Stobrawy na planie nieregularnego trapezu z wieżą w zachodniej części. Całe założenie otaczała nawodniona fosa. Następnie w 1440 r. zamek przeszedł na własność rodu von Beessów, a w 1565 r. został kupiony przez Piastów brzeskich. Za ich czasów zamek przebudowano. Postawiono nowy budynek mieszkalny, podwyższono wieżę do około 25 m i rozbudowano skrzydło z bramą wjazdową. Na zamku powstała także barokowa kaplica, w której prócz mieszkańców zamku mogli się także modlić okoliczni katolicy. W 1675 r., po wygaśnięciu linii Piastów z Brzegu, karłowicki majątek wszedł w skład domeny królewskiej i był często oddawany w dzierżawę zmieniając właścicieli. Dziś - ograbiony i zdewastowany po II wojnie światowej zamek jest w rękach prywatnych i nie jest udostępniany do zwiedzania. Obecnie wystawiony jest na sprzedaż.