Pierwsze informacje źródłowe o Rajczy pochodzą z XVII wieku. Na początku XIX w. właścicielami miejscowości byli Siemiońscy. To właśnie oni przyczynili się do jej rozwoju i wznieśli zabudowania dworskie.  W 1854 roku Rajczę nabyła włoska rodzina Primavesich, modernizując dwór, dodając elementy neogotyckie. W latach 1895-96 książę Władysław Lubomirski nadał pałacowi ostateczny wygląd. Między innymi dobudował drugą kondygnację, a ryzality po bokach wejścia głównego zwieńczył szczytami z charakterystycznymi dla neorenesansu północnego spływami. Pośrodku elewacji południowej znajduje się wieża z bramą wejściową oraz loggią przykrytą trzyspadowym dachem. W latach świetności w pałacu było 26 pokoi mieszkalnych ozdobionych dekoracją stiukową. Bywali w nich znani artyści - goście księcia Lubomirskiego - m.in. Karol Szymanowski, Grzegorz Fitelberg czy Ludomir Różycki. W latach 1914-1916 pałac należał do Habsburgów, którzy podczas wojny przekazali go na cele szpitalne. Funkcje te pełni do dziś - obecnie jako Zakład Opiekuńczo-Leczniczy. Źródło slaskie.travel

W roku 1999 obiekt przeszedł gruntowny remont wnętrz, któremu patronował Śląski Wojewódzki Konserwator Zabytków, Oddział Zamiejscowy w Bielsku-Białej.
Realizacja wyposażenia w stylowe oprawy oświetleniowe objęła żyrandole 6, 12 i 16 płomienne oraz lampy ścienne 2 i 3 płomienne w stylu Księstwa Warszawskiego.

Na stronie www.nsik.com.pl znajduje się artykuł opisujący dzieje pałacu oraz fotografie odrestaurowanych wnętrz.