Das Schloss Buchberg liegt drei Kilometer südlich von Gars am Kamp auf einer niedrigen Felskuppe am rechten Flussufer. Den vielgliedrigen stark höhengestaffelten Komplex mit vorgelagerten Ziergärten prägen Bauphasen vom 12. bis zum 20. Jahrhundert.

Zwischen 1140 und 1170 taucht in Urkunden erstmals ein Heinrich von Puechperg als ein Ministerialer der Garser Burggrafen auf. Er errichtet auf der Felsenkuppe ein Festes Haus umgeben von einer schützenden Ringmauer. Seine beiden Söhne, Hugo und Otto, scheinen urkundlich in Zusammenhang mit ihrer Teilnahme an Kreuzzügen in das Heilige Land auf. Darauf verweist auch das Patrozinium der Kreuzauffindung in der Kapelle und bereits 1197 wird urkundlich ein Burgkaplan erwähnt.

Diese „älteren Buchberger" sind bis in das frühe 13. Jahrhundert nachweisbar. Dann gelangt die Festung in den Besitz der Familie der Falkenberger. Ihr erster Vertreter, Albero, und seine Nachkommen nennen sich Buchberger. Auf Grund wirtschaftlicher Schwierigkeiten gelangt eine Hälfte der Burg 1330 in den Besitz der Habsburger. Die andere Hälfte erwerben 1339 die Herren von Winkl. Eine Studie von Evelyn Brugger behandelt detailliert die schwierigen Wirtschafts- und komplizierten Besitzverhältnisse des frühen 14. Jahrhunderts. Von 1356 bis in die Mitte des 15. Jahrhunderts besitzt das Adelsgeschlecht der Stockhorner Burg und Herrschaft Buchberg. 1588–1592 scheint als Besitzer Mathias Teufel auf, dem auch die Burg Gars gehört. Eine Beschreibung in einem 1585 erstellten Schätzgutachten vermittelt den Eindruck einer mittelalterlichen Burg, die neuzeitlichen Wohnansprüchen wohl nicht mehr genügt haben dürfte. Dort heißt es: „Erstlichen das Schloß Puechperg, wie dasselbig mit seiner Herrlichgkeit und Freiheit, so auf einer ziemblichen Höch und Fölsen zu negst dem Khamph ligt, innwendig gleichwoll mit schlechten und wenig Zimmern versehen. Sonst aber mit einer diecken Schloßmauer und zwein von stain erpauten vesten Thürmen ein und umbfangen sind erbaut."

Hans Georg von Kuefstein erwirbt 1592 Schloss und Gut Buchberg von Matthias Teufel. Von 1612 bis 1624/27 befinden sie sich im Besitz seines Sohns, Hans Ludwig von Kuefstein. In dieser Zeit erfährt die mittelalterliche Burganlage eine tiefgreifende Umgestaltung. Sie erhält ihr heutiges frühbarockes schlossähnliches Aussehen, das G. M. Vischer in einem Stich festgehalten hat. Die Wappen Hans Ludwigs tragen zwei repräsentative frühbarocke Portale im Innenhof des Burgschlosses.

Ein 1625 anlässlich des Verkaufs der Herrschaft Buchberg an die Familie Schifer erstelltes Gutachten vermittelt den großen Wandel, der sich durch den Umbau vollzogen hat. Der Text spricht von einem Schloss „welches auf einem harttem Felsen gelegen, undt neben einer ansehenlichen zierlichen undt sehr gelegensamhen Wohnung an die vierzig Gemächer, einer schönen Schloß-Kappelln, Altane undt kleinen Lustgärtl" aufweist und wo man auch „einen absonderlichen springenden Röhr Wasser [sieht,] so in alle drej Höff rinnet, undt an jedem Orth besondere Fischhaltter hat, mit anderen guetten Bequemblichkaiten, zum Nuz und Lust, sonderlichen neuangefangenen und maistenthails ausgefüerthen Lustgartten, daruntter starkke doppelte Gewölber undt Grotten sein darein das überige Wasser auß dem Schloß zu Lust undt Notturfft geleitet wierdt, wie eins undt anderes der Augenschein mit mehrern ausweiset." Große Teile des mittelalterlichen Bauwerks werden in diesen neuzeitlichen Umbau integriert.

Im 18. Jahrhundert erfährt die Anlage nur minimale Veränderungen. Durch Vererbung bzw. Verkauf tritt ein rascher Wechsel der Eigentümer ein. Zu diesen gehören die Familien Pollheim, Auersperg, Collalto, Rottal, Rummel und Stak.

1823 erwirbt Carl Croy Schloss und Gut Buchberg und erweitert diesen Besitz 1826 durch den Kauf der benachbarten Herrschaft Gars. Beide Güter bleiben bis 1965 im Besitz der Familie. Ein Aquarell von Thomas Ender aus der Zeit um 1830 zeigt die nur in einigen Details gegenüber dem Stich von 1672 veränderte Ostseite: Das Eingangstor des Vorwerks fehlt im Vergleich mit dem Stich von Vischer und die Turmbekrönung weist eine dem Formenkanon des Biedermeiers entsprechende einfache geometrische Form auf. Die oberste begehbare Ebene des Turms stammt noch aus der Zeit um 1500. Bei den zinnenähnlichen Aufsätzen handelt es sich um Auflager des wohl im frühen 19. Jahrhundert errichteten Dachstuhls, der bis um 1880 bestanden hat. Der Glockenturm der Kapelle zeigt auf dem Aquarell noch eine barocke Bekrönung.

Eine wichtige bauliche Entwicklungsphase beginnt unter Alexander Croy. Er beauftragt 1873 den Architekten Ludwig Wächtler mit der historistischen Umgestaltung der mittelalterlichen Kapelle, die 1874 wieder eingeweiht wird. Die malerische Innenausstattung mit einem ausführlichen Passionszyklus im Tonnengewölbe wird nach einem Konzept von Franz Jobst ausgeführt. Das ursprüngliche dreiteilige Altarbild aus dem 15. Jahrhundert, das, dem Patrozinium entsprechend, die Kreuzauffindung zeigt, befindet sich heute im Besitz der Familie Croy. Der Künstler JORRIT TORNQUIST ersetzt 1989 die fehlenden Altartafeln durch eine zeitgenössische Gestaltung.

Im Zug der Historisierung durch Alexander Croy werden die Wirtschaftsgebäude des Vorwerks abgerissen und durch einen mit Linden bepflanzten Hof mit einem erhöhten runden Eckturm ersetzt. Im Rahmen dieser Arbeiten dürfte auch der Eingangsturm erneuert worden sein. Darauf verweist eine dendrochronologische Untersuchung der Fachwerksbalken.

Bereits auf dem Katasterplan von 1868 ist ein im Stil englischer Landschaftsgärten angelegter Park zu erkennen. Im frühen 20. Jahrhundert werden an der Ostseite terrassenförmig Ziergärten angelegt. Im Inneren erfolgt eine Modernisierung der Wohnstruktur des Schlosses durch den Einbau von Treppenhäusern und die Umgestaltung der Innenräume. Direkt an die nördlichen Außenmauer angebaut entsteht um 1912/14 das sogenannte Neue Schloss mit einem Küchen- und Wohngeschoss.

1965 erwirbt die Familie Bogner das Gut Buchberg. 1979 gründen Dieter und Gertraud Bogner im Schloss den Kunstraum Buchberg.