Het verhaal van de kunstbunker begint in 1939. Om het Nederlandse cultuurgoed tegen oorlogsgeweld te beschermen werden in opdracht van de Nederlandse Regering gepantserde schatkamers gebouwd.
Nadat in augustus 1939 al de Nachtwacht en andere topstukken uit het Rijksmuseum waren overgebracht naar kasteel Radboud bij Medemblik en enkele kerken in Noord-Holland, werd in oktober 1939 definitief besloten om voor de grote musea uit het westen van het land, bergplaatsen in de duinen te bouwen.
Kort na gereed komen van de schuilplaatsen in de duinen moesten die op last van de bezetter worden ontruimd, vanwege de aanleg van de Atlantikwall in 1941.
Nieuwe, bomvrije schatkamers waren snel nodig. In de mergelgrotten onder de Sint Pietersberg verrees er één, veel te klein voor alle kunstschatten.
De bouw van de bunker in Paasloo is min of meer het sluitstuk van de operatie en in 1942 begonnen. De RGD gaf de Rijksbouwmeester ir G.C. Bremer,. ingenieur Emmen en bouwopzichter Pieter Rueck opdracht voor een tweede exemplaar, ditmaal bovengronds, in de bossen bij Paasloo.
Het leek onbegonnen werk en toch klaarden ze de klus. Tussen mei 1942 en april ‘43 werd de bunker in Paasloo gebouwd. Daarvoor moest in recordtijd worden geïmproviseerd om de nodige materialen te verzamelen en onder het oog van de bezetter naar Paasloo getransporteerd te krijgen. Van ’s morgens vroeg tot ’s avonds laat werd door ca 150 man aan het object gewerkt tussen zonsopgang en ondergang.
Muren met een omvang van 4,5 meter, een koepeldak dat op een ruim 9 meter dikke laag gewapend beton rust. Allemaal zodanig dat binnen een half jaar de eerste kunstwerken in de bunker opgeslagen konden worden. Bossen van geweven staal, een met baksteen beklede gevel en een slim dakpanpatroon dat van bovenaf aan een doodgewone boerensilo doet denken. Het is mede vanwege die uitzonderlijke vorm dat de bunker in de volksmond een geuzennaam kreeg: het Paasloo Pantheon met zijn ijzersterke vermomming.