Innan Kastellet på Kastellholmen uppfördes har det funnits två tidigare Kastell. När det andra Kastellet 1845 flög i luften efter ett misslyckat experiment med ammunition i ammunitionsfabriken byggdes det nuvarande Kastellet upp. Arkitekterna bakom byggnaden var C Meijer och Fredrik Blom.
Först var tanken att kastellet skulle ha en bombkanon på taket men det blir istället ett logement som byggdes om till bostäder åt underofficerare. År 1956 dömdes dessa lokaler ut som som bostäder och under 70-talet byggde man istället om detta till kontor och konferenslokaler.
Ända sedan 1660-talet (vad man vet säkert men kanske även tidigare) har örlogsflaggan svajat på Kastellholmen varje dag. När flottan 1990 lämnade kastellet halades örlogsflaggan ner. Men efter protester från allmänheten fick man efter några veckor ge vika och återigen hissades flaggan på kastellet. Varje dag åker en värnpliktig från Livgardedragonernas kasern på Lidingövägen för att hissa och hala ner flaggan.