Na mjestu današnje Tvrđave Kastel bilo je jako vojno rimsko uporište, koje je služilo osiguravanju puta koji je povezivao Split sa Panonijom.

Nakon propasti Rimskog carstva ova područja naseljavaju slaveni.. a sam Stari grad i tvrđava su se uglavnom nalazili u sastavu Vizantijske države (8. - 12. vijeka),a ponekad bi je zauzimali i Ugarski Kraljevi. U prvoj polovini 12.-og vijeka Banjalukom je vladao prvo bosanski ban Borić.
Turci osvajaju Banjaluku početkom 16. vijeka, a do kraja istog vijeka, Banja Luka se značajno izgrađuje. Frehat-paša Sokolović igrađuje naselje na ovom prostoru sa oko 200 javnih građevina.
Među njima je i bila poznata Džamija Ferhadija, karavan Saraj, kao i mnogi zanatski i trgovački dućani.
1583. godine Banja Luka postaje sjedište Bosanskog pašaluka što i ostaje do 1639 godine.



Za svo vrijeme svog postojanja Banja Luka je bila poprište mnogih ratnih sukoba, a njeno stanovništvo ili pobijano ili rastjerivano. Također su Banjaluku pogađali pustošili i jaki zemljotresi, ali se grad uvijek uspijevao oporavljati i vraćati. Sam Kastel je mnogo puta razaran, u prvom i u drugom svjetskom ratu. Nakon drugog svjetskog rata Kastel je obnovljen, i opet nakon strašnog zemljotresa
1969. godine.

Vrlo dobro očuvan, Kastel danas predstavlja jedno od središta zbivanja u Banjaluci, gdje se okuplja veliki broj mladih oko raznih sardžaja. Također predstavlja i jedno od mjesta koji se moraju posjetiti ako se ikada nađete u regionu.