Prema historijskim podacima tvrđava je dobila izgled, kakav danas zatičemo, između 1765. i 1824. godine. Za vrijeme austrougarske uprave unutar bedema su sagrađena dva objekta prvobitne civilne namjene, zgrada suda i gruntovnica. Na odbrambenim objektima utvrđenja primjećuju se mnoge pregradnje za koje se ne zna kada su izvršene.
Tvrđava se nalazi na terenu koji sa svih strana pada prema sjevernoj kapi-kuli, gdje je teren najniži i tu se ujedno nalazi veza tvrđave sa centralnim dijelom civilnog naselja – čaršijom. Tvrđava ima dvije cjeline: Donji grad i unutar njega Gornji grad. Cijeli kompleks je opasan bedemima koji zatvaraju površinu od 35 ari, 91 m2. Karakteristično je da su pojedini dijelovi bedema i kule cijelog kompleksa građeni mnogo pažljivije klesanim kamenom nego mnogi drugi gradovi istog doba u Bosni.
Prostor Starog grada ima oblik nepravilnog četverougaonika sa dužinom stranice od oko 180 – 200 m.
U sjeverozapadnom dijelu tog prostora, izdvaja se akropola – Gornji grad, koji je ustvari tvrđava u tvrđavi. Linija bedema koji okružuju cijeli grad je izlomljena, a na jugoistočnom, jugozapadnom i sjeverozapadnom uglu se nazire linija osmougaonih bastiona, koji su sada zatrpani ili od kojih su samo ostali podzidovi. Unutar Donjeg grada su ostaci još jednog poligonalnog bastiona. U grad se ulazi kroz tri kapi-kule: iz čaršije kroz sjevernu glavnu kapi-kulu, zatim kroz južnu i zapadnu. Kapi-kule su skoro četverougaone osnove i imaju krovove na četiri vode pokrivene šindrom. Građene su dobro klesanim kvaderima.
Dimenzije sjeverne kapi-kule su: vanjske 9×8 m, unutrašnje 5×4,5 m. Ulazi su lučno zasvedeni. Ulaz na istočnom zidu kapi-kule je naglašen profiliranim četverougaonim okvirom, luk iznad ulaza je ukrašen biljnim ornamentom. Iznad vrha luka je uokvirena ploča sa plastičnim prikazom čovjeka na konju i sa biljnim motivima. Sjeverno od ulaza je natpis «Dobrotvor Osman-kapetan, 1223» (1808) (Mujezinović, 1998, 182). Na vrhu kule, ispod krova, su četiri simetrično postavljena proreza, a u sredini, nešto niže, tačno iznad ploče sa plastičnim prikazom, je umetnut blok sa pravom puškarnicom. Zapadni zid je jednostavno riješen, bez ukrasa i puškarnica. U unutrašnjosti kule se primjećuje da su zidovi do visine vrha luka brižljivo građeni, sa ujednačeno dimenzioniranim i klesanim blokovima, dok je gornji dio do krova građen nešto sitnijim i nemarnije slaganim kamenjem.
Dimenzije južne kapi-kule su: vanjske 9×8,5 m, unutrašnje 5×4 m. Luk i dovratnici ulaza na južnom zidu ove kapi-kule su naglašeni i ukrašeni geometrijskim i floralnim ukrasima. Iznad luka je ploča sa vitičastim ukrasima, a iznad nje puškarnica. Simetrično uz nju je sa svake strane po jedan uski procjep kao otvor za puške. Istočno od ulaza je natpis «Dobrotvor Osman – kapetan, 1223» (1808) (Mujezinović, 1998, 182). Uz istočni rub južnog zida su na jednom kamenom bloku isklesani buzdovan i kriva sablja. Isti motiv nalazi se na kamenom bloku na zapadnoj strani pri dnu južnog zida, a negdje na sredini iste strane je i kamen sa uklasanim motivima polumjeseca, rozete i jabuke. Sjeverni zid ove kapi-kule sa ulazom u unutrašnjost tvrđave je jednostavno riješen, bez ukrasa i puškarnica. U unutrašnjosti kule se primjećuje da su zidovi do visine vrha lukova iznad kapija brižljivo građeni, sa ujednačeno dimenzioniranim i klesanim blokovima, dok je gornji dio do krova građen nešto sitnijim i nemarnije slaganim kamenjem. Na gornjem dijelu zapadnog zida, izvana su vidljive popravke i pregradnje vršene tokom vremena. Na toj strani zatvoren je manji, lučno zasveden prozor, a ugrađeni su jedna puškarnica i jedan prorez. Na istočnom zidu kapi-kule je puškarnica, a vide se i tragovi popravki na dijelu zida ispod krova. Bedem između sjeverne kapi-kule i bastiona na jugoistočnom uglu je najbolje očuvan dio odbrambenog omotača grada. Ima puno otvora za puškarnice. Vanjska oplata zida je obložena pažljivo klesanim kvaderima, dok je unutrašnja nemarnije građena.
Zapadna kapi-kula, vanjskih stranica dužine 7 m, a unutrašnjih 4 m, bila je sporedna kapija, građena od manje brižljivo klesanih blokova i bez ukrasa na ulaznom zidu.
U sredini današnje parkovske površine Donjeg grada sagrađen je poligonalni bastion (dimenzija 15×20 m), okrenut ka sjeveroistoku, tj. sjevernoj kapi-kuli, čaršiji i najnižem dijelu terena. Desno i lijevo od njegovih bočnih zidova, ka bedemima, su sagrađeni pregradni zidovi. Leđa bastiona su štićena prirodno uzdignutim terenom, opasanim vanjskim bedemima između zapadne i južne kapi-kule.
Uz jugozapadni ugao bedema Donjeg grada, sa unutrašnje strane nekadašnjeg poligonalnog bastiona, skrivaju se pod naslagama zemlje i rastinja kazamati.
Gornji grad (glavni dio utvrđenja – akropola), sa kulom Husein-kapetana nalazi se na najvišoj tački brijega, na sjevernoj strani tvrđavskog kompleksa. Leži na terasi koja ga okružuje sa južne i istočne strane. Sa sjeverne strane Gornjeg grada su vanjski bedemi koji pripadaju cijelom kompleksu. Gornji grad sa platformom (spomenutom terasom) zauzima površinu od oko 6 ari, a sama tvrđava na Gornjem gradu se prostire na površini od oko 3 ara.
Osnova tvrđave na Gornjem gradu je u obliku četverougaonika, prilagođena terenu i sa manjim brojem lomova na perimetralnim bedemima. Na uglovima sjevernog bedema su tabije, a južnog velike kule. Duž zapadnog, ulaznog zida su kazamati koji se nalaze u podrumu južne kule (mali kazamat) i veliki kazamat, uz bedem od ulaza u tvrđavu, nasuprot malog kazamata.
Na jugozapadnom uglu tvrđave je velika kula pravougaone osnove, dužine vanjskih stranica 10 m. Debljina zida kule je 1,20 do 1,80 m. Na vrhu zida su hodne staze za strijelce, širine 1,10 m. U dnu kule je bio mali kazamat. Ulaz u kazamat je bio lučno presveden. Danas je zasut do visine luka koji je nad zemljom. Ulaz u kulu je u istočnom zidu. Jugozapadnu kulu i veliki kazamat dijeli prolaz i glavni ulaz u Gornji grad. Ulaz je širine oko 3 m. Lučno je zasveden. Zapadni, vanjski zid velikog kazamata je debeo 2 m, a onaj u unutrašnjosti tvrđave 1,20 m. Vanjska dužina kazamata je oko 13, 50 m, a unutašnjost je dugačka 8,605 m. Kazamat je podijeljen na dvije prostorije zasvedene bačvastim svodom. Pristup je omogućen kroz dva ulazna otvora, od kojih se jedan nalazi na južnoj, a drugi na zapadnoj strani objekta. Zapadni ulaz je djelimično zatrpan, tako da je nad zemljom vidljiv samo luk, čija je jedna polovina zazidana. Sjeverozapadni ugao tvrđave završava malim bastionom koji je u osnovi nepravilni četverougaonik, visok oko 11 m.
Nad velikim kazamatom je sagrađen prizemni objekat, pravougane osnove, dimenzija 14,75 x 8,55 m. Objekat je u cjelosti zidan kamenom. Prizemlje je također pokriveno bačvastim svodom i podijeljeno na dvije prostorije povezane sa dva otvora sa polukružnim završetkom. Nad prizemljem je drvena krovna konstrukcija i pokrov od biber-crijepa. Krov natkriva i otvoreni prostor sa sjeverne strane objekta. Glavni ulaz u objekat nalazi se na istočnoj strani. Koristi se kao ugostiteljski objekat.
Na istočnoj strani tvrđave, na jugoistočnom uglu, je četverougaona kula sa dužinom vanjskih stranica oko 9,60 m. Kula je visoka skoro 6 m i prazna. Debljina zidova ove kule je oko 2 m. Na vrhu je staza za strijelce, široka oko 1,20. Na dnu kule su dva otvora koji vode u neke podzemne hodnike i dvije velike polulučne niše. Iznad njih je vidljiv ispust na zidu koji je držao strop i gornji sprat. U kulu se ulazilo sa sjeverne strane.
Uz kulu sa sjeverne strane je prizidan mali povišeni plato, koji je također mogao služiti kao topnički položaj.
Na sjeveroistočnom uglu je osmougaoni bastion visok skoro 16 m. Zidovi su mu debeli oko 1,50 m. Unutrašnjost bastiona je široka oko 8,5 m. Ulaz je prilično uzak i na njega se prilazi stepenicama. Kula i bastion na sjevernoj strani tvrđave su bili povezani podzemnim hodnikom.
Istočno od bastiona na bedemu je lučno zasveden veliki otvor, koji je danas nezaštićen.
Okolo Gornjeg grada su bedemi. Nadzemni dijelovi bedema danas su visoki do 1 m. Krune zidova su najvećim dijelom prevučene betonom, a tamo gdje to nije slučaj došlo je do osipanja. Južni bedem je građen od cigle. Njegova kruna se također osipa.
Kula Husein-kapetana Gradaščevića je situirana u najvišem dijelu Starog grada. Predstavlja tip dvorca feudalca, utvrđenog radi sigurnosti. (1) Na arhitekturu objekta umnogome su utjecale promjene namjene. Ispitivanjem na objektu 1952. godine je utvrđeno da postoji čitav niz prozora na svim spratovima koji su tokom vremena zazidani, vjerovatno za vrijeme korištenja kule za potrebe žandarske kasarne. Također je utvrđeno da je na zadnjem katu dio zida naknadno ubačen, odnosno da su i na tom mjestu zatvoreni veliki otvori. Dokumentarni materijal, naročito fotografija u kalendaru “Bošnjak ” iz 1901. godine i crtež u časopisu. “Nada” potvrdili su da je na sve četiri strane zadnjeg sprata prvobitno stajao drveni doksat. Iznad ulaza je također stajao jedan, najvjerovatnije trostrani doksat.
Kula se sastoji iz dva dijela: glavne građevne mase sa tri etaže (dimenzija 12,50 m x 15,50 m) i i tornja (7,18 x 7,70 m) koji zadire sa istočne strane ove mase i nadvisuje je sa još tri etaže. Visina nižeg dijela objekta do krova iznosi 10,45 m, a tornja 18,20 m.
U prizemlju su tri prostorije zasvedene bačvastim svodovima, a na prvom i drugom spratu bilo je po pet soba simetrično raspoređenih oko centralnog stepeništa i predsoblja.
Prilikom adaptacije kule za savremenu ugostiteljsku namjenu, na objektu su dodate betonske i armirano-betonske konstrukcije.
Sahat-kulu je 1824. godine podigao Husein-kapetan Gradaščević, što potvrđuje ploča uzidana u objekat. U natpisu stoji: “Osnivač objekta je Husein-kapetan, sin Osman-kapetanov, kapetan gradačačke tvrđave. Godina 1240.” (1824). Pismo je obični nesh. (2) Predstavlja najmlađi objekat ove vrste koji je podignut u osmanskom periodu u Bosni i Hercegovini. Sat je nakon 1878. godine kupljen u Beču. Novi sat je postavljen 1923. godine. Prestao je raditi u II svjetskom ratu, kada je sahat-kula korištena kao benzinsko skladište.
Sahat-kula ima oblik tornja koji se od podnožja postepeno sužava prema koti vrha. Približno je kvadratne osnove, dimenzija 5,23 x 5,11 m, a ukupna visina iznosi 22,0 m. Objekat ima prizemlje i pet spratova. Na južnoj strani su ulazna vrata, dimenzija 0,77 x 1,83 m. Od prizemlja do zadnjeg sprata vodi drveno stepenište široko 0,75 m, sa 90 stepenica. Na četvrtoj etaži je po jedan prozorski otvor sa polukružnim završetkom, dimenzija 0,58 x 1, 15 m, a na petoj etaži su četiri pravouugaona prozorska otvora. Svjetlost je u unutrašnjost objekta dovedena i pomoću uskih otvora koji se šire prema unutrašnjosti, a koji su raspoređeni od podnožja do vrha objekta.
Zidovi su debeli 0,75 m i zidani kamenom, izuzev gornjeg dijela visine 2,15 m, koji je od opeke. Iako najmlađa, sahat-kula, zbog neadekvatnog fundiranja, znatno je zakošena.
Zgrada Gradske biblioteke, radio-stanice i muzeja sagrađena je krajem 19. stoljeća u vrijeme austrougarske uprave, nedaleko od sahat-kule. Prvobitno je služila kao gruntovnica, osnovana 1887. godine. Dimenzije objekta su 15 x 19 m. Sastoji se od prizemlja i jednog sprata. Pokrivena je drvenom krovnom konstrukcijom, a kao pokrov korišten je biber-crijep, koji je danas zamijenjen kanadskom šindrom.
Zgrada gimnazije (dimenzija 31 x 16 m) je sagrađena krajem 19. stoljeća. Prvobitno je služila kao sud. Sastoji se od prizemlja i dva sprata. Drugi sprat je dograđen 1956. godine. Uz nju je dograđena fiskulturna sala (14 x 23 m), koja predstavlja neadekvatnu gradnju u okviru Starog grada. U toku rata je pretrpjela ozbiljna oštećenja krova i stropova. Sredstvima donacije zgrada je sanirana i danas je u funkciji.