Na strmim liticama jugoistočnih padina Matorca, gustu šumu kriju ostaci srednjovjekovne tvrđave Kozograd. Arheološki nalazi otkrivaju skromne ostatke dvije kule i cisterne za vodu. Sa visine od 1.430 metara, sa ovog mjesta se pruža jedinstven pogled na Fojnicu.
Kozograd je prvi put spomenut u pisanim izvorima 17. januara 1434. godine, kada je pozvan sud dubrovačkim trgovcima u Bosni, zbog štete nastale u pljački karavana u Konjicu. Prema predanjima, kraljica Katarina Kosača je boravila u Kozogradu 1463. godine i izbjegla pred Osmanlijama u Konjic, te dalje pješice do Dubrovnika i Rima.
Narodna predanja o Kozogradu govore kako je kraljica Katarina zavarala svoje progonitelje tako što je potkovala konje naopako. Čak i danas se tragovi konja mogu vidjeti uklesani u stijeni. Također se vjeruje da su i stari Grci boravili u Kozogradu, što je čest motiv narodnih predanja ovog prostora.
Međutim, nakon pada pod osmansku vlast, daljnji razvoj Kozograda je naglo prekinut. Izgleda da je grad razrušen po osvajanju i više nije bio obnavljan. Prilikom izgradnje, graditelji su koristili uglavnom lomljeni kamen, a fina obrada je rijetka. Na zapadnom dijelu grada, na stijeni se nalazi uklesan natpis čije potpuno čitanje nije moguće.
