Külliye’nin ilk yapımı Yavuz Sultan Selim’in hocası Halimi Çelebi’nin yaptırdığı cami ile başlamıştır. Daha sonra 1547 yılında Kanuni Sultan Süleyman’ın Hazine Reisi Yakup Ağa camiyi tadilata alıp; yanına medrese, imaret, misafirhane ve sıbyan mektebi inşa ettirerek yapıyı külliye haline getirir.
Cami; kesme taştan yapılmıştır, kubbeler kurşunla örtülüdür. Minaresi Cami’nin güneybatı köşesine inşa edilmiştir. Caminin kapısı ahşap ve sedef işçiliği ile dikkat çekmektedir. Oyma sanatının en iyi örneklerinden biridir. Kapı kanatlarındaki panolarda; “Bu Cami’nin kapısı her zaman sevinçle açılsın” ve “Ben Allah’ın birliğine şahadet ederim” yazıları bulunmaktadır.
İmarethane (Aşevi); külliyenin kuzey tarafında yer alır. Aşevi bitişiğinde önü revaklı, üzeri kubbeli ve misafirhane olarak kullanılmış beş oda bulunur. Yakup Ağa imaretinde, günün her saatinde sıcak çorba bulunduğu, bu imaret kapısının daima açık olduğu, zengin fakir ayrımı yapılmaksızın gelen her misafire ikram yapıldığı anlatılır. Ağa İmareti olarak anılmasının nedeni bu imaretin halk üzerinde bıraktığı olumlu etkidir.
Sıbyan Mektebi; beş ile on yaş arasındaki erkek ve kız çocuklarına din eğitimi verilen ve okuma yazma öğretilen yerdir. Sıbyan mektebi günümüzde el sanatları satış yeri olarak kullanılmaktadır.
Medrese; külliyenin diğer bir kısmını oluşturur. Girişinde üzeri kubbeli odalar, güneyinde de tonoz örtülü odalar vardır. Osmanlı medreseleri arasında belirli bir plan tipine uymayan kendine özgü bir yapı şekli vardır.
Efsanesi
Yakup Ağa Külliyesi Yavuz Sultan Selim’in hocası olarak bilinen Halimi Çelebi tarafından yaptırılmış, Kanuni Sultan Süleyman’ın Hazine Reisi Yakup Ağa tarafından onarılmıştır. Bu külliyenin giderleri Kırım’ın Kefe şehrinden gelen iaşelerde karşılandığı için, Kefeli Medresesi adını aldığı, başka imaretlerden daha iyi yemekler çıktığı için Ağa İmaret adını aldığı, İsmail Bey Külliyesi civarı aşağı imaret olduğundan Yakup Ağa Külliyesinin yukarı imaret adını aldığı rivayet edilir. Başka bir rivayete göre Yakup Ağa Cami, dünyada ilk ses akustiğinin yapıldığı yerdir.