Bu mektepler ilk olarak İstanbul’da Fatih Sultan Mehmet tarafından, meşhur cami ve medreselerini tesis ettiği zaman yakınlarında ve caminin batı tarafında yaptırılmıştır.
Sıbyan mektepleri beş ile on yaşındaki erkek ve kız çocuklarına dini bilgiler vermek ve okuma yazmayı öğretmeyi amaçlamaktadır. Sıbyan mektepleri, hemen her mahallede bir tane bulunduğundan halk arasında mahalle mektebi adıyla anıldığı gibi, çoğu taşla yapılmış binalardan olduğu için Taş Mektep ismi de verilirdi. Bu mektepler genellikle camilere bitişik büyük bir odadan ibaretti. Bunları yaptıranlar, başta Osmanlı Padişahları ve kadın sultanlar olmak üzere, derece derece zengin olan bütün hayırsever kişilerdi. Bu kişiler camilerini, medrese ve imaretlerini, mescitlerini yaptırırken yanlarına bir de sıbyan mektebi yaptırmayı, o hayrın ayrılmaz bir gereği saymışlardır.
1824, 1838, 1845 ve daha sonraki tarihlerde sıbyan okullarını ıslah etmek için aynı çizgide çalışmalar yapıldığını görmekteyiz.
1868 yılında Istanbul’da bir “Daru’l-Muallimin-i Sıbyan”ın açılmasıyla ilkokullara yetiştirilecek öğretmen konusunda önemli bir adım atılmıştır.
1869 Maarif-i Umûmiye Nizamnâmesi’nden sonra devlet, ilköğretim alanında mütereddit de olsa, şu siyaseti takip etmiştir:
Yapılacak yenilikleri kolayca uygulamak için, sıbyan okulları dışında İptidâî okulları açmak,
Sıbyan okullarını tedricen ve muhafazakar zümrelerin dikkatini çekmeden usûl-ü cedid üzere (yeni usûl) ders veren duruma getirmek.
II. Abdulhamid devrinde hazırlanmış bulunan 1876 Kanun-i Esasi Anayasası’na göre ilköğretim kız ve erkek çocuklarına mecburi hale getirilmiştir. Böylece kız ve erkek çocukların eşit şekilde eğitim imkânlarından yararlanması hukuken temin edilmiştir.
1879’da Ma’ârif teşkilatında yapılan değişiklikte Ma’ârif Nezâreti bünyesinde “Mekatib-i Sıbyaniye Dairesi”nin kurulması, artık devletin ilköğretim meselesini ciddi olarak ele aldığını göstermektedir. Yine bu dönemde, ilköğretim iki kısma ayrılmıştır. Birincisi “mekatib-i sıbyaniye” olup bu okullar, usûl-ü atîka denilen eski, yani geleneksel eğitime devam ediyordu.