İttihat ve Terakki, 19. yüzyıl sonunda Osmanlı İmparatorluğu’nun içinde bulunduğu bunalımdan kurtulması için Kanun-ı Esasî’nin yeniden yürürlüğe konmasını isteyen öğrenciler tarafından 1889’da Askeri Tıbbiye Mektebi’nde İttihad-ı Osmanî Cemiyeti adlı gizli bir örgüt olarak kuruldu. Daha sonra İttihat ve Terakki Cemiyeti adını alacak örgüt, aynı devirde kurulmuş irili ufaklı diğer pek çok örgütle birleşerek Osmanlı coğrafyasının en güçlü teşkilatı haline geldi.
İttihad-ı Osmanî Cemiyeti, 2 Haziran 1889 tarihinde Askeri Tıbbiye’nin bahçesinde toplanan İshak Sükûti, İbrahim Temo, Abdullah Cevdet, Çerkez Mehmed Reşid adındaki dört öğrenci ile ve sonradan onlara katılan Hüseyinzade Ali Bey, Konyalı Hikmet Emin Bey, Cevdet Osman, Kerim Sebatî, Mekkeli Sabri Bey, Selanikli Nazım Bey, Şerafettin Mağmumi, Giritli Şefik tarafından kurulmuştu. Genç öğrencileri bir araya getiren, devletin içinde bulunduğu bunalım ve II. Abdülhamid yönetimine duyulan hoşnutsuzluktu. Kurtuluş için acilen Meşrutiyet yönetiminin kurulması, Abdülhamid yönetiminin yıkılması gerektiği düşüncesindeki gençler, bu konuda propaganda yapmak üzere örgütlendiler.
Cemiyet, Haziran 1889’da Edirnekapı dışındaki bir bağda, bağ bekçisi Aluş Ağa’nın başkanlığında, 12 kişinin katılımı ile gerçekleşen bir toplantısında başkanlığa en yaşlı üye olan Ali Rüşdî’yi, sekreterliğe Şerefeddîn Mağmûmî’yi, saymanlığa Âsaf Derviş’i seçti. Bir piknik görüntüsü verilerek gerçekleştirilen bu toplantıya, “İnciraltı Toplantısı” veya “On İkiler Toplantısı” denilir. Cemiyetin İtalyan Karbonari Mason Teşkilatı’nı örnek alarak hücreler halinde yapılanması, her üyeye bir sıra numarası verilmesi bu toplantıda kararlaştırıldı. İngiltere Dışişleri Bakanlığı Doğu Masası yetkililerinden George Kidston’un 21 Aralık 1918 tarihli raporunda “…bu gizli yapının Masonluğu İtalya’dan getiren ve Selanik Locasının başlıca kurucusu bulunan Carrasco (Karasu) ile çok sıkı ilişkisi olduğunu” bildiriyordu.Birinci hücrenin birinci üyesi İbrahim Temo oldu. Cemiyet toplantılarını her Cuma farklı yerlerde sürdürdü.
Tıbbiyelilerin kurduğu İttihad-ı Osmanî, İstanbul’daki sivil ve askeri diğer yüksekokul öğrencileri arasında taraftar kazanarak hızla büyüdü. Ancak propagandaya geçmek için acele etmeyen örgüt, 1895 yılına kadar daha çok iç eğitim sayılabilecek toplantıları yapmakla yetindi[5]. Toplantılarda Namık Kemal, Ziya Paşa gibi Genç Osmanlılar’ın yapıtlarını; İranlı hürriyetperverlerin ve Ali Şefkati’nin yapıtlarını okudular.
Sultan II. Abdülhamid, cemiyetin varlığından ve faaliyetlerinden 1892 yılında haberdar oldu. Bu tarihten itibaren cemiyet üyeleri hafiyeler tarafından takip edildiler. Tıbbiye Mektebi komutanlığına Mehmet Zeki Paşa atandı ve disiplinli bir idare sağladı.
Yeni disiplinli idarenin uygulamaları sonucu Cemiyetin önde gelen üyeleri çeşitli defalar tutuklandılarsa da kısa sürede serbest bırakılıyorlardı. Başkentte Ermeni eylemlerinin gerçekleştiği 1895 yılı, İttihatçıların daha sert eylemlere yöneldiği yıl oldu. 30 Eylül 1895 tarihinde başkentte düzenlenen büyük Ermeni yürüyüşünde Müslüman halkın Ermenilerin karşısına çıkmasıyla 3 gün kanlı çatışmalar yaşanmıştı. Bu gelişme karşısında eyleme geçen cemiyet üyeleri olanların yönetimin basiretsizliğinden kaynaklandığına, halkın yönetime karşı harekete geçmesi gerektiğine dair bildirgeleri dağıttılar, duvarlara yapıştırdılar. Eylemleri, pek çok tıbbiyeli üyenin hapse düşmesi veya sürgüne gönderilmesine neden oldu.
Kimi cemiyet üyeleri karşılaştıkları sert uygulamalar nedeniyle cemiyetin yardımı ile Avrupa ülkeleri veya Mısır’a kaçtılar; kimileri cemiyet tarafından Avrupa’ya gönderilip eğitimlerini orada tamamladılar. Yurt dışına giden üyeler, gittikleri yerlerde cemiyetin eylem merkezlerini oluşturdular.