Sekitar tahun 1920 M atau sekitar tahun 1340 H seorang tokoh ulama karangjati bernama Al-Maghfurlah KH.Abdurrohim merintis sebuah lembaga pendidikan pesantren di Desa Karangjati Sampang Cilacap (saat itu masih kecamatan Maos). Pada waktu itu para santri yang mengaji masih di dominasi oleh anak-anak Desa Karangjati dan sekitarnya sebagai peserta didik. Beberapa tahun kemudian tampak perkembangan dengan datangnya santri dari luar daerah seperti Banyumas dan Brebes serta kebumen. Setelah kondisi KH.Abdurrohim semakin `udzur, maka proses pengajaran lalu ditangani oleh putra-putra beliau yang setia membantu ayahandanya itu. Di antara putra beliau adalah KH.Abdullah Mughni (1926 M). Lalu dilanjutkan oleh putra lainnya yakni KH.Muhammad Nuh (1930 M).
Dengan kondisi yang sangat sederhana dibangunlah asrama putra Ponpes. Al-Islam Karangjati di bawah asuhan KH.Muhammad Nuh dan KH.Isma`il (1935 M). keduanya putra KH.Abdurrohim dengan modal tanah wakaf dari keluarga KH.Isma`il. Dengan pembangunan asrama pada periode ini sekaligus menjadi tonggak sejarah peletakan dasar berdiri dan berkembangnya pesantren di Karangjati dengan berbagai disiplin ilmu agama khususnya Al-Qur`an. Sepeninggal KH.Isma`il (wafat) dan KH.Muhammad Nuh (pindah ke Pageraji Cilongok Banyumas) kendali pesantren dilimpahkan kepada adiknya yang bernama Kyai Abu`Amar (1940 M)yang baru pulang dari pengembaraan ilmu dengan berguru Al-Qur`an kepada KH.Munawwir Krapyak Yogyakarta sehingga nuansa Al-Qur`an sangat kental kala itu.
Pada periode ini dibangun asrama putri Pon.Pes.Nurul Islam Karangjati berlokasi di sebelah Madrasah Diniyyah (1960-an)untuk menampung santri putri. Beberapa tahun berikutnya (sekitar akhir tahun 1970-an) dibangun lagi asrama putra di dekat masjid dengan merehab asrama lama.
Setelah Kyai Abu`Amar wafat (tahun 1987 M),periode berikutnya Pesantren Al-Islam diasuh oleh KH.Ma`mun Shodiq Isma`il (Sugeng Isma`il)sekaligus menantu Kyai Abu`Amar dibantu oleh saudara-saudaranya antara lain: K. Slamet Isma`il (alm), K. Farhan AA (alm), KH. Muhyidin dan K. Dimyathi Isma`il serta kerabat dan famili lainnya hingga sekarang. Pada saat ini pula nama pesantren diubah dari Pondok Pesantren AL-ISLAM menjadi Pondok Pesantren NURUL ISLAM. Sepeninggal K.H. Ma'mun Shodiq Isla'il, maka Pondok Pesantren Nurul Islam Karangjati diasuh oleh K.H. Muhammad Jarir selaku Menantu dari K.H. Ma'mun Shodiq Isma'il.
Saat ini, Pondok Pesantren Nurul ISlam Karangjati mengelola pengajian Al-Qur`an, pengajian Kitab Salaf / Klasik, TPQ, MADIN, MI dan MTs dan Raudlatul Athfal (RA).
