Berdirinya Yayasan Haji Abdul Hakim Nasution Pesantren Modern Nurul Hakim Tembung tidak terlepas dari cita-cita dan wasiat almarhum H. Abdul Hakim Nasution. Di akhir hayatnya, beliau berwasiat agar sebahagian hartanya diwakafkan untuk mendirikan masjid dan pesantren guna sebagai wadah pendidikan generasi muslim di masa mendatang yang bercorak modern. Modern dalam arti sistem manajemen dan pendidikan, fisik bangunan serta sarana prasarana pelengkap lainnya, sehingga benar-benar bisa menjadi harapan umat di masa depan.
Untuk merealisasikan rencana besar tersebut, maka sejak tahun 1988 beliau membeli sebidang tanah yang berlokasi di jalan Besar Tembung ke arah Bandar Setia yang saat ini bernama jalan M. Yakub Lubis No. 51 Tembung Percut Sei Tuan Deli Serdang Sumatera Utara. Kemudian pada tahun 1989 dimulailah pembangunan fisik yang dimulai dengan pembangunan Masjid An-Nurul Hakimiyyah yang rampung dan diresmikan pada tanggal 15 Maret 1991. Akan tetapi beberapa hari sebelum peresmian masjid tersebut H. Abdul Hakim Nasution menderita sakit dan wafat pada tanggal 14 Maret 1991 dan beliau dikebumikan di halaman masjid yang baru diresmikan tepat pada saat peresmian masjid tersebut.
Kendati beliau telah tiada, cita-cita tersebut tetap hidup dan mendorong ahli warisnya untuk melanjutkan rencana besar tersebut. Maka pada tanggal 8 November 1991 para ahli waris yang terdiri dari : Hj. Halimah Lubis, Hj. Hanisah Nasution, Hj. Apriani Hakim Nasution, SE dan Hj. Meilani Nasution sepakat untuk membentuk sebuah yayasan dengan Akta Notaris Djaidir, SH. No. 25 tahun 1991 yang diberi nama Yayasan Haji Abdul Hakim Nasution yang diketuai oleh Hj. Apriani Hakim Nasution, SE dan kemudian dimulailah pembangunan proyek pesantren tersebut dengan peletakan batu pertama pada tanggal 19 Desember 1991 oleh Menteri Agama RI pada waktu itu H. Munawir Sadzali, MA. dan dihadiri unsur Muspika dan Muspida Deli Serdang, Pimpinan Pesantren Modern Gontor beserta tokoh-tokoh masyarakat Tembung.
Dalam kurun masa setahun beberapa bangunan utama telah selesai, maka pada tanggal 26 Juli 1992 dimulailah kegiatan operasional pesantren dengan penerimaan santri perdana untuk tingkat Tsanawiyah dan pada tahun 1993 dibuka penerimaan santri untuk tingkat Aliyah. Sejak awal berdirinya, Pesantren Modern Nurul Hakim Tembung telah melahirkan kurang lebih 3300 santri/wati yang terdiri dari 17 angkatan yang pada saat ini sebagian besar sedang melanjutkan studi dan berkiprah dalam berbagai bidang baik di pemerintahan dan swasta di dalam maupun di luar negeri.