Pustaka ini lahir dari ide brilian seorang pengurus mesjid yang dikenal ustad Amir, Nama lengkapnya Tgk.H. Drs. Amirullah Hamzah, M.Si yang juga pencaramah tetap Mesjid Raya.
“ Mesjid Raya ini aneh jika tidak punya perpustakaan”, itulah terbersit dibenak ustad Amir ketika itu di tahun 1979.
Tak buang-buang waktu ustad Amir pun yang saat sebagai Ketua Remaja Mesjid menjumpai Imam Besar Mesjid Raya Baiturrahkan yang kala itu, Tgk. H. Sofyan Hamzah (Alm). Ia mengemukakan idenya supaya didirikan Pustaka Mesjid Raya.
“Tidak ada tempat untuk Pustaka”, jawab Sofyan Hamzah kala itu. “ Ada tempatnya, ruangan bawah kantor MRB”, kata Ameer. “Tapi itu gudang penyimpanan barang-barang”, jawab Imam Besar yang perinsipnya setuju saja tapi soal tempat yang jadi masalah.
Dalam dialog ini, ustad Amir memberi Solusi.“ Barang-barang di Gudang kita pindahkan ke Lokasi WC rusak di sudut masjid”, kata Ameer .
Terus Tgk. Sofyan Hamzah pun setuju. “Kemudian semua petugas di masjid bergotong royong dua hari penuh membersihkan gudang memindahkan barang-barang”, kata Ameer bercerita.
Setelah ruangan bersih dikosongkan, ustad Ameer terus berpikir lagi untuk pengadaan buku-buku Pustaka. Ia pun menemui seorang pejabat IAIN AR-Raniry Darussalam meminta disumbangkan buku-buku untuk Perpustkaan Mesjid Raya dan terkabul. Satu mobil buku-buku diangkut ke Msejid Raya.
“ Saat itu belum ada lemari dan rak tempat, buku-buku diletakkan sementara diatas meja penjang invesntaris masjid, dengan fasilitas seadanya”, kata Amir lagi tentang awal lahirnya Pustaka yang megah saat ini.
