Keberadaan UPT Pusat Perpustakaan IAIN Padangsidimpuan dalam lintasan sejarah diawali dari Perpustakaan Fakultas Tarbiyah IAIN Sumatera Utara cabang Padangsidimpuan. Namun, pada waktu itu Perpustakaan Fakultas Tarbiyah belum memiliki gedung tersendiri tetapi hanya menempati salah satu ruangan di gedung yang berada di Jalan Ade Irma Suryani Nasution Padangsidimpuan. Pada tahun 1986 seiring dengan keberadaan kampus baru di desa Sihitang kecamatan Padangsidimpuan Tenggara, Perpustakaan Fakultas Tarbiyah tersebut dipindahkan bersama dengan seluruh bagian administrasi ke kampus baru tersebut. Dengan keterbatasan gedung yang tersedia pada waktu itu, maka Perpustakaan berbagi tempat dalam satu ruangan dengan ruang sidang munaqasyah.
Pada tahun 1997 ketika terjadi alih status Fakultas Tarbiyah IAIN Sumatera Utara cabang Padangsidimpuan menjadi STAIN Padangsidimpuan, maka dengan sendirinya Perpustakaan Fakultas Tarbiyah tersebut berubah menjadi Perpustakaan STAIN Padangsidimpuan. Sejak saat itu mulailah Perpustakaan membenahi koleksi dan layanan perpustakaan secara bertahap dan sesuai dengan perkembangan STAIN Padangsidimpuan.
Tiga tahun setelah berdirinya STAIN Padangsidimpuan, tepatnya tahun 2000, gedung perpustakaan mulai dibangun dengan luas bangunan 600 m² yang terdiri dari dua lantai. Pembangunan gedung perpustakaan tersebut selesai pada tahun 2001 dan mulai dipergunakan untuk aktifitas pelayanan perpustakaan pada pertengahan tahun 2002.
Pada tahun 2014 status Perpustakaan STAIN Padangsidimpuan berubah menjadi UPT Pusat Perpustakaan IAIN Padangsidimpuan seiring dengan alih status STAIN Padangsidimpuan menjadi IAIN Padangsidimpuan yang diresmikan oleh Menteri Agama RI Surya Dharma Ali pada tanggal 6 Januari 2014 di Gedung Auditorium STAIN Padangsidimpuan.
Sejak masih berada dibawah naungan Fakultas Tarbiyah IAIN Sumatera Utara cabang Padangsidimpuan sampai kemudian berada dibawah naungan IAIN Padangsidimpuan, kepemimpinan Perpustakaan telah mengalami sejumlah pergantian. Berikut ini adalah orang-orang yang pernah menduduki jabatan sebagai Kepala Perpustakaan :
- Ruslan Husein Nasution, BA (1970 – 1973)
- Rahmadia Siregar, BA (1974 – 1979)
- Drs. Muslim Hasibuan, MA (1980 – 1981)
- Kartini Nasution, BA (1981 – 1983)
- Rahmadia Siregar, BA (1984 – 1988)
- Nuromas Hasibuan, BA (1988 – 2004)
- Yusri Fahmi, S.Ag., S.S (2004 – 2009)
- Harmi Yusri, S.Ag., S.S (2009 – 2010)
- Drs. Samsuddin, M.Ag (2010 – 2013)
- Yusri Fahmi, S.Ag., S.S., M.Hum (2014 – s.d sekarang)