Berdiri secara resmi pada tanggal 2 Mei 1993, Perpustakaan Umum Daerah Kotamadya Yogyakarta pertama dirintis dan dikelola oleh Cabang Dinas Pendidikan dan Kebudayaan Kotamadya Yogyakarta. Awalnya perpustakaan ini berada di Jalan Pekapalan no. 2-4, alun-alun utara. Meskipun lokasinya strategis, namun tempat ini kurang dikenal oleh masyarakat. Akhirnya untuk mengembankan lokasi dan jumlah buku maka pada tanggal 20 Juli 2007, UPT Perpustakaan menempati gedung baru seperti yang ditempati saat ini yaitu di Jalan Suroto no. 9 Yogyakarta.

Genap satu setengah tahun menempati bangunan dua lantai seluas 600 meter persegi, ternyata mendapat sambutan masyarakat yang sangat menggembirakan. Data kunjungan memperlihatkan peningkatan yang sangat signifikan, dari 6200 pengunjung pada tahun 2007 menjadi tidak kurang 16000 pengunjung pada tahun 2008. Selain itu, fungsi perpustakaan juga mengalami diversifikasi jenis layanan secara signifikan, sehingga secara organisasi dirasa perlu untuk ditingkatkan dari UPT Perpustakaan menjadi Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta yang secara resmi terbentuk berdasarkan Peraturan Daerah no. 9 tahun 2008.