Pengadilan Agama Yogyakarta merupakan kelanjutan dari Pengadilan Serambi milik Kesultanan Yogyakarta. Pengadilan Serambi adalah pengadilan yang dilakukan di serambi-serambi masjid oleh Penghulu yakni Pejabat Administrasi Kemasjidan. Pengadilan Agama Yogyakarta berdiri pada tahun 1946, pertama kali berkantor di Pengulon sebelah utara Masjid Besar Yogyakarta.

Pengadilan Agama Yogyakarta dibentuk berdasarkan Penetapan Menteri Agama RI Nomor 6 Tahun 1947. Gedung Pengadilan Agama Yogyakarta dahulu terletak di jalan Sokonandi No.8 Yogyakarta, dengan status hak pakai dari Kanwil Departemen Agama Propinsi DIY, yang dibangun pada tahun 1976. Kemudian pada tahun 1996 kantor Pengadilan Agama Yogyakarta melaksanakan tukar pakai gedung dengan Kanwil Departemen Agama (Wisma Sejahtera Kanwil Departemen Agama Propinsi DIY) yang terletak di JL.Wijilan No.14 Yogyakarta, kemudian pindah ke Jll. Ipda Tut Harsono No.53 Yogyakarta sampai saat ini.