Pada tahun 1895 di Kampung Tungkak, berdiri sebuah Rumah Miskin yang didirikan oleh Pemerintah Kasultanan Yogyakarta. Rumah Miskin merupakan sebuah tempat untuk menampung tuna wiswa yang dikelola oleh beberapa petugas dengan Tn. Pieters sebagai bapak dari Rumah Miskin tersebut. Singkat cerita, Rumah Miskin memiliki dua petugas yang belajar agama Kristen, yaitu Bapak Patraredja (ayah dari Pdt. Ponidi Soepater) dan Bapak Satradimedja (mertua dari Bapak Kromokariyo). Mereka belajar di sekolah injil yang didirikan oleh Zending pada tahun 1902. Saat itu M. Kalam menjadi guru sekolah dan guru injil pertama di sekolah tersebut.
Di mulai dari dua pegawai Rumah Miskin yang masuk menjadi Kristen, selanjutnya pekabaran Injil di wilayah Tungkak mulai berkembang. Perkembangan pekabaran injil juga didukung oleh perkembangan Rumah Sakit Petronela dan Sekolah Injil. Selain itu, keluarga Bapak Sukawidjaja warga kerasulan yang tinggal wilayah Nitikan, juga memutuskan untuk belajar kekristenan dan bergabung bersama dengan pasamuwan tungkak. Pada tahun 1 Januari 1913, jumlah orang Kristen di Pasamuwan Tungkak telah mencapai 47 orang. Sejak saat itu, pertumbuhan jemaat Tuhan di wilayah Tungkak semakin berkembang. Hingga pada tanggal 15 Maret 1925, Pasamuwan Tungkak yang dipimpin oleh Ds. A. Pos telah memiliki majelis gereja. Karena belum memiliki gedung gereja untuk beribadah, maka kebaktian diadakan di Poliklinik Rumah Sakit. Di tanggal 16 Juli 1930 Pasamuwan Tungkak telah memiliki gedung gereja yang saat ini berada di wilayah Mergangsan.
koleksi Bapak Argo wilayah 3, Lokasi : Gedung Gereja Kristen Jawa Mergangsan bangunan lama, proses pembangunan dinding depan.
Pada tahun 1952 Pasamuwan Tungkak telah memiliki Pdt. DS. Sangidja Dwidjaasmara sebagai pendeta pertama. Majelis juga telah menetapkan perubahan nama pada Pasamuwan Tungkak menjadi Pasamuwan Mergangsan. Pemilihan nama tersebut didasarkan dengan lokasi gereja yang berada di MPP Mergangsan. Saat itu jumlah warga gereja telah meningkat sebanyak 250 orang. Di tahun 17 Agustus 1952, telah dibuka pepanthan Kotagede yang terletak di Kampung Tinalan. Selanjutnya, di tahun 1954, Pdt. Sangidja Dwidjaasmara pindah ke Purwokerto. Pasamuwan Mergangsan dilayani oleh konsulen dari Gondokusuman yaitu Ds. J. Darmoatmodjo pada 7 Januari 1955 dan Ds. Yosafat Darmoatmojo pada 1 Januari 1955.
Dalam masa pergumulan untuk mencari seorang pendeta ke-2, GKJ Mergangsan senantiasa melakukan diakonia dan bekerja sama dengan beberapa lembaga seperti sekolah, rumah sakit, dan rumah tahanan. GKJ Mergangsan melakukan pelayanan diakonia di bidang pendidikan bersama dengan SMP IV BOPKRI. Saat itu sekolah belum dapat membangun sebuah gedung sekolah, sehingga mereka bekerjasama dengan gereja untuk dapat melangsungkan kegiatan belajar dan mengajar. Pelayanan diakonia di Rumah Sakit Mangkuwilayan Yogyakarta dilakukan dengan memberikan pelayanan katekisasi pada perawat dan karyawan. Selanjutnya, para perawat dan karyawan yang mengikuti katekisasi di GKJ Mergangsan juga dilayani baptis sidi dan baptis dewasa di GKJ Mergangsan. Pelayanan diakonia di Rumah Tahanan Wirogunan dilaksanakan sebagai bentuk perhatian gereja untuk melayani para nara pidana supaya mengalami pemulihan iman.
Pada 1 April 1958, seorang guru Injil dari daerah Muntilan yang bernama Pdt. Moelyono Prawirohatmodjo, dipanggil menjadi pendeta ke-2 GKJ Mergangsan. Pada masa pelayanan Pdt. Moelyono, GKJ Mergangsan telah memiliki jemaat sejumlah 464 orang. Saat itu gereja juga memiliki rencana untuk memperluas gedung gereja, sehingga SMP IV BOPKRI harus dipindahkan. GKJ Mergangsan juga melakukan pelayanan di bidang sosial ekonomi seperti membantu anak-anak Sekolah Minggu yang ingin mendapatkan sekolah ke SMP II BOPKRI dengan rekomendasi dari KPILG; menyalurkan dana beasiswa dari donatur pada anak-anak yang tidak mampu dengan membantu uang sekolah; mendirikan perpustakaan untuk menyediakan bacaan buku-buku Kristen untuk menambah pengetahuan; dan memberikan bimbingan untuk membuka Industri Kecil membuat sabun dan es puter.
- Pada tahun 1952 Pasamuwan Tungkak telah memiliki Pdt. DS. Sangidja Dwidjaasmara sebagai pendeta pertama.
- Pada 1 April 1958, seorang guru Injil dari daerah Muntilan yang bernama Pdt. Moelyono Prawirohatmodjo, dipanggil menjadi pendeta ke-2
- Selanjutnya pada tanggal 25 Juli 1984, Pdt. Bambang Sumbodo ditahbiskan sebagai pendeta ke-3 GKJ Mergangsan.
- Pendeta ke-4 dapat terlaksana di tahun 2015 dengan ditahbisnya Pdt. Hendra Kurniawan
Pdt. Moelyono Prawirohatmojo emeritus pada tanggal 20 Januari 1978. Selanjutnya pada tanggal 25 Juli 1984, Pdt. Bambang Sumbodo ditahbiskan sebagai pendeta ke-3 GKJ Mergangsan.
