Hauhon kirkkoherranpappila on sijainnut samalla paikalla keskiajalta lähtien. Vuonna 1840 valmistunut empiretyylinen päärakennus on arkkitehti A.F. Granstedtin 1837 piirtämä. Vuonna 1901 rakennusta on jatkettu toisesta päästä matalammalla osalla. Pappilarakennuksesta laskeutuu rantaan laaja puutarha. Virkataloon kuuluvat lisäksi vilja-aitta sekä 1700-luvun lopulla rakennettu paririihi viereisellä Kotkon luonnonsuojelualueella.
Pappilassa ovat eläneet 1800-luvulla Karl Alopaeus, Adolf Siren, Johan Lindelöf ja Johan Lahtonen ja 1900-luvulla Backmanin lisäksi Henrik Outinen, Wilhelm Palmroth, Jaakko Markkola, Veikko Kantola ja Sakari Isotalo perheineen. 2000-luvulla pappilaa on asuttanut kirkkoherra Tapani Vanhanen perheineen.
Pappilan kirkonpuolesessa päässä toimii Hauhon seurakunnan kirkkoherranvirasto.
