1895年,甲午戰爭簽訂馬關條約後,將臺灣割讓給日本,為鞏固在臺統治,以及當時作為臨時臺灣總督府辦公室的「欽差行臺布政使司衙門」在1905年失火,而產生興建廳舍的計畫。
因此,在1906年,舉辦日本史上首次大型公開競圖,並僅限日本本土建築家參加。然而,因一等獎設計圖與荷蘭海牙國際法庭相似、且設計手法不足,最後採用了二等獎長野宇平治的設計。但又因設計上有許多執行問題,最終由時任臺灣總督府營繕科的森山松之助,同時也是落選的競圖參賽者,以長野宇平治的設計圖為基礎,進行內部結構調整,並將廳舍中央塔樓調高至今日所見高度。完工後,成為當時全臺最高的建築。