任测量总署署长卡拉弗利设计，1851年10月正式动工，历时四年至1855年竣工，耗资14,940英镑，最初总督府只有一座以新古典主义建筑风格建成的主楼，落成后历任香港管治者一直有对该建筑进行加建和修改，最大的加建工程是扩建东翼，当时总督府由于举行活动很多，港督德辅决定加建东翼。由设计到建成历时仅三年，于1891年启用。
东翼主要用作社交活动场地，东翼面积与主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅，1930年代总督府日渐残旧，港督贝璐曾建议于马己仙峡道另建新的总督府，但因经济问题及二次世界大战爆发而搁置。
钟意杰见许其安很陶醉的样子，打趣道“许警官似乎对总督府很很感兴趣！”
许其安收敛表情。露出恭敬之色，笑道“钟先生上午好……在香港人眼里，港督府是神圣不可侵犯的一座府邸。”
“神圣不可侵犯？”钟意杰笑了笑，他可没感到什么神圣的地方。
“二战期间，香港被日军统治，日军总督矶谷廉介虽然没有入住总督府，但仍以此作为督宪府，许警官，原来的总督府可没有这么豪华。日本人作了大规模改建，改建设划由建筑师藤村正一负责，主要加建了中央