Kronhuset har en unik historia att berätta, såsom Göteborgs äldsta profana byggnad färdigställd 1654. Bara några medeltidskyrkor är äldre. Det är byggt i stram holländsk stil med frontoner och höga spetsiga gavlar. Genom en unik hängkonstruktion kunde salen i bottenvåningen byggas utan pelare.
Kronhuset byggdes som tyghus för militären (kronan), dvs som lager för kanoner, fordon, uniformer, spannmål och annan nödvändig krigsmateriel. Det har under ett par hundra år, 1680-1898, tjänstgjort som gudstjänstlokal för alla beväringar, som var ett påtagligt inslag i Göteborgs gatuliv. Efter en restaurering på 1950-talet användes huset fram till 1996 som stadshistoriskt museum.
Det mest anmärkningsvärda händelsen i Kronhusets historia inträffade år 1660. Karl X Gustav sammankallade rikets ständer till riksdag i Göteborg och Kronhuset fick då fungera som rikssal. Bottenvåningen hade inretts med bänkar, klädda i svart tyg. Karl X kom från sina fälttåg i Danmark och hamnade i ett Göteborg drabbat av influensa. Olyckligt nog dog den 38-årige kungen hastigt i lunginflammation på Residenset och därmed blev Kronhusets rikssal den plats där hans son, endast 4 år gammal, utropades till kung Karl XI.
År 2008 renoverades Kronhuset varvid bland annat en foajé byggdes på andra våningen.