История Белого дома началась в 1800 году с отвода земельного участка купцу М.В. Сибирякову. После этого прошел длительный процесс подготовки территории и строительства, которое завершилось в 1804 году. В 1837 году здание покупается казной и становится резиденцией генерал-губернаторов Восточной Сибири. Во время революции здесь разместился первый орган Советской власти – Центральный комитет Советов Сибири (Центросибирь), но уже в 1918 году в Белом доме открылось первое высшее учебное заведение Восточной Сибири – Иркутский государственный университет. В 1939 году здание было отдано под Научную библиотеку ИГУ (до 2016 г.). Сегодня здесь расположен Центр историко-культурного наследия ИГУ.

Изначально здание было окрашено в желтый цвет, белым оно стало только после реконструкции в 1906 году, и только через 100 лет на заседании научно-методического Совета при Восточно-Сибирском управлении Росохранкультуры принято решение по окраске фасада здания, соответствующее первоначальному историческому виду.