白楼位于漳江镇建设路桃源师范内，1912年由资产阶级民主革命家宋教仁倡议，在县城边街创建湖南省第二女子师范学校（即现在的桃师），白楼建于此时，现代著名女作家丁玲曾在此就读，红二、六军团也曾在此楼设临时指挥部。

白楼坐北朝南，平面呈曲尺形，长54米，宽40米，砖木结构，为仿欧洲哥特式建筑。白楼不仅建筑风格别具一格，且具有较高的革命传统教育意义。