Здание принадлежало купцу 2-ой гильдии М. Казакову, владельцу самых крупных мельниц на реке Вохма, спиртоводочного завода, магазина «Хлеб».
Один из немногих жилых домов Вохмы на ул. Вознесенской (ныне Советской), возможно наиболее ранний среди сохранившихся в селе, ориентируется на городскую архитектуру позднего классицизма середины XIX века. В советское время здесь располагался РК КПСС.
С 1968 года в этом здании находятся Центральная и Детская библиотеки.
С 2005 года Центральной библиотеке им. Л.Н. Попова, знаменитого земляка-поэта, члена Союза писателей России.
