Публичный музей в Каргополе был образован в 1919 г. Его основатель и первый заведующий — каргопольский мещанин Капитон Григорьевич Колпаков (1845 — 1922 гг.), коллекции которого легли в основу музейного собрания. Его собрание включало в себя этнографические коллекции, рукописи, оружие, портретную живопись, фарфор и др. Договор между коллекционером и отделом народного образования был подписан 15 марта (ст. ст. 3 марта), в день рождения Капитона Григорьевича. 27 марта 1919 года документ был зарегистрирован. Последняя дата и считается днем основания Каргопольского музея.
27 марта 1919 года был подписан договор о передаче коллекции (около 600 предметов) от К.Г. Колпакова уездному отделу народного образования. Этот день считается днем рождения музея в Каргополе. Первоначально он располагался в доме Капитона Григорьевича. В 1923 г. музею передали здание Крестовоздвижинской церкви (ныне не существующей) и он впервые был открыт для широкой публики. В 1933 г. музею взамен одного церковного здания было передано другое — церковь Введенская. В 1920-е гг. в музейное собрание поступали иконы, книги, церковная утварь из закрывающихся церквей и монастырей, а также предметы из состоятельных семей. Местом их хранения стал Христорождественский собор, переданный музею в 1936 г. (в соборе хранились церковные вещи)
Вплоть до начала 1980-х. гг. в музее был единственный выставочный зал (в ц. Введенская), где была представлена экспозиция краеведческого характера. В начале 1980 — х гг. музею была передана церковь Зосимы и Савватия. В конце 1980 — х гг. в состав музея вошла Троицкая церковь. В 1993 г. музею переданы архитектурные ансамбли в селах Лядины, Ошевенск и Саунино. С 1994 по 1996 гг. в составе музея находилась церковь Иоанна Предтечи, переданная затем епархии. В 1995 г. и в 2004 г. музею были переданы исторические здания гражданской архитектуры: дом мещанина Блохина, дом лесопромышленника Вагера.
За годы существования менялся статус музея. В 1919-1927 гг. музей назывался художественно-историческим. С 1928 г. он переименован в музей местного края, впоследствии районный краеведческий. В 1992 г. Каргопольский музей был реорганизован в историко-архитектурный и художественный музей-заповедник. В 2001 г. получив статус государственного музея субъекта Федерации, он стал называться Каргопольский государственный историко-архитектурный и художественный музей. C 2012 г. — Государственное бюджетное учреждение культуры Архангельской области «Каргопольский историко-архитектурный и художественный музей».