Замах, якого не було
Передвоєнний час у житті Барановського стало для нього чорною смугою. У 1933 році його заарештували, звинувативши в тому, що він нібито приховав ряд церковних цінностей з експонатів в Коломенському. При цьому слідчий долучив до справи також і антисталинскую діяльність. Як пізніше писав сам Барановський, слідчий Альтман приписував йому участь у замаху на життя товариша Сталіна.
А також йому ставилося активну участь у політичних організаціях, які ставили своєю метою повалення існуючої влади. За словами архітектора, навіть три роки таборів померкли перед жахами допитів, жахливої брехні, моральних тортур, яких він зазнав, перебуваючи у в’язниці.
Дух не зломлений
Таборове життя не зламала цієї чудової людини. Із спогадів дочки Ольги Барановської, про тих роках відомо наступне. Після повернення з табору він став дуже поспішно обміряти, таємним чином фотографувати і робити креслення Казанського Собору на Червоній площі.
Справа в тому, що за наказом уряду його почали руйнувати. Проте архітектор Барановський дуже важко переживав спостережуване їм власні очі наругу над унікальним пам’ятником 17-го століття, який він сам реставрував.
Крім цього, йому доводилося переживати приниження і великі незручності у зв’язку з тим, що щодня доводилося в 17-00 відзначатися за місцем проживання в Александрові як неблагонадійна персони, яка повернулася із заслання.
При цьому потрібно відзначити, що відтворити собор у його первісному пишноті вдалося тільки тому, що реставратором були створені точні і повні матеріали. Це було зроблено лише в 1993 році.