Брацлавська фортеця протягом довгого відрізку часу була центром історичних подій, своєрідним символом у боротьбі за Східне Поділля. Почалась ця боротьба ще в середині XIV ст., з приходом сюди військ Ольгерда і розтягнулась на декілька століть.Небожі Ольгерда князі Коріатовичі серед перших подільських замків наказали вибудувати твердиню на Бузі і назвали її Бряславль (Брацлав). Трапилась ця подія на початку 60-х років XIV столяття, а через декілька років інший литовський князь Вітовт відібрав брацлавський замок у Коріатовичів і призначив у місто свого старосту. У 1432 році (за іншими свідченнями- у 1434) Брацлав увійшов до складу Польського королівства, але в 40-х роках XV ст. був повернений Литві. Починаючи з кінця XV ст. брацлавська фортеця стала епіцентром військових дій у Східному Поділлі. В 1479 р. "татари много зла сотворили на Подолю і около Браславлю". Замок в результаті цього набігу було спалено. Невдовзі брацлавський замок за наказом великого князя Олександра Ягеллончика відновили. Брацлав переіменували на місто святого Петра- апостола, зображення якого було у першому варіанті міського герба (назва не прижилась). Сам брацлавський замок був невеликий, погано укріплений і споряджений; у випадку необхідності міг вмістити не більше третини жителів та й під`їзди до нього готувались нашвидкоруч. Все це зафіксував державний ревізор у 1545 році, і за матеріалами даної перевірки довелось вживати термінових заходів. Замок укріпили, проте в умовах середини XVI ст. Брацлав могла врятувати лише фортеця на кшталт кам`янецької. А так ординці регулярно з`являлись під Брацлавом і намагались його штурмувати. Найбільш відомою подібною спробою був приступ Брацлава, здійснений у 1551 році кримським ханом Давлет-Гіреєм ("Перекопським царем", як іменував його літопис). Місто і замок були взяті з вини старостинського намісника Богдана Слупиці. Як пише з цього приводу сучасний історик, "з багатого міста залишились лише руїни, а з людного передмістя врятувалось ледве 200 чоловік". В 1569 році Брацлавщина стала воєводством у складі Речі Посполитої, а сам Брацлав одержав магдебурзьке право. У 1594 році під стінами брацлавського замку повстанці Северина Наливайка, яких підтримав місцевий війт Роман Тишкевич, напали на шляхетський табір і перебили немало польських "урядовців". Через чотири роки Брацлав втратив статус воєводського центру, ці функції перешли до Вінниці. Брацлавський замок відіграв неабияку роль в роки Визвольної війни та Руїни. Важко навіть перерахувати всіх історичних діячів, в той чи інший спосіб причетних до його історії в цей період. Серед них гетмани Іван Виговський, Юрій Хмельницький, Павло Тетеря, Петро Дорошенко, полковник Данило Нечай, кошовий отаман Іван Сірко, молдавський господар Дука і багато інших. Згідно міждержавних угод другої половини XVII ст. більша частина Брацлавщини повинна була залишатись незаселеною. Замкові укріплення Брацлава тим часом занепадали. Цікаво, що брацлавський замок мало не відбудували уже в XIX столітті, коли імператор Микола І віддав відповідне розпорядження. Брацлав, який знаходився на перехресті стратегічних шляхів, зацікавив імператора; в 1832 році навіть був виконаний план майбутнього замку, проте цьому проекту не судилось здійснитись. Від старого ж замку до наших днів не залишилось нічого.