Як і будь-яке інше середньовічне місто, Вінниця починалась із замку. В середині XIV століття, розгромивши Ямболуцьку орду, на території Поділля з`явились литовські війська. Князі Коріатовичі в 1363 році заснували на бузьких пагорбах фортецю Вєніцу (Вінницю). Перший (Литовський) замок височів у Вінниці біля сучасного староміського мосту. Свідчення про цю фортецю можна знайти з описів державних ревізорів XV-XVI cтоліть. З них випливає, що замок був невеликий (24 х 20,25 сажнів), трикутний, п`ятибаштовий. Стіни подвійні: одна дубова в зруб, друга- з лози на невеликому віддаленні від першої. Проміжок між стінами був засипаний утрамбованою землею з піском, поверх стін перекинутий дерев`яний парапет, названий в описі бланкуванням. Проте укріплення були явно недостатні. Ревізор Лев Тишкевич з гіркотою записав у 1545 році, що замок "велми мал і деревом велми тонким роблен... одні на все діри і не вем, де б інде так просто замок роблен був, яко тот здєшнній". Не краще складалась справа і з озброєнням. В замку знаходились 2 гармати, 20 "гаківниць", 2 пищалі, 39 аркебуз. Їхня якість була такою, що "небезпечно єсть стріляти", адже у гармати "конєц ворвался, заправлено желєзом". Для охорони замку тут перебував гарнізон у складі загону драбів (старостинських козаків) і чотирьох сторожів-"кликунів". Вінницький замок мав віддалену польну сторожу: декілька вершників патрулювали в милі від міста, на урочищі "Чотири могили". Першу вінницьку фортецю декілька разів руйнували і палили степові сусіди. Протягом 150 років замок пережив тридцять облог. Свідчення про них залишились у середньовічних документах. Грамота князя Свидригайла, датована 1431 роком, стверджує, що татари воєводу Богдана Микулинського "за Браславлем... убили і вторгнувши в повіт Браславський...замок Вінницький добувши спалили". Схожі ситуації спостерігались у 1524, 1541 роках. В середині XVI ст., після чергового набігу, замок був зруйнований остаточно. Невдовзі почався другий етап в історії вінницької фортеці. Укріплення переносяться вверх проти течії Бугу, на невеликий острівець Кемпу. Тут старости Богуш Корецький і Валентій Калиновський будують новий замок і палац. В 1580 році він був спалений, але швидко відновлений. У 1598 році до ВІнниці було перенесено центр Брацлавського воєводства. З будівництвом на правому березі Бугу укріпленого комплексу єзуїтського та домініканського монастирів ("Мурів") замок на острові поступово перестав використовуватись за призначенням. В XVII-XVIII cт. військові дії в ньому практично не велись ( за виключенням невеликих епізодів часів визвольних змагань і набігів гайдамаків). Опис замку 1765 року стверджує, що він "розташований на острові, складається з валу, зруйнованого палацу та кордегардії, Із замку до міста веде міст на ланцюгах". В описі 1789 року про палац взагалі не згадується, а в 1821 році дослідник Марчинський записав, що "від двох вінницьких замків не залишилось і сліду".