Экспозиции были развёрнуты в пяти комнатах — вопреки существовавшей практике открытия музеев, которые посвящались какому-либо конкретному событию. В этом же случае экспонатами стало большое количество редких вещей и свидетельств, которое накопилось у участников обороны.
Год, с которого начинает историю музей, совсем не случаен. Именно через 13 лет после окончания Крымской войны Россия возобновила строительство кораблей для Черноморского флота, хотя Парижский договор 1856 года запрещал ей делать это. Причина была простой — условия договора стал нарушать другой его подписант — Османская империя, которой тоже не разрешалось иметь черноморский флот. Юридически Россия добилась права снова строить корабли на Чёрном море и держать их на нём на Лондонской конвенции 1871 года.
В 1869 году один из участников обороны Севастополя Кислицкий написал статью в петербургской газете «Русский инвалид» - о том, что если Россия хочет сохранить память о Крымской войне, то необходимо создать специальный музей. Эта идея была поддержана на ежегодном торжественном обеде участников обороны в Петербурге, на котором присутствовали первые лица государства. Градоначальник Севастополя П.А.Телятников сказал, что готов оказать всяческую помощь созданию музея. А Тотлебен заявил, что может выделить часть своей усадьбы, чтобы в ней располагался музей. Комитет по сбору средств на открытие музея возглавлял редактор военной газеты «Русский инвалид», генерал-лейтенант П.К. Меньков. Александр II взял создание музея под своё покровительство.
Телятников выделил необходимые средства и лично контролировал ремонт комнат для музея. В него приносили личные вещи и раритеты участники обороны Севастополя или вдовы и другие члены семьи погибших и скончавшихся от ранений уже после войны. Именно таким образом пополнялась первая экспозиция.
Это был первый севастопольский музей. Спустя 26 лет для него было выстроено специальное здание, которое и сегодня является одним из красивейших в центральной части города. Вопрос о строительстве собственного здания возник естественным образом — по причине огромной популярности музея. Для постройки Александр III выделил специальный земельный участок в Бердянском уезде, доходы от которого шли именно на нужды нового музея. Строилось здание из кирпичей знаменитой «Максимовой дачи» по проекту будущего городского архитектора Санкт-Пербурга, академика А.М. Кочетова. Вся экспозиция музея в 1895 году была перенесена в новый дом.
В 1968 году музей был расширен до 8 залов — сейчас каждый из них посвящён своей тематике: двум героическим оборонам Севастополя, строительству флота и города после Второй мировой войны, выходу Черноморского флота в мировой океан, созданию ракетно-ядерного щита, участию ЧМФ в международных операциях, событиям Крымской весны 2014 года.
Сегодня экспозиция музея отражает разные периоды героической флотской истории. Военно-исторический музей Черноморского флота является филиалом Центрального военно-морского музея имени Императора Петра Великого. Приказ подписал министр обороны России Сергей Шойгу 31 декабря прошлого года. И, несмотря на его самый маленький размер среди уважаемых и известных севастопольских аналогов, он остаётся главным музеем города. Ежегодно его посещают около 80 тысяч человек.