해군사관학교는 1946년 1월 17일에 창설된 이후 충무공 이순신에 관한 문헌자료를 수집하여왔으며, 그 문헌자료들을 전시하기 위해 도서관 내에 문헌 전시실을 임시로 운영하였다.

그 후 개교 30주년 기념일인 1976년 1월 17일을 맞이하여 해군사관학교 박물관이 창설되었는데, 당시에는 충무공 이순신에 관한 문헌 전시실을 확장한 것에 지나지 않았다. 창설 당시의 해군사관학교 박물관은 도서관 건물의 일부를 빌려서 사용했으며, 그 규모는 작은 사무실 1칸에 불과했다.

그러한 가운데 박물관은 1980년 1월 31일에 충무공 이순신이 창제한 거북선을 실물 크기로 복원하여 해군사관학교의 귀빈부두 해상에 계류 전시하였고, 1981년 2월 23일에는 독립된 박물관 건물을 해사반도의 현 위치에 신축하였다. 그리고 1990년 4월 28일에는 박물관을 증축하여 현재의 모습을 갖추었다.