Se inicia su construcción en 1663, con el objetivo de defender el importante puerto de mercadeo y la población de Pampatar. Se ocuparon de su terminación los gobernadores Francisco de Mexía y Alarcón (1671-1676) y Juan Muñoz de Gadea (1677-1681). Hay cierta divergencia en cuanto al nombre del Castillo, pues Juan Marroquín de Montehermoso afirma que el nombre es San Carlos en homenaje al rey Don Carlos II, conocido como el Hechizado y que reinó entre 1665 y 1700; sin embargo,  el gobernador Carlos Navarro asevera que el nombre del castillo es San Carlos de Borromeo (1538-1584) en honor al Santo. Con dicho nombre se le conoce hoy día.

Es una construcción militar de tipo regular, con baluartes en sus cuatro ángulos, los cuales se encuentran circundados por un foso seco, con la presencia de tres elementos relevantes; la batería de costa, ocupada por 12 cañones del siglo XVIII, protegiendo en posición frontal la entrada de la bahía; el estanque de agua o abrevadero donde tomaba agua la caballeriza, que aún conserva los vestigios del colgadizo que daba sombra a los animales ya a la tropa, y una surtida o acceso al exterior situada en el extremo sureste, cuya función era dar paso a la tropa y a la caballeriza.

Durante la época de la independencia este castillo tuvo mucha importancia. Cuenta la historia que para el año 1816 trasladaban del Castillo de Santa Rosa de La Asunción al Castillo San Carlos de Borromeo, a la heroína de la guerra de la independencia, Luisa Cáceres e Arismendi, esposa del prócer patriota Juan Bautista Arismendi, quien luego fue trasladada al Puerto de La Guaira para posteriormente enviarla a España. En este castillo se alojó el General Pablo Morillo cuando invadió a Margarita por segunda vez (Julio  de 1817), y desde ahí abandonó la isla el 17 de agosto de ese año.

Desde ese día Margarita quedó libre para siempre, siendo la primera Provincia de Venezuela. En uno de sus calabozos nació el 31 de octubre de 1841, José María García Gómez, hijo del prócer y héroe General José María García y Rita Gómez. García Gómez, fue así mismo General, Gobernador del Distrito Federal, Presidente del Gran Estado Miranda, Jefe Civil y Militar del Estado Falcón, Presidente de la Cámara del Senado y Ministro de Guerra y Marina, entre otros altos cargos desempeñados. Murió en Caracas, el 18 de mayo de 1917.

En el año 1945 la fortificación es ocupada por la Infantería Marina y en 1950 por la Guardia Nacional. En 1965 es declarada Monumento Histórico nacional. La Corporación de Turismo del Estado Nueva Esparta, es el organismo responsable y tutelar del Castillo San Carlos  de Borromeo desde el año 2001.

Se encuentra abierto a los visitantes de lunes a domingo de 9.00 a.m. a 6.00 p.m. En temporada baja abre de martes a domingo.