Das alte Gefängnis wurde 1859 zur Verwahrung von Langzeitgefangenen angelegt, die am Bau der Hafenmole in der Tafelbucht beschäftigt waren. Im ursprünglichen Gebäude waren Schlafsäle für je 60 Sträflinge untergebracht, die allerdings, wegen Mangels an Arbeitskräften im Strafsystem der Kapprovinz, nur selten belegt waren.
Die Kolonialregierung war bemüht, eine Arbeitsgruppenteilung nach Rasse zu führen: Finanzielle Gründe und die Ausrede, die Gefangenen hier seien anders als jene in Europa, wurden angegeben.
Mit der Begründung, schwarze Gefangenen wären schwerer zu resozialisieren und müssten öfters körperlich gezüchtigt werden, wurde 1890 die Tretmühle („Treadmill“) gebaut. Häftlinge wurden wegen Bagatelldelikten oder Faulheit dazu gezwungen, die endlosen Treppen von 9 bis 17 Uhr (mit 5-minütiger Pause alle Halbestunde) gleichmäßig zu besteigen, ansonsten würden ihnen durch die rotierenden Planken die Schienbeine zerschlagen.
Die Tretmühle ist heute noch am Ende des Einzelzellentrakts am oberen Parkplatz zu besichtigen.
Das Gefängnis wurde auch dadurch bekannt, dass eine strikte Rassentrennung aufgrund der Zunahme an „IDB“ – Illegal Diamond Buyers eingeführt wurde. IDB’s waren hauptsächliche Weiße, die gesetzwidrig in Diamanten handelten.
Als dann während eines Streiks 1885 Schwarze und Weiße Häftlinge sich im Gefängnishof versammelten, wurde der Ruf der Verwaltung nach getrennten Anstalten immer lauter.
Das „gewerbliche“ Breakwater-Gefängnis
Das existierende Gebäude mit seinen 4 Türmchen wurde 1902 für weiße Häftlinge gebaut. Die meisten schwarzen Häftlinge wurden 1905 aus der alten Anstalt in die „De Beers Häftlingsanstalt“ verlegt und dort gegen ein geringeres Entgelt beschäftigt, die restlichen günstig an die Hafenverwaltung „vermietet“.
Ab 1901 wurden weißen Sträflingen die Möglichkeit gegeben, ein Handwerk oder Gewerbe entsprechend ihrer Position in der Kolonialgemeinschaft zu erlernen. Eine solche Chance erhielten jedoch nur wenige Schwarzen, die sich für „gutes Betragen“ ausgezeichnet hatten. Diese Diskriminierung hielt übrigens im südafrikanischen Strafsystem bis ins späte 20. Jahrhundert an.
Der Entwurf, mit den 4 Türmchen und eingeschlossenen Hof, entspricht dem der Millbank und Pentonville-Gefängnisse in England. Obwohl die Anstalt bis zu 352 Mann aufnehmen konnte, waren Anfangs nur 200 darin untergebracht. Erst als 1910 11 Mann pro Abteilung quartiert waren, konnte von einem „Full House“ die Rede sein.
Die Gefängnisanstalt war nur bis 1911 in Betrieb, wurde aber durch ihre strikte Rassentrennung und den ersten Einsatz „moderner“ Resozialisierungsmaßnahmen bekannt.
Zwischen 1911 und 1926 wurden im Block jugendliche Straftäter verwahrt. Von 1926 bis 1989 galt das Gebäude als Herberge für schwarze Hafenarbeiter.
1991 pachteten die Universität Kapstadt und ihre Graduate School of Business das „Breakwater“ und eröffneten das Hotel und alles, was heute geboten wird. Das Breakwater Lodge hat somit einen beträchtlichen Teil zur Geschichte Kapstadts beigetragen.