Volgens het eigen promotiemateriaal van Coral Castle werd Edward Leedskalnin plotseling afgewezen door zijn 16-jarige verloofde Agnes Skuvst in Letland, slechts een dag voor de bruiloft. Hij vertrok naar Amerika en kreeg naar verluidt terminale tuberculose, maar genas spontaan, waarbij hij beweerde dat magneten enig effect hadden op zijn ziekte.
Hij bracht meer dan 28 jaar door met het bouwen van Coral Castle en weigerde iemand toe te staan hem te zien terwijl hij werkte. weinig tieners beweerden getuige te zijn geweest van zijn werk en meldden dat hij de koraalblokken had laten bewegen als waterstofballonnen. Het enige geavanceerde hulpmiddel waarover Leedskalnin sprak, was een “houder voor eeuwigdurende beweging”.
Oorspronkelijk Leedskalnin bouwde een kasteel, dat hij “Ed’s Place” noemde, in Florida City, Florida, rond 1923. Hij kocht het land van Ruben Moser wiens vrouw hem had bijgestaan toen hij weer een zeer ernstig geval van tuberculose had. Florida City, dat grenst aan de Everglades, is de meest zuidelijke stad van de Verenigde Staten die niet op een eiland ligt. Destijds was het een extreem afgelegen locatie met weinig ontwikkeling. Het kasteel bleef in Florida City tot ongeveer 1936 toen Leedskalnin besloot te verhuizen en het kasteel mee te nemen. De tweede en laatste locatie heeft het postadres van 28655 South Dixie Highway, Miami, FL 33033, dat nu wordt weergegeven in de door de volkstelling gegenereerde overlay van Leisure City, maar dat feitelijk geen provinciaal territorium is. Hij koos naar verluidt voor verhuizing als middel om zijn privacy te beschermen toen de discussie begon over het ontwikkelen van land in het oorspronkelijke gedeelte van het kasteel. Hij bracht drie jaar door met het verplaatsen van de componenten van Coral Castle 16 km ten noorden van Florida City naar de huidige locatie buiten Homestead, Florida.
Leedskalnin noemde zijn nieuwe plek ‘Rock Gate’ naar de enorme achterkant draaipoort die hij in de achterwand heeft ingebouwd. Hij bleef aan het kasteel werken tot aan zijn dood in 1951. De koraalstukken die deel uitmaken van het nieuwere kasteel, niet de stukken die van de oorspronkelijke locatie werden vervoerd, werden ontgonnen op het terrein op slechts een paar meter afstand van de kasteelmuren. Het zwembad en de put naast de zuidelijke muur zijn steengroeven. De steengroeven in het oosten en westen zijn gedempt.
In Florida City rekende Leedskalnin bezoekers per stuk tien cent om het kasteelterrein te bezichtigen, maar nadat ze naar Homestead waren verhuisd , vroeg hij om donaties van vijfentwintig cent, maar liet bezoekers gratis naar binnen als ze geen geld hadden. Er zijn borden uitgehouwen in rotsen bij de voorpoort naar “Ring Bell Twice”. Hij zou naar beneden komen vanuit zijn woonruimte in de tweede verdieping van de kasteeltoren dicht bij de poort en leidde de rondleiding. Hij vertelde nooit iemand die hem vroeg hoe hij het kasteel had gemaakt. Hij antwoordde eenvoudig: “Het is niet moeilijk als je weet hoe.”
Wanneer vroeg waarom hij het kasteel had gebouwd, zou Leedskalnin vaag antwoorden dat het voor zijn ‘Sweet Sixt’ was een “. Algemeen wordt aangenomen dat dit een verwijzing is naar Agnes Skuvst (vaak verkeerd gespeld als “Scuffs”). In Leedskalnins eigen publicatie A Book in Every Home suggereert hij dat zijn “Sweet Sixteen” meer een ideaal dan een realiteit was. Volgens een Lets verhaal bestond het meisje, maar haar naam was eigenlijk Hermīne Lūsis.
Toen Leedskalnin in november 1951 ziek werd, plaatste hij een bordje op de deur van de poort “Going to the Hospital” en nam de bus naar het Jackson Memorial Hospital in Miami. Hij kreeg op een gegeven moment een beroerte, ofwel voordat hij vertrok. voor het ziekenhuis of in het ziekenhuis. Hij stierf achtentwintig dagen later aan pyelonefritis (een nierinfectie) op 64-jarige leeftijd. Op zijn overlijdensakte stond dat zijn overlijden het gevolg was van ‘uremie; nierfalen als gevolg van de infectie en het abces “.
Terwijl het pand werd onderzocht, werd US $ 3.500 (equivalent aan $ 34.475 in 2019) gevonden tussen de persoonlijke bezittingen van Leedskalnin. Hij had zijn inkomen verdiend met het houden van rondleidingen, de verkoop van pamfletten over verschillende onderwerpen (waaronder magnetische stromingen) en de verkoop van een deel van zijn landgoed van 10 acre (4,0 ha) voor de aanleg van US Route 1. Omdat hij geen wil had, castle werd het eigendom van zijn naaste familielid in Amerika, een neef uit Michigan genaamd Harry.
De website van Coral Castle meldt dat de neef in slechte gezondheid verkeerde en dat hij het kasteel in 1953 aan een familie uit Illinois verkocht . Dit verhaal verschilt echter van het overlijdensbericht van een voormalige eigenaar van Coral Castle, Julius Levin, een gepensioneerde juwelier uit Chicago, Illinois. Volgens het overlijdensbericht had Levin het land in 1952 gekocht van de staat Florida en wist hij misschien niet dat het zelfs een kasteel op het land.
De nieuwe eigenaren maakten er een toeristische attractie van en veranderden de naam Rock Gate in Rock Gate Park en later in Coral Castle.
In 1984 het pand stond op de lijst van het nationaal register van historische plaatsen en werd onder de naam toegevoegd e van “Rock Gate”, maar de naam op de lijst is in 2011 veranderd in “Coral Castle”.
Het stenen bord net binnen het pand met de tekst “Adm.10c Drop Below “is niet origineel voor Coral Castle. Leedskalnin maakte dit bord en plaatste het voor zijn eerdere locatie in Florida City toen hij het zat was om een” gratis show “te geven aan bezoekers die onzorgvuldig waren en zijn struikgewas vertrappelden. werd geschonken door de eigenaren van Ed’s Place en hier in de daaropvolgende jaren geplaatst.