Materiały promocyjne Coral Castle mówią, że Edward Leedskalnin został nagle odrzucony przez swoją 16-letnią narzeczoną Agnes Skuvst na Łotwie, zaledwie jeden dzień przed ślubem. Wyjeżdżając do Ameryki, zachorował na rzekomą śmiertelną gruźlicę, ale wyleczył się samoistnie, stwierdzając, że magnesy miały pewien wpływ na jego chorobę.
Spędził ponad 28 lat, budując Coral Castle, nie pozwalając nikomu go oglądać podczas pracy. Niewielu nastolatków twierdziło, że było świadkami jego pracy, donosząc, że spowodował, że bloki koralowca poruszały się jak balony wodorowe. Jedynym zaawansowanym narzędziem, o którym mówił Leedskalnin, był „uchwyt na wieczny ruch”.
Pierwotnie Leedskalnin zbudował zamek, który nazwał „Edem’s Place” w Florida City na Florydzie około 1923 roku. Kupił ziemię od Rubena Mosera, którego żona pomagała mu, gdy miał kolejny bardzo ciężki przypadek gruźlicy. Florida City, które graniczy z Everglades, jest najbardziej wysuniętym na południe miastem w Stanach Zjednoczonych, które nie znajduje się na wyspie. W tamtym czasie była to niezwykle odległa lokalizacja z bardzo niewielkim rozwojem. Zamek pozostał w Florida City do około 1936 roku, kiedy Leedskalnin zdecydował się przenieść i zabrać zamek ze sobą. Jego druga i ostatnia lokalizacja ma adres pocztowy 28655 South Dixie Highway, Miami, FL 33033, który teraz pojawia się w generowanej przez spis ludności nakładce Leisure City, ale w rzeczywistości jest terytorium hrabstwa nieposiadającym osobowości prawnej. Podobno wybrał relokację jako środek ochrony swojej prywatności, kiedy rozpoczęła się dyskusja o zagospodarowaniu terenu na pierwotnym obszarze zamku. Spędził trzy lata przenosząc konstrukcje składowe Coral Castle 10 mil (16 km) na północ od Florida City do jego obecnej lokalizacji poza Homestead na Florydzie.
Leedskalnin nazwał swoje nowe miejsce „Rock Gate” od ogromnego zaplecza wahadłową bramę wbudował w tylną ścianę. Pracował nad zamkiem aż do swojej śmierci w 1951 roku. Kawałki korala, które są częścią nowszego zamku, a nie zostały przewiezione z pierwotnego miejsca, były wydobywane na terenie posiadłości zaledwie kilka metrów od murów zamku. Basen i dół obok południowej ściany to kamieniołomy. Wschodni i zachodni kamieniołomy zostały zasypane.
W Florida City Leedskalnin pobierał od odwiedzających po dziesięć centów za zwiedzanie terenów zamku, ale po przeprowadzce do Homestead , poprosił o darowizny w wysokości dwudziestu pięciu centów, ale pozwolił odwiedzającym wejść za darmo, gdyby nie mieli pieniędzy. Przy bramie frontowej są wyryte w skałach tabliczki z napisem „Ring Bell Twoice”. Zejdzie ze swojego mieszkania na drugim piętrze wieży zamkowej blisko bramy i poprowadzić wycieczkę. Nigdy nie powiedział nikomu, kto go zapytał, jak zbudował zamek. Odpowiadał po prostu „To nie jest trudne, jeśli wiesz, jak”.
Kiedy zapytany, dlaczego zbudował zamek, Leedskalnin odpowiedział niejasno, że to dla jego „Słodkiego Sixta” een ”. Powszechnie uważa się, że jest to odniesienie do Agnes Skuvst (często błędnie zapisywane jako „zadrapania”). We własnej publikacji Leedskalnin A Book in Every Home sugeruje, że jego „Słodka szesnastka” była bardziej ideałem niż rzeczywistością. Według łotewskiej relacji dziewczyna istniała, ale tak naprawdę miała na imię Hermīne Lūsis.
Kiedy Leedskalnin zachorował w listopadzie 1951 roku, umieścił na drzwiach głównej bramy napis „Jadę do szpitala” i pojechał autobusem do szpitala Jackson Memorial w Miami. W pewnym momencie doznał udaru mózgu, albo przed wyjazdem w szpitalu lub w szpitalu Zmarł dwadzieścia osiem dni później na odmiedniczkowe zapalenie nerek (infekcję nerek) w wieku 64 lat. W jego akcie zgonu stwierdzono, że jego śmierć była wynikiem „mocznicy; niewydolność nerek w wyniku infekcji i ropnia ”.
Podczas badania majątku 3500 USD (równowartość 34 475 USD w 2019 roku) znaleziono wśród rzeczy osobistych Leedskalnina. Zarabiał na prowadzeniu wycieczek, sprzedaży broszur na różne tematy (w tym prądów magnetycznych) oraz sprzedaży części swojej 10-akrowej (4,0 ha) nieruchomości pod budowę amerykańskiej trasy 1. Ponieważ nie miał woli, zamek stał się własnością jego najbliższego żyjącego krewnego w Ameryce, siostrzeńca z Michigan o imieniu Harry.
Witryna Coral Castle donosi, że bratanek był w złym stanie zdrowia i w 1953 roku sprzedał zamek rodzinie z Illinois . Jednak ta historia różni się od nekrologu byłego właściciela Coral Castle, Juliusa Levina, emerytowanego jubilera z Chicago w stanie Illinois. Nekrologi stwierdzają, że Levin kupił ziemię od stanu Floryda w 1952 roku i mógł nie wiedzieć, że nawet zamek na lądzie.
Nowi właściciele zamienili go w atrakcję turystyczną i zmienili nazwę Rock Gate na Rock Gate Park, a później na Coral Castle.
W 1984 roku nieruchomość została wpisana do Krajowego Rejestru Miejsc Historycznych i została dodana pod nazwą e „Rock Gate”, ale nazwa na liście została zmieniona na „Coral Castle” w 2011 roku.
Kamienny znak tuż wewnątrz posesji z napisem „Adm.10c Drop Below ”nie jest oryginalnym dla Coral Castle. Leedskalnin wykonał ten znak i umieścił go przed swoim wcześniejszym miejscem w Florida City, kiedy był zmęczony dawaniem„ darmowego pokazu ”odwiedzającym, którzy byli nieostrożni i stratowali jego krzaki. Ten znak została przekazana przez właścicieli Ed’s Place i umieszczona tutaj w kolejnych latach.