На мисі Ай-Тодор на місці сучасного палацу в античні часи існував храм. Потім цю місцевість захопили племена таврів. Вже в ХІХ сторіччі, тут зводиться садиба. На початку ХХ століття ці землі дісталося бакинському нафтовому магнату – барону В.Шнейгелю. На його замовлення в 1911 – 1912 роках створюється романтичний замок-палац, який своїми формами повністю відповідає назві «Ластівчине гніздо». Хоча сам автор називав його Палацом кохання.
Чомусь вважається, що споруда на скелі з’явилася у другому десятилітті минулого сторіччя . Насправді, спорудженню майже 130 років. Невідоме,навіть,ім’я першого власника – якраз того,хто наважився першим побудувати дачу на цьому скелястому п’ятачку.
В російсько-турецьку війну 1877-1878 років на лікування в Крим приїхав поранений генерал, для нього на місці майбутньої фортеці був споруджений дерев’яний будиночок, (тоді багатьом героям були подаровані землі в Криму), з його вікон було видно лише море і небо. Перший власник, очевидно, був романтиком, він назвав це місце «замком любові». А якій любові це присвячувалося – залишилося таємницею! «Замок Любові» ми можемо побачити на полотнах відомих художників-мариністів: І.К.Айвазовського, Л.Ф. Лагоріо, А.П. Боголюбова, — а також на фотографіях того часу. Доречно зауважити, сама будова була дерев’яною і не дуже вражаючою.
Другим господарем цієї дивовижної дачі став придворний лікар А.К. Тобін. Про нього також залишилося дуже мало відомостей. Після його смерті будиночком якийсь час володіла вдова, яка незабаром продала ділянку московській купчисі Рахманіной. Вона знесла стару будівлю, і незабаром з’явився дерев’яний замок, названий нею «Ластівчине гніздо».
Свій нинішній вигляд «Ластівчине гніздо» отримало завдяки нафтовому промисловцеві, баронові Штейнгелю. Він займався бакинською нафтою, а відпочивати йому подобалося в Криму. Німецьке бачення «Ластівчиного гнізда» сильно нагадувало середньовічні замки батьківщини барона. Він придбав на скелі Аврори дачну ділянку і вирішив побудувати там романтичний замок, що нагадує середньовічні споруди на берегах Рейну.
Проект нового будинку був замовлений інженерові і скульпторові Леоніду Шервуду, синові архітектора Володимира Шервуда, автора Історичного музею на Червоній площі в Москві. Вже в 1912 році на тісному майданчику Лимен-бурун стояв оригінальний готичний замок. Задумана архітектором ступінчаста композиція виходила з малих розмірів ділянки. Будівля 12-метрової висоти розташовувалася на фундаменті шириною 10 і завдовжки 20 метрів. «Пташиним» об’ємам відповідав внутрішній устрій: передпокій, вітальня, сходи і дві спальні послідовно розташовувалися в двоповерховій башті, яка підносилася над скелею, поряд, на краю на шматочку землі, що залишився, був сад, але через 15 років землетрус обрушив цю частину у воду.
Якщо в архітектурному відношенні Ластівчине гніздо зовсім не шедевр, то його художній образ викликає захоплення. Зворушлива самота палацу, що стійко протистоїть морській стихії, виходить від ефектного розташування. Ідея розташування замку на самому краю прямовисної скелі, безумовно, не є заслугою архітектора. Живописне місце вибрав перший власник, який мимоволі увічнив свої марення і підніс нащадкам казку в камені.и з надмірно видатними деталями кріплення.
На початку Першої світової війни маєток купив московський купець П. Шелапутін, що відкрив в замку ресторан. Але незабаром купець помер і ресторан закрився.
У 1927 році Ластівчине гніздо майже загинуло під час сильного землетрусу. Були два поштовхи серед ночі. Перший — слабкий, ніби застережливий, примусив людей вийти з будинків, що допомогло уникнути багатьох жертв . Другий поштовх ударив в повні дев’ять балів. Саме «гніздо» витримало, але постраждала скеля-фундамент. Глибока коса тріщина пройшла від її верхнього майданчика до середини, так що замок міг у будь-який момент обрушитися. Частина опорної скелі обрушилася в море, і оглядовий майданчик загрозливо нависнув над прірвою. Сама будівля майже не постраждала, якщо не рахувати зірваних шпилів і відірваного шматка скелі під нижнім балконом. Проте в стінах з’явилися тріщини, тому стан палацу визнали аварійним, закривши доступ в нього на невизначений термін.
У тридцяті роки тут знаходився читальний зал місцевого Будинку відпочинку, але незабаром приміщення визнали аварійним і закрили . Пропозицій по техніці безпрецедентного і абсолютно необхідного ремонту поступило багато. Виникла навіть радикальна ідея — розібрати замок пронумерувати камені і плити і скласти в колишньому порядку на новому, безпечному місці. Але це було б вже зовсім не те «Ластівчине гніздо».
Тільки у 1967-68 роках, через сорок років після землетрусу, робочі «Ялтаспецстрою» виконали цей ремонт, не розбираючи стін. Керував операцією архітектор І.Г. Татієв. Відновні роботи, що почалися в 1968 році, були направлені на зміцнення фундаменту, часткової видозміни фасаду і внутрішніх приміщень. Автор проекту реставрації, ялтинський конструктор В.Н. Тимофіїв посадив крайній блок будівлі на консольну залізобетонну плиту, заведену під центральний об’єм. Таким чином була надійно закріплена крайня частина будинку, що залишилася висіти над обрушеною скелею. Крім монолітної плити, всю споруду обнесли антисейсмічними поясами. У такому «антисейсмічному поясі» оновлене Ластівчине гніздо знайшло «друге життя» .
Збільшена у висоту башта знайшла декоративність завдяки чотирьом шпилям. Правильний архітектурний прийом порушив смутне зростання об’ємів, зробивши акцент на крайню частину палацу. Сьогодні відновлений замок офіційно визнаний пам’ятником архітектури минулого сторіччя.