Zamek w Rytrze zbudowano najprawdopodobniej pod koniec XIII w. Nie wiadomo jednak, kto był inicjatorem jego budowy. Przypuszcza się że pierwotnie stał tu drawniany zameczek rycerski, a nie książęcy. Inna hipoteza, sugeruje, iż budowniczym zamku był któryś z tak zwanych raubritterów - rycerzy rozbójników napływających na te tereny od X wieku z Niemiec. Próbuje się również wyprowadzić stąd nazwę miejscowości Rytro. Niektórzy historycy powstanie zamku w Rytrze wiążą z działaniami mającymi wzmocnić południową granicę państwa. Wtedy wybudowanie drewnianego zamku należałoby przypisać któremuś z pierwszych piastowskich książąt. Zamek znajdował się najprawdopodobniej pierwotnie w prywatnych rękach. Kronikarz Jan Długosz twierdził, że pierwszym właścicielem był kasztelan sądecki Piotr Wydżga, jednak nie ma na to dowodów. Zamek w kronice Jana Długosza nosił nazwę Ritter. Pod koniec XIII wieku był już z pewnością własnością książąt krakowskich. Pierwotnie strażnica ryterska była drewnianym gródkiem, a pierwsze murowane elementy (w postaci wieży obserwacyjno – obronnej) został wybudowane prawdopodobnie za czasów króla Wacława II. Warownia strzegła biegnącego wzdłuż Popradu (który by wówczas wystarczająco głęboki aby umożliwiać pływanie po nim) szlaku handlowego na Węgry i jednocześnie była strażnicą graniczną. Zamek pełnił także funkcję ochronną komory celnej nad Popradem. Z dokumentu z 1312 r. wiadomo, że klasztor klarysek ze Starego Sącza otrzymał na powrót możliwość poboru cła przy zamku. Za panowania Władysława Łokietka zamek był częścią dóbr królewskich. Za panowania króla Kazimierza Wielkiego zamek uległ rozbudowie i stał się miejscem pobytu starostów nowosądeckich. Zamieszkiwali oni zamek przez prawie 250 lat w międzyczasie modernizując jego system obrony. W okresie 1418 - 1501 był on obronną rezydencją rodziny Ryterskich. Po 1502 roku obiekt był użytkowany przez innych dzierżawców. Prawdopodobnie pod koniec XVI wieku obiekt został opuszczony.