Karlaby befindet sich in der Nähe der Kreuzung, die in drei Richtungen führt Ö. Eimerblätter, Tommarp und Simrishamn. Die Siedlung besteht aus einigen großen Bauernhöfen und einer Reihe von kleineren Häusern.
Für viele ist Karlaby heute ein Synonym für das gehobene Hotel und Restaurant Karlaby Kro, wo viele Menschen Ruhe und Gourmetküche genießen. Im Nordosten breitet sich eine kleinräumige Landschaft mit Weiden, Feuchtgebieten und kleinen Seen aus.
Es gibt mehrere so genannte reiche Sümpfe mit einer einzigartigen Orchideenflora, und das Gebiet hat auch eine reiche Vogelwelt. Die Entfernung zum Simrishamn mit Schulen und anderen Dienstleistungen ist etwa eine Meile entfernt und es gibt Busverbindungen. Die Umgebung besteht hauptsächlich aus Ackerland, aber der Gyllebosjön mit seinen beliebten Bademöglichkeiten ist mit dem Fahrrad erreichbar.
