Karlaby ligger omkring det trevejskryds, der fører til Ö. spand blade, Tommarp og Simrishamn. Bebyggelsen består af et par store gårde og en række mindre huse.
For mange er Karlaby i dag synonymt med det eksklusive hotel og restaurant Karlaby Kro, hvor mange tager hen for at nyde fred og ro og gourmetmad. Mod nordøst breder et småskalalandskab sig med græsgange, vådområder og små søer.
Der er flere såkaldte rigkær med en unik orkidéflora, og området har også et rigt fugleliv. Afstanden til Simrishamn med skoler og andre tjenester ligger omkring en kilometer væk, og der er busforbindelser. Omgivelserne er for det meste landbrugsjord, men Gyllebosjön med populære bademuligheder ligger inden for cykelafstand.
