Karlaby ligger kring trevägkorsningen som leder till Ö. Vemmerlöv, Tommarp och Simrishamn. Bebyggelsen består av några större gårdar samt ett antal mindre hus.
För många är Karlaby numera synonymt med högklassiga hotell- och restauranganläggningen Karlaby kro dit många söker sig för att njuta lugn och ro och gourmetmat. I nordost utbreder sig ett småskaligt landskap med beteshagar, våtmarker och småvatten.
Här finns flera så kallade rikkärr med unik orkidéflora och området har även ett rikt fågelliv. Avståndet till Simrishamn med skolor och annan service är runt en mil och bussförbindelser finns. Omgivningarna är mestadels åkermark, men Gyllebosjön med populärt bad ligger inom cykelavstånd.
