서귀포 시내에서 약 2㎞쯤 서쪽에 삼매봉이 있고 그 산자락의 수려한 해안가에 우뚝 서 있는 외돌개는 뭍에서 아슬아슬하게 홀로 외롭게 바다에 서있다고 해서 붙여진 이름이다. 약 150만년 전 화산이 폭발하여 용암이 섬의 모습을 바꿔놓을 때 생성된 것으로 추정되고 있는 20m높이의 기둥바위 꼭대기에는 몇 그루의 소나무들이 자생하고 있으며, 인근 문섬 및 범섬 천연보호구역은 천연기념물 제421호(2000.07.18)로 지정되었으며, 외돌개로 가는 왼쪽 길목에 소머리바위라고 하는 바위가 있는데 이 바위 위에는 넓은 잔디밭이 펼쳐지고 주변에는 천연적인 낚시포인트로서 휴식과 레저를 겸한 유원지가 되고 있다.
외돌개는 고기잡이 나간 할아버지를 기다리다가 바위가 된 할머니의 애절한 전설이 깃들어 있어 `할망바위`라고도 불리는데, 바위끝에 사람의 머리처럼 나무와 풀들이 자라고 있고 그 왼편으로 할머니의 이마와 깊고 슬픈 눈망울과 콧등의 윤곽이 어렴풋이 보이고 쩍 벌어진 입모양은 할머니가 할아버지를 외치며 찾던 모습 그대로로 보인다.
또한, 설화에 의하면 고려말 최영 장군이 제주도를 강점했던 목호(牧胡)의 난을 토벌할 때 외돌개 뒤에 있는 범섬이 최후의 격전장 이었는데 전술상 이 외돌개를 장대한 장수로 치장시켜 놓았다. 그러자 목호들이 이를 대장군이 진을 치고 있는 것으로 오인하여 모두 자결하였다 한다. 그래서 이 외돌개를 `장군석`이라는 이름으로도 불리고 있다.