동양에서 유일하게 바다로 떨어지는 폭포로 인기가 있는 제주도 정방폭포 절벽에는 서귀포 지명관 관련된 이야기가 전해져 내려온다.
불로장생하며 권세 부리고 싶어했던 중국의 진시황은 불로초를 구하기 위해 많은 신하들을 동원했다는 것으로 너무나도 잘 알려진 사람이다. 약 2000년전 그 신하들중의 한명인 ‘서불은 동남동녀 500쌍과 그들이 오랜 세월 먹고 쓸 모든 물건을 가지고 진시황의 불로초를 구하기 위해 한라산에 도착했다. 서불 일행은 한라산에 올랐으나 불로초를 캐지 못하고 신선의 열매라고 부르는 시로미만 구한채 그냥 돌아가야만 했다. 돌아가는 길에 섬을 한 바퀴 돌며 제주의 여러 절경을 구경하게 되었는데 지금의 정방폭포에 이르러서는 그 경관에 감탄하여, 정방폭포의 암벽에 '서불이 이 곳을 지나갔다'라는 뜻으로 '서불과지(徐市過之)'라는 글자를 새기고 떠났는데, 그 후로 이 곳 일대는 서불이 서쪽으로 돌아간 포구라는 뜻으로 '서귀포'라는 지명이 붙여졌으며, 정방폭포 위쪽 바위에 아직도 이 글자가 새겨져있다.