갓 부임한 신참 형사 프랭크 서피코(알 파치노)는 자신의 방식을 고수하겠다는 결심이 대단하다. 그의 방식이란 정직하게 일한다는 것과 자유롭게 복장을 입는 것이다. 서피코는 히피처럼 옷을 입고, 정성스럽게 턱수염을 기르고, 목에는 염주 목걸이를 주렁주렁 달고 다닌다. 동료 경찰들은 서피코는 괴짜로 취급하면서 공공연히 그를 따돌린다. 하지만 서피코는 누구보다도 청렴결백하고 경찰로서의 의무에 충실하다. 그러던 어느 날 편지로 알고 받은 봉투 속에 거액의 돈이 들어 있는 것을 보게 되는데 그것은 다름 아닌 뇌물이었다. 서피코는 이를 거절하지만 동료 경찰들의 비웃음 사고 경찰이 뇌물을 받는 게 아주 당연시 되어 있는 분위기에 경악케 된다. 상관을 찾아가 뇌물 수수의 부당함을 알리지만 무시만 당하자 서피코는 경찰 고위층을 찾아가 시정을 요구한다. 서피코의 정의의 폭로는 경찰 내부조사의 계기가 되지만 그는 요주의 인물이 되어 경계의 대상이 된다. 하지만 뿌리 깊은 경찰 부패의 고리는 쉽게 끊어지지 않고 서피코는 이에 실망해 뉴욕 타임즈 기자를 만나 경찰들의 부정행위를 고발한다. 여론은 들끓고, 경찰에서는 개혁의 조짐이 보이기 시작한다. 마약반으로 부서를 이동한 서피코는 의문의 총기 사고를 당한다.
