본관은 광산(光山). 자는 달보(達甫), 호는 죽천(竹泉). 김반(金槃)의 증손으로, 할아버지는 증 영의정 김익겸(金益謙)이고, 아버지는 영돈녕부사 김만기(金萬基)이며, 어머니는 한유량(韓有良)의 딸이다. 누이 동생이 숙종비 인경왕후(仁敬王后)이다. 송시열(宋時烈)의 문인이다. 좌참찬, 판의금부사 등을 역임한 만구와 김진구(晩求窩 金鎭龜, 1651-1704)의 동생이다.
1682년 진사시에 수석으로 합격하고, 1686년 정시 문과에 갑과로 급제하였다. 이조좌랑 등을 역임하던 중 1689년 기사환국으로 남인이 집권하자 거제도로 유배되었다. 그러다가 1694년 갑술환국으로 서인이 재집권하자 지평으로 기용되었다.
노론과 소론의 대립이 깊어지자, 1695년 소론인 남구만(南九萬)에 의해 척신(戚臣)으로 월권 행위가 많다는 탄핵을 받고 삭직되었다. 1699년에는 스승을 배반했다는 명목으로 윤증(尹拯)을 공박하였다.
1701년 대사성을 거쳐 부제학(副提學)·대제학·예조판서 등을 역임하고, 1713년 강화유수에 임명되었다. 그 밖에 홍문관의 여러 관직과 사인(舍人)·빈객(賓客)·이조참판·병조참판·공조판서·좌참찬 등의 관직을 역임하였다. 병조참판으로 재직 중일 때 소론에 의해 유배당했다가 2년 후 풀려나왔다.
문장에 뛰어나 반교문(頒敎文)·교서·서계(書啓)를 많이 작성하였다. 또한 전서·예서 및 산수화·인물화에 능해 신사임당(申師任堂)의 그림이나 송시열의 글씨에 대한 해설을 남기기도 하였다. 글씨로는 강화충렬사비(江華忠烈祠碑)·대헌심의겸비(大憲沈義謙碑)·증지평이령비(贈持平李翎碑)가 있다.
정치적으로는 대표적인 노론 정객으로서, 스승인 송시열의 처지를 충실히 지켰다. 거제의 반곡서원(盤谷書院)에 제향되었으며, 시호는 문청(文淸)이다. 영조가 1766년 치제(致祭)했으며, 1773년 문집 간행에 재물을 하사하고 서문을 몸소 지었다. 문집으로 『죽천집(竹泉集)』, 편서로 『여문집성(儷文集成)』이 전한다.

출처/한국민족문화대백과, 한국학중앙연구원