1936년 김유탁의 문하에 들어가 사군자를 배우기 시작했다. 이듬해 기성서화회(箕城書畫會)가 창립되자 회원으로 참여하는 한편, 계당(桂堂) 서정성(徐貞成)에게 서예와 한문을 배우고 석하(石下) 김우범(金禹範)에게 산수화와 인물화를 배웠다. 1942년 서울로 상경하여 김은호 문하에 들어가 2년간 사사하였고, 1943년에는 조선미술전람회에 「노안(蘆雁)」을 출품하여 입선하였다. 1944년 다시 평양으로 돌아간 뒤 평화야간중학교와 성화신학교에서 교편을 잡았다.

6·25전쟁이 발발하자 홀로 피난을 내려와 1955년 변관식 문하에서 사사하였다. 1966년 신세계화랑에서 첫 개인전인 「혜촌 김학수 한국풍속화」전을 열었고 이후 한국의 풍속과 역사를 주제로 한 역사풍속화와 기독교 성화를 활발히 제작하였다. 1980년대 이후에는 주제별 연작에 몰두하여 「능행도」, 「삼강행실도」, 「세종대왕 일대기」 등의 작품을 남겼다. 1983년부터 1985년에는 기독교 성화를 모아 『예수의 생애』라는 화집을 출간하였다.

김학수의 대표작으로는 1964년부터 40년에 걸쳐 1,300리 한강 풍경을 그린 「한강전도」가 있다. 김학수의 산수화는 섬세하고 사실적으로 대상을 묘사하면서도 화면 전체에 웅장하고 활달한 힘이 넘치는 것이 특징이다.