을사보호조약 체결 이듬해 기울어가는 국운을 한탄하고 남의 나라를 삼키려는 일본을 무찌르겠다는 결연한 각오 아래 중국으로 망명, 독립 운동에 투신하였다. 괄괄한 성격의 그는 실력투쟁만이 독립의 길이라고 확신하고 윤상태(尹相泰), 서상호(徐相鎬), 정운일(鄭雲馹) 등과 애국단이란 비밀 조직을 만들었다. 애국단을 조직한 그들은 우선 군자금을 마련하기 위해 서모라는 당시 대구부호의 지원을 얻기로 했다. 그러나 서부자는 이름난 구두쇠인데다 민족의식이 없어 말로 해서는 응하지 않을 것 같아 서부자의 아들을 애국단에 가입시켜 그가 자발적으로 군자금을 희사하기를 원하였으나, 서부자는 끝내 외면했다. 군자금은 마련해야겠고 저쪽에서는 응할 기미가 없자 최후 수단으로 하루밤 그의 아들을 앞세우고 그 집에 침범했다가 정체만 드러낸 채 실패하고 말았다. 이때 일경에 체포되어 강도죄로 2년간 옥고를 치렀다. 출옥 뒤 다시 최준(崔俊), 안희제(安熙濟), 서상일(徐相日) 등 동지를 규합하여 광복단을 조직했다. 광복단은 무기를 구하고 병사를 길러 일본 세력에 무력으로 겨루자는 목적으로 조직된 무장단체였다. 1914년 다시 출국하여 북경으로 가 그곳에서 항일운동에 이바지했다. 그가 그때 쓴 일기를 보면 백남채(白南採)와 함께 활동하였다고 기록되어 있다. 백남채 외에도 김좌진(金佐鎭), 김동삼(金東三) 등과도 많은 일을 했다. 1918년 귀국했고 1919년 2월, 지청천(池靑天), 한용운(韓龍雲) 등과 함께 영남유림대표 2백여 명을 경성으로 보냈다. 그때 유림측에서 그에게 민족대표로 서명해 달라고 하자 '내 목적은 오직 왜놈과 싸우는 것'이라며 과격한 활동 노선을 밝혔다. 그 후 임시정부에서 재무부장서리를 맡아 달라는 것도 거절하였다. 1919년 3월 3·1운동 직후 그는 그를 따르는 한위건(韓偉健), 김영호(金永浩) 등 청년을 데리고 만주로 가서 유하현 삼원포(柳河縣 三源浦)에 한인무관학교(韓人武官學校)를 설립하였다. 무관학교에서 독립운동의 인재를 길러내 힘으로 왜적을 몰아내겠다는 결심이었다. 그러나 1919년 7월 9일 피로와 식중독으로 병을 얻어 사망하였다.
