Tên thật là Kim Văn Nguộc, sinh ngày 10 tháng 10 năm 1917 trong một gia đình thuần nông tại xã Bình Định, huyện Yên Lạc, Vĩnh Phúc.
Ông sớm giác ngộ cách mạng khi đang ở độ tuổi thanh xuân. Đầu năm 1940, ông vinh dự được đứng trong hàng ngũ Đảng Cộng sản Đông Dương, khi mà tổng số đảng viên của 3 chi bộ mới có 11 đảng viên được thành lập trong địa bàn 2 tỉnh Phúc Yên - Vĩnh Yên.
Công tác đầu tiên được giao là làm liên lạc viên của Xứ uỷ. Cuối năm ấy, lại được chuyển sang công tác ở đội biệt động của khu uỷ khu Đ chuyển về đóng tại làng chùa Tiếng, huyện Bình Xuyên, nay thuộc xã Hương Sơn.
Thời kì ông bắt đầu hoạt động cũng là cũng là thời kì khó khăn của cách mạng. Thực hiện khẩu lệnh khủng bố trắng, thực dân Pháp cấu kết với phát xít Nhật ra sức đàn áp phong trào cách mạng trên mọi phương diện. Tháng 11 năm 1941, địch khủng bố cơ sở Chùa Tiếng, phong trào cách mạng ở Vĩnh Yên giảm sút. Để giữ lại cơ sở của Đảng, ông được phân công ở lại hoạt động trong đồn điền Tam Lộng, xã Hương Sơn. Sau đó, ông phiêu dạt lên huyện Đoan Hùng (tỉnh Phú Thọ), làm nhiều nghề để sinh sống và tìm mối liên lạc với cơ sở cách mạng. Có thời kì phải ẩn vào làm thầy cúng chùa để che mắt mật thám địch. Rồi Đoan Hùng cũng bị khủng bố ráo riết, một lần nữa ông lại phải rời lên ở vùng tổng Phan Lư, huyện Sơn Dương, tỉnh Tuyên Quang. Ở đây các cơ sở cách mạng vẫn hoạt động, ông đã liên lạc với phong trào. Trong số các cán bộ địa phương, có bà Lê Thị Mai đã được đồng chí Phái giác ngộ từ trước. Bà là con gái cả của vị bá hộ tổng Phan Lư là Lê Khắc Cần, nên thường gọi là Bá Mai. Hai người cùng hoạt động ở Sơn Dương, rồi tình yêu chớm nở, khi Cách mạng Tháng Tám thành công, năm 1946 hai người mới nên duyên vợ chồng. Tháng 3 năm 1944, trên đường đi công tác qua Vĩnh Yên, ông có dịp qua thăm nhà, mẹ và chị, do vậy mà tìm được mối bắt liên lạc với Xứ uỷ sau gần 5 năm đứt liên lạc. Đến tháng 10 năm 1944, Trung ương mở đợt công tác đặc biệt chỉ định ông Nguyễn Bắc Dũng và ông ở trung đội công tác số 2 làm nhiệm vụ mở đường liên lạc giữa ATK của Trung ương (địa bàn tỉnh Phúc Yên) với căn cứ địa Bắc Sơn - Vũ Nhai (thuộc tỉnh Lạng Sơn) về tỉnh Vĩnh Yên.
Tháng 3 năm 1945, huyện bộ Việt Minh huyện Lập Thạch được thành lập, ông là một trong ba cán bộ chủ chốt của huyện bộ, trở thành trung tâm xây dựng lực lượng cách mạng bán vũ trang, đóng vai trò quan trọng trong khởi nghĩa cướp chính quyền ngày 18-8-1945 của huyện Lập Thạch và cuộc biểu tình cướp chính quyền thị xã Vĩnh Yên ngày 31-8-1945. Để tăng cường lực lượng vũ trang cách mạng, sau dự buổi ăn mừng chiến thắng của nhân dân xã Đình Chu (Lập Thạch) tại đình vào chiều 15 tháng 7 năm ất Dậu nhân Tết Trung nguyên ( 22-8-1945), toàn lực lượng của đội tiến sang ấp Kí Cầu ở xã Đạo Tú, huyện Tam Dương. Ông và Bắc Dũng thành lập một trung đội vũ trang mới, giao ông Tạ Thanh Dương (người xã Đình Chu) làm trung đội trưởng, bổ sung vào mũi số 1 trong 4 mũi tấn công và khởi nghĩa cướp chính quyền thị xã Vĩnh Yên dự định vào ngày 31-8-1945.
Ông cùng 4 người trong phái đoàn đại diện Việt Minh được cử vào thị xã Vĩnh Yên để thương thuyết với giặc nhằm tránh giao chiến: Đóng trong thị xã lúc này có Nguyễn Hải Thần, Nguyễn Tường Tam là đại điện lực lượng Việt Nam Quốc dân Đảng phản động và bọn Đại Việt. Đoàn bị giữ lại 5 ngày và cuộc thương thuyết không thành công. Bên ngoài, bọn địch ngăn chặn quần chúng không cho đoàn biểu tình tiến vào thị xã, lại bố trí quân mai phục khắp các ngả đường, nhất là đường tiến công của mũi số 1 phía đường qua dốc Láp.
Ông là người rút ra khỏi thị xã Vĩnh Yên cuối cùng khi cuộc thương thuyết không thành công, trước khi nổ ra cuộc biểu tình ngày 31-8-1945.
Kim Ngọc được bầu vào Ban Chấp hành lâm thời Đảng bộ tỉnh Vĩnh Phúc, thành lập năm 1950, sau đó làm Bí thư Tỉnh ủy hai nhiệm kì. Ông là người khởi xương việc khoán hộ trong nông nghiệp Việt Nam vào thập kỉ 60 của thế kỷ XX, được mệnh danh là người khởi xướng "khoán hộ", "đổi mới trong nông nghiệp" ở Việt Nam. Ông mất ngày 26 tháng 5 năm 1979, tại Bệnh viện Hữu nghị Việt - Đức, Hà Nội.
