年少家贫的魏征早早丧父，虽家境困厄，却不愿碌碌无为，遂出家为道，隐忍低调。他刻苦读书，留意时局，对纵横术尤为精通。
隋末之际，魏征投身瓦岗军，任元宝藏的书记。李密见其文采斐然，甚为赏识，魏征献上十策，李密虽赞许，却并未采纳。瓦岗军溃散后，魏征归顺唐朝。窦建德俘获魏征，识其才智，收为己用。窦建德失利，魏征再次归唐，侍奉太子李建成。玄武门之变中，唐太宗念其忠直，不予处死，反而提拔为谏议大夫，后迁任秘书监、侍中。魏征敢于直谏，据史载，曾二百余次犯颜上奏太宗。
长孙皇后赞誉魏征：“听闻公忠直廉洁，如今所见果真如此。愿公永守此志。”有一回，李世民得到一只好鹞鹰，随身携带。魏征前来奏事，时间较长，鹞鹰竟闷死在怀中。
贞观六年（632年），李世民下朝后回到内宫，怒斥：“定要斩杀此乡野村夫！”长孙皇后劝解，才避免了这场灾祸。十七年（643年）正月十七日，魏征因病辞世。李世民哀痛至极，亲临灵堂祭奠痛哭，并且罢朝五日为魏征举哀，命文武百官前往送葬，追封魏征为司空，谥号文贞，陪葬昭陵。李世民感叹道：“人以铜为镜，可以正衣冠；以古为镜，可以见兴替；以人为镜，可以明得失。朕常奉此三镜，慎防己过。如今魏征离世，我已失一镜矣！”
魏征位高权重，却始终清廉节俭，家中甚至没有正堂。唐太宗得知后，便将宫中建造便殿的材料拨出，为魏征建造正堂，并赐予素屏风、素被褥、几、杖等物品。魏征去世后，其夫人遵照遗愿，谢绝了太宗赐予的羽葆、鼓吹，仅以布车运载灵柩。
《西游记》中记载了“魏征斩龙”的传说：
魏征白天为官，夜晚魂魄出窍，在天庭任仙职。泾河老龙王化作书生，与算命先生袁守诚打赌，为了取胜，胡乱施放雨水，违反天条。玉帝下旨正午三刻斩龙，并派魏征监斩。老龙王托梦唐太宗求情，唐太宗答应。次日，唐太宗留魏征下棋，恰逢正午三刻，魏征睡着，魂魄出窍斩了老龙。老龙怨恨唐太宗失信，屡次到宫中捣乱，唐太宗便命秦琼、尉迟恭守门。老龙转而到后门捣乱，魏征又守住后门，老龙这才作罢。唐太宗为感谢大将们，便让人画下秦琼、尉迟恭的画像贴在门前，画下魏征的画像贴在后门，同样奏效。
从此，民间便流传着秦琼、尉迟恭和魏征成为门神的传说，双门贴秦琼和尉迟恭，单门贴魏征。