舒明天皇6年（634年）に大和国葛城上郡茅原郷（茅原村）（のち掖上村茅原、現在の奈良県御所市茅原 吉祥草寺境内）に生まれる。父は、出雲から入り婿した大角、母は白専女。 生誕の地とされる場所には、吉祥草寺が建立されている。

17歳の時に元興寺で孔雀明王の呪法を学んだ。その後、葛城山（葛木山。現在の金剛山・大和葛城山）で山岳修行を行い、熊野や大峰（大峯）の山々で修行を重ね、湧出ヶ岳で金剛蔵王大権現を感得し、修験道の基礎を築いた。兵庫県西宮市甲山、六甲山系目神山で弁財天を感得したことと関連して、役行者は奈良の天河の洞川（どろかわ）に住む近縁者、四鬼氏に命じて、唐櫃に移住させ、吉祥院多聞寺奥の院とされる心経岩、六甲比命神社、雲が岩一帯を守護させた。以後、四鬼氏は六甲修験の総元締めとして、六甲山西部を管理していた。20代の頃、藤原鎌足の病気を治癒したという伝説があるなど、呪術に優れ、神仏調和を唱えた。また、高弟にのちに国家の医療・呪禁を司る典薬寮の長官である典薬頭に任ぜられた韓国広足（からくに の ひろたり）がいる。

文武天皇3年（699年）5月24日に、人々を言葉で惑わしていると讒言され、役小角は伊豆島に流罪となる。人々は、小角が鬼神を使役して水を汲み薪を採らせていると噂した。命令に従わないときには呪で鬼神を縛ったという。

2年後の大宝元年（701年）1月に大赦があり、茅原に帰るが、同年6月7日に箕面の天上ヶ岳にて入寂したと伝わる。享年68。山頂には廟が建てられている。

中世、特に室町時代に入ると、金峰山、熊野山などの諸山では、役行者の伝承を含んだ縁起や教義書が成立した。金峰山、熊野山の縁起を合わせて作られた『両峰問答秘鈔』、『修験指南鈔』などがあり、『続日本紀』の記述とは桁違いに詳細な『役行者本記』という小角の伝記まで現れた。こうした書物の刊行と併せて種々の絵巻や役行者を象った彫像や画像も制作されるようになり、今日に伝わっている。。

寛政11年（1799年）には、聖護院宮盈仁親王が光格天皇へ役行者御遠忌（没後）1100年を迎えることを上表した。同年、正月25日に光格天皇は、烏丸大納言を勅使として聖護院に遣わして神変大菩薩（じんべんだいぼさつ）の諡を贈った。勅書は全文、光格天皇の真筆による。聖護院に寺宝として残されている。