五線譜的前身可追溯到中世紀的紐姆記譜法及有量記譜法。紐姆譜以橫線為標準,用符號表示音的高低,但不
顯示音值長短。從7世紀起,這種記譜法出現于歐洲天主教堂內,最初只用1根線代表F音高,11世紀經阿雷佐的圭多逐步發展成4根線。規定音高為d、f、a、c,并將f線畫成紅色,c線畫成黃色(后成為五線譜中高音及低音譜號的起源)。13世紀有人使用第5根線,成為五線譜的前身。16世紀又有加線的辦法,使音高的記載更完備。
有量記譜法為13世紀科隆教士弗蘭科創始。這種記譜法用音符、休止符和記號嚴格規定了音的長短,是對紐姆譜的補充和豐富。在1450年左右,音符是涂以黑色的,稱為有量黑符,以后改用空心音符,稱為有量白符,這種記譜法在西方使用到17世紀左右。
五線譜在前兩者的基礎上出現,到17世紀逐步完善,18世紀開始定型而沿用至今。如小節線原用于文字譜,17世紀末被五線譜所采用;升降記號通用于18世紀,表情記號取有量記譜法;裝飾音記號源于紐姆譜,17世紀系統化用于五線譜。