Ce sont les voitures qu’il a ramenées et pas le nombre. L’accord se fait avec « voitures ».

La proposition relative « qu’il a ramenées » est une expansion du nom « voiture » comme le serait un adjectif ou un GN.
Le nombre de voitures qu’il a ramenées à son fils est considérable.
Le nombre de voitures blanches et considérable.
Le nombre de voitures à toit ouvrant est considérable.