Dans les constructions verbe conjugué avec auxiliaire avoir + infinitif, il faut examiner de quel verbe le nom antéposé est C.O.D.
Ici vidéos est complément de regarder et non de commencer. Il n’y a donc pas d’accord : « les vidéos que j’ai commencé à regarder ».