Ce papier présente une approche efficace d'indexation et de recherche dans de grandes bases de vidéos. Cette indexation automatique exploite un ensemble de descripteurs locaux et leurs trajectoires à travers la séquence vidéo. Cette méthode permet d'une part de réduire la redondance temporelle intrinsèquement liée à la vidéo et d'ajouter d'autre part un contexte de comportement à ces descripteurs. Ainsi, en partant d'une description bas-niveau du signal, notre approche permet d'aboutir à une représentation de plus haut niveau, associant une tendance de comportement aux descripteurs locaux. La description obtenue est d'une part plus compacte, non redondante et d'autre part peut être rendue spécifique de la vidéo en fonction de l'application de recherche désiré. Une application cruciale dans la gestion de patrimoines numérique est la traçabilité du catalogue vidéo et nous proposons dans cet article un système de détection de copie par le contenu et son évalution. L'évaluation montre une nette amélioration des performances face à une technique état de l'art tout en présentant une meilleure flexibilité et en étant temps réels sur une base vidéo importante (plusieurs centaines d'heures).