Dans ce travail, nous présentons une approche de reconnaissance d'objets génériques à partir de flux vidéos, basée sur la construction d'un catalogue de caractéristiques visuelles hétérogènes. Notre première contribution porte sur la description de l'apparence visuelle des objets, en proposant l'utilisation conjointe de primitives génériques et complémentaires de différentes natures : d'un côté, un ensemble de descripteurs locaux, aux propriétés bien connues, telle leur robustesse à l'arrière-plan ; de l'autre côté, un contour actif comme descripteur global, fournissant une description haut-niveau de la forme de l'objet. Notre seconde contribution propose de structurer efficacement les descripteurs obtenus, notamment en établissant des connexions entre eux. L'approche proposée est comparée à une approche classique et évaluée sur plusieurs séquences vidéo contenant 20 objets. Nous montrons sa pertinence pour l'annotation automatique de contenus vidéo, où de bons taux de reconnaissance sont obtenus, tout en préservant des performances compatibles avec le temps-réel.