A method and apparatus for classifying or annotating image and video
content by assigning each class of event, action, region or object a
unique symbol and then building symbol strings to represent sequences in
space or time. The symbol strings can be decoded using a library of
annotated PT descriptors to automatically label the image and video
content. Furthermore, the PT descriptors can be used for searching by
sketch or searching by example where the search query input is converted
to symbol strings, which are efficiently compared based on the presence
and relative counts of PT descriptors mapped into a PT matrices. The
Precedence Template (PT) descriptor can be used for classifying and
querying video based on the spatial and temporal orderings of regions,
objects, actions or events. Applied to video, the PT descriptors provide a
way to compare the temporal order of events, actions, or objects such as
those represented in a scene transition graph, key-frame list, or event
string. Applied to images, the PT descriptors provide a way to compare the
spatial arrangement of image regions or objects. By capturing the spatial
and temporal relationships statistically, the PT descriptors provide a
robust way to measure similarity in the presence of insertions, deletions,
substitutions, replications and relocations of events, actions, regions or
objects.
Een methode en een apparaat om beeld en videoinhoud te classificeren of te annoteren door elke klasse van gebeurtenis, actie, gebied toe te wijzen of hebben een uniek symbool en dan van het de bouwsymbool koorden bezwaar om opeenvolgingen in ruimte of tijd te vertegenwoordigen. De symboolkoorden kunnen worden gedecodeerd gebruikend een bibliotheek van de geannoteerde beschrijvers van PT om het beeld en de videoinhoud automatisch te etiketteren. Voorts kunnen de beschrijvers van PT voor het zoeken door schets of het zoeken door voorbeeld worden gebruikt waar de input van de onderzoeksvraag wordt omgezet in symboolkoorden, die efficiënt gebaseerd op de aanwezigheid en de relatieve tellingen van de beschrijvers van PT vergeleken worden die in de matrijzen van PT in kaart worden gebracht. De beschrijver van het Malplaatje (PT) van de Belangrijkheid kan voor het classificeren van en het vragen van video worden gebruikt die op het ruimte en tijdelijke opdracht geven tot van gebieden, voorwerpen, acties of gebeurtenissen wordt gebaseerd. Toegepast op video, verstrekken de beschrijvers van PT een manier om de tijdelijke orde van gebeurtenissen, acties, of voorwerpen zoals die te vergelijken vertegenwoordigd in een een grafiek van de scèneovergang, key-frame lijst, of een gebeurteniskoord. Toegepast op beelden, verstrekken de beschrijvers van PT een manier om de ruimteregeling van beeldgebieden of voorwerpen te vergelijken. Door de ruimte en tijdelijke verhoudingen te vangen statistisch, verstrekken de beschrijvers van PT een robuuste manier om gelijkenis in aanwezigheid van toevoegingen, schrappingen, substituties, replicaties en verhuizingen van gebeurtenissen, acties, gebieden of voorwerpen te meten.
