Techniques from computer vision and computer graphics are combined to robustly track a target (e.g., a user) and perform a function based upon the image and/or the identity attributed to the target's face. Three primary modules are used to track a user's head: depth estimation, color segmentation, and pattern classification. The combination of these three techniques allows for robust performance despite unknown background, crowded conditions, and rapidly changing pose or expression of the user. Each of the modules can also provide an identity classification module with valuable information so that the identity of a user can be estimated. With an estimate of the position of a target in 3-D and the target's identity, applications such as individualized computer programs or graphics techniques to distort and/or morph the shape or apparent material properties of the user's face can be performed. The system can track and respond to a user's face in real-time using completely passive and non-invasive techniques.

Techniken vom maschinellen Sehen und Computergraphiken werden kombiniert, um ein Ziel (z.B., einen Benutzer) robust aufzuspüren und eine Funktion, die nach dem Bild und/oder gegründet werden die Identität durchzuführen, das dem Gesicht des Ziels zugeschrieben wird. Drei Primärmodule werden benutzt, um den Kopf eines Benutzers aufzuspüren: Tiefe Schätzung, Farbe Segmentation und Musterklassifikation. Die Kombination dieser drei Techniken läßt robuste Leistung trotz des unbekannten Hintergrundes, der gedrängten Zustände und der schnell ändernden Haltung oder des Ausdruckes des Benutzers zu. Jedes der Module kann ein Identität Klassifikationmodul mit wertvollen Informationen auch versehen, damit die Identität eines Benutzers geschätzt werden kann. Mit einer Schätzung der Position eines Ziels in 3-D und die Identität des Ziels, der Anwendungen wie individualisierte zu verzerren Computerprogramme oder Graphiktechniken und/oder morph können die Form oder die offensichtlichen materiellen Eigenschaften des Gesichtes des Benutzers durchgeführt werden. Das System kann auf das Gesicht eines Benutzers in der Realzeit mit den vollständig passiven und non-invasive Techniken aufspüren und reagieren.