Videos nach Objekten durchsuchen: was funktioniert und was nicht

„Ich weiß, dass ich eine Einstellung mit einem roten Auto habe, das vorbeifährt.” Dieser Satz ist das ganze Problem der Videosuche, und bis vor Kurzem lautete die einzige Antwort: Clips öffnen, bis du ihn gefunden hast.

Objektsuche ändert das, aber nicht so, wie die Vorführungen nahelegen. Hier steht, was sie wirklich tut, wie genau sie tatsächlich ist und wie du sie auf deine eigenen Platten bekommst.

Warum dein Mac das nicht schon kann

Spotlight ist ein guter Index. Er kennt jeden Dateinamen, jeden Ordner, den Volltext deiner Dokumente, die EXIF-Daten deiner Fotos, Laufzeit und Abmessungen deiner Videos.

Er weiß nicht, wie ein Video aussieht. Kein Betriebssystem indiziert Bildinhalt, denn das hätte bis vor Kurzem bedeutet, jedes Bild jeder Datei zu dekodieren und durch ein Modell zu schicken, was nicht annähernd bezahlbar war.

Die ehrliche Formulierung von „Videos nach Objekten durchsuchen” ist deshalb eine zweistufige Aufgabe:

1. Text erzeugen, der beschreibt, was in jedem Clip ist
2. Diesen Text durchsuchen, mit den Werkzeugen, die du schon hast

Schritt zwei ist seit 2005 gelöst. Schritt eins ist der neue Teil, und dort steckt alles Interessante.

Wie der Beschreibungsschritt arbeitet

Ein Bildmodell sieht sich deinen Clip nicht an. Es tastet Bilder ab, üblicherweise zwischen acht und dreißig, je nach Länge, und betrachtet die.

Dieses Abtasten hat Folgen, die man kennen sollte:

• Was bleibt, wird gefunden. Ein Auto, das zehn Sekunden im Bild steht, taucht in einem abgetasteten Bild auf.
• Was vorbeihuscht, wird verpasst. Ein Vogel, der eine halbe Sekunde durchs Bild fliegt, fällt wahrscheinlich zwischen die Abtastpunkte.
• Die Beschreibung gilt dem ganzen Clip, nicht einem Moment. Du bekommst „eine Küstenstraße mit Verkehr”, kein Protokoll je Sekunde.

Für das meiste Material ist das genau richtig, weil du den Clip suchst und nicht das Einzelbild. Du willst von 400 Dateien auf drei kommen und dann deine Augen benutzen.

Was sie richtig macht

Nach ein paar tausend Clips sind die zuverlässigen Kategorien immer dieselben:

Menschen und ihre Anordnung. Eine Person, eine Gruppe, eine Menge. Sitzend, stehend, gehend, in die Kamera sprechend. Nah, weit.

Fahrzeuge und Verkehr. Auto, Lkw, Fahrrad, Boot, Flugzeug, Zug. Farbe meistens, Modell selten.

Orte, nach Art. Küche, Büro, Straße, Wald, Strand, Berg, Stadion, Lagerhalle. Das ist eine der stärksten Kategorien und in der Praxis die nützlichste.

Geläufige Gegenstände. Essen, Laptops, Werkzeuge, Instrumente, Möbel, Beschilderung, Tiere auf der Ebene von „Hund” und „Vogel”.

Bedingungen. Tag oder Nacht, drinnen oder draußen, sonnig oder bedeckt, goldene Stunde. Fürs Zusammenpassen im Schnitt sind die genauso viel wert wie die Motive.

Kamera und Bildausschnitt. Statisch oder aus der Hand, Drohne oder Boden, nah oder weit, offensichtliche Kamerabewegungen.

Kombiniere zwei oder drei davon, und du hast eine echte Suche: „Küche, zwei Personen, Tageslicht” verengt 400 Clips auf vier.

Was sie falsch macht

Ebenso gleichbleibend, und wissenswert, bevor du dich darauf verlässt:

Feine Bestimmung. „Fisch” ist verlässlich. „Kugelfisch” hängt stark vom Modell ab. Ein Cloud-Modell trifft Arten, Rassen und Pflanzen oft richtig. Ein kleines lokales Modell gibt dir meist die Kategorie.

Benannte Orte und Personen. Ein Modell erkennt vielleicht eine berühmte Skyline. Es kennt das Gebäude deiner Kundin nicht, und es weiß nicht, dass die Person im Bild Marcus ist, außer du hast es dem System gesagt. Schlimmer noch: es benennt womöglich mit voller Überzeugung die falsche Stadt, was teurer ist als zu schweigen.

Text im Bild. Cloud-Modelle lesen Schilder und Whiteboards erstaunlich gut. Kleine lokale Modelle oft nicht.

Alles Kleine, Schnelle oder halb Verdeckte. Die Requisite in der Ecke, das Logo auf der Tasse, das Ding, das nur bei 0:42 auftaucht.

Zählen. „Drei Personen” wird oft „mehrere Personen”. Bau keine Suche, die auf genauen Anzahlen beruht.

Die praktische Haltung: erzeugte Beschreibungen sind der Filter, der dich von hunderten Clips auf eine Handvoll bringt, und für den letzten Schritt nimmst du deine Augen. Das sind 95 Prozent weniger Scrubben, und darum geht es.

Tags oder Beschreibungen? Beides, für verschiedene Suchen

Zwei Formen erzeugten Textes, und sie bedienen verschiedene Fragen.

Tags sind eine kontrollierte, kurze Liste: kueche, interview, tageslicht, handheld. Gut zum Filtern und Gruppieren, weil dasselbe Wort immer dasselbe meint. Das ist es, was ein Tag-System für B-Roll funktionieren lässt.

Beschreibungen sind ein Satz: „zwei Personen an einer Küchentheke, eine spricht in die Kamera, Morgenlicht durchs Fenster”. Gut für die Volltextsuche, weil du sie mit jedem der enthaltenen Worte findest, auch mit solchen, die du nie als Tag definiert hättest.

Nimm beides. Tags in die Finder-Tags der Datei, Beschreibung in den Dateinamen und in eine Begleitdatei. Dann trifft eine breite Suche die Beschreibung und ein genauer Filter die Tags.

Wo du es ablegst, damit die Suche greift

Den Text zu erzeugen nützt nur, wenn er dort landet, wo deine Suchwerkzeuge hinschauen. Auf einem Mac:

• Dateiname: Kueche-Interview-Zwei-Personen-Morgen_16x9_4K_25FPS.mp4. Überall sichtbar, überall durchsuchbar.
• Finder-Tags: das kontrollierte Vokabular. Von Spotlight indiziert, aus jedem Öffnen-Dialog filterbar.
• Begleitdatei als Text: die längere Beschreibung und das Transkript. Spotlight indiziert den Inhalt.

Beachte, was nicht auf der Liste steht: ein eigener Katalog. Existiert die Beschreibung nur innerhalb einer Anwendung, dann heißt „mein Material durchsuchen” in Wahrheit „zuerst diese Anwendung öffnen”, und auf einer Archivplatte von vor zwei Jahren ist diese Anwendung womöglich gar nicht mehr installiert. Die längere Begründung steht in wo Metadaten liegen sollten.

Die Timecode-Frage

Der naheliegende nächste Wunsch: nicht „welcher Clip hat das rote Auto”, sondern „bei welcher Sekunde taucht das rote Auto auf”.

Das ist ein deutlich schwereres Problem. Es bedeutet Indizierung auf Bild- oder Sekundenebene, was die Analysekosten um ein bis zwei Größenordnungen vervielfacht und einen Index erzeugt, den kein Dateisystem in einem Dateinamen halten kann.

Wie es heute steht:

• Gesprochenes: gelöst. Transkripte tragen selbstverständlich Timecodes bis aufs Wort, die Suche nach einer Formulierung liefert dir also den genauen Moment. Wenn dein Material aus Interviews besteht, hast du Momentsuche bereits. Siehe Video auf dem Mac transkribieren.
• Bildinhalt: teilweise, gegen Geld. Solche Systeme gibt es, überwiegend serverseitig und nach Materialstunden abgerechnet.

Für die meiste unabhängige Arbeit decken Clipsuche im Bild plus Momentsuche im Gesprochenen die echten Fragen ab. Du findest den Clip in Sekunden und scrubbst dann dreißig Sekunden, statt vier Stunden.

Cloud oder auf dem Gerät

Beides funktioniert. Sie versagen unterschiedlich.

Cloud liefert die feinen Antworten: Arten, Wahrzeichen, lesbaren Text, bestimmte Gegenstände. Bilder verlassen deinen Rechner, und du zahlst pro Clip.

Auf dem Gerät auf Apple Silicon liefert die Kategorien: Fisch, Küste, Küche, Menge. Nichts verlässt den Rechner, keine Kosten pro Clip, funktioniert ohne Verbindung. Bei Material unter Verschwiegenheit ist das keine Vorliebe, sondern die einzige Fassung, die eine Vertragsprüfung übersteht. Lokale KI-Videosuche geht die Erwartungen im Detail durch.

Die brauchbare Voreinstellung: auf dem Gerät für die Masse, Cloud für das Material, bei dem eine falsche oder vage Beschreibung dich später Zeit kostet.

---

Cliptag erledigt den Beschreibungsschritt auf macOS. Es analysiert Video, Fotos und Ton, schreibt einen beschreibenden Dateinamen, setzt Motiv-Tags als Finder-Tags und sichert Transkripte als Text neben dem Clip, sodass deine Suche in Spotlight läuft und nicht in einer weiteren Anwendung. Gratis-Plan mit 25 Cloud-Analysen im Monat, Lokal-Modus kostenlos und unbegrenzt.