Video Boost auf dem Google Pixel 8 Pro ist ein praktisches Videotool für die Verwendung bei schlechten Lichtverhältnissen

Als Google Night Sight auf dem Pixel 3 einführte, war das eine echte Offenbarung.

Es war, als hätte jemand auf Ihren Fotos bei schlechten Lichtverhältnissen buchstäblich das Licht angeschaltet. Bisher unmögliche Aufnahmen sind jetzt möglich – ohne Stativ oder Blitz im Scheinwerferlicht.

Fünf Jahre später ist das Fotografieren im Dunkeln überholt – fast jedes Telefon in der Preisklasse verfügt über eine Art Nachtmodus. Aber Video ist eine andere Geschichte. Nachtmodi für Standbilder erfassen mehrere Bilder, um ein helleres Bild zu erzeugen, und es ist nicht möglich, die Mechanik dieser Funktion zu kopieren und in Videos einzufügen, was naturgemäß der Fall ist Genau genommen Eine Bilderserie. Die Antwort scheint neuerdings künstliche Intelligenz zu sein.

Als das Pixel 8 Pro diesen Herbst auf den Markt kam, kündigte Google eine Funktion namens Video Boost with Night Sight an, die in einem zukünftigen Software-Update verfügbar sein wird. Es verwendet KI, um Ihre Videos zu verarbeiten – wodurch mehr Details hervorgehoben und die Farben verbessert werden, was besonders für Clips bei schlechten Lichtverhältnissen nützlich ist. Es gibt nur ein Problem: Diese Verarbeitung erfolgt in der Cloud auf den Servern von Google, nicht auf Ihrem Telefon.

Wie versprochen kam Video Boost vor ein paar Wochen mit dem Pixel-Dezember-Update auf Geräten an, darunter auch auf unserem Pixel 8 Pro-Testgerät. Das ist gut! Aber es ist nicht der entscheidende Moment, den das ursprüngliche „Night Sight“ darstellte. Dies zeigt, wie großartig Night Sight bei seiner Veröffentlichung war und welche besonderen Herausforderungen ein Video an ein Smartphone-Kamerasystem stellt.

Video Boost funktioniert so: Erstens und am wichtigsten ist, dass Sie über ein Pixel 8-Telefon verfügen Vordergrund, kein normales Pixel 8 – Google hat meine Frage, warum das so ist, nicht beantwortet. Sie können es in Ihren Kameraeinstellungen aktivieren, wenn Sie es verwenden möchten, und dann mit der Aufnahme Ihres Videos beginnen. Anschließend sollte das Video entweder automatisch oder manuell in Ihrem Google Fotos-Konto gesichert werden. Dann wartest du. Und warte. Und in manchen Fällen müssen Sie warten – Video Boost funktioniert bei Videos mit einer Länge von bis zu zehn Minuten, aber selbst die Verarbeitung eines nur ein paar Minuten langen Clips kann Stunden dauern.

Abhängig von der Art des Videos, das Sie aufnehmen, kann sich dieses Warten lohnen oder auch nicht. Google-Supportdokumentation Es heißt, es sei so konzipiert, dass Sie bei jeder Beleuchtung „Videos in höherer Qualität und mit besserer Beleuchtung, Farben und Details auf Ihrem Pixel-Telefon erstellen“ können. Aber nein Hauptsächlich Das, was Video Boost liefert, sind bessere Videos bei schlechten Lichtverhältnissen – das hat mir Group Product Manager Isaac Reynolds gesagt. „Stellen Sie es sich wie ein Nachtsichtvideo vor, denn bei allen Optimierungen an den anderen Algorithmen geht es darum, Nachtsicht zu erreichen.“

Alle Prozesse, die dafür sorgen, dass unsere Videos bei gutem Licht besser aussehen – Stabilisierung und Tone Mapping – funktionieren nicht mehr, wenn Sie versuchen, Videos bei sehr schlechten Lichtverhältnissen aufzunehmen. Sogar, erklärt Reynolds Freundlich Der Grad der Unschärfe, der bei Videos mit wenig Licht auftritt, variiert. „O.I.S [optical image stabilization] Es kann das Bild stabilisieren, aber nur bis zu einer bestimmten Länge Die Unschärfe innerhalb des Rahmens ist nur der Rest, den OIS ausgleichen kann.“ Mit anderen Worten: Es ist sehr kompliziert.

All dies hilft zu erklären, was ich in meinen Video Boost-Videos sehe. Bei guter Beleuchtung sehe ich keinen großen Unterschied. Einige Farben fallen etwas stärker auf, aber ich sehe nichts, was mich dazu zwingen würde, sie regelmäßig zu verwenden, wenn ausreichend Licht vorhanden ist. In Im vollen Umfang Bei schlechten Lichtverhältnissen kann Video Boost einige der in einem Standardvideo verlorenen Farben und Details vollständig wiederherstellen. Aber es ist nicht so dramatisch wie der Unterschied zwischen einem normalen Bild und einem Nachtsichtbild unter den gleichen Bedingungen.

Es gibt einen Sweet Spot zwischen diesen beiden Extremen, an dem ich mir vorstellen kann, dass Video Boost wirklich nützlich wird. In einem Clip ging ich in der Abenddämmerung einen Weg entlang einer dunklen Pergola Wohnen Coby BellNach der Verbesserung ist eine deutliche Verbesserung der Schattendetails und Stabilität zu erkennen. Je häufiger Sie Video Boost bei normaler, mittlerer und schwacher Innenbeleuchtung verwenden, desto eher erkennen Sie die dafür geeigneten Bedingungen. Man sieht, wie verwaschen Standardvideos unter diesen Bedingungen aussehen – wie mein Sohn, der auf dem Boden des Esszimmers mit Lastwagen spielt. Das Einschalten von Video Boost stellte etwas von der Lebendigkeit wieder her, die mir gefehlt hatte.

Video Boost ist auf die Hauptrückkamera des Pixel 8 Pro beschränkt und zeichnet mit 4K (Standard) oder 1080p bei 30 Bildern pro Sekunde auf. Durch die Verwendung von Video Boost werden zwei Clips erstellt – eine erste „Vorschau“-Datei, die nicht verstärkt wird und sofort zum Teilen verfügbar ist, und schließlich eine zweite „verstärkte“ Datei. Allerdings passiert unter der Haube einiges.

Reynolds erklärte mir, dass Video Boost eine völlig andere Verarbeitungspipeline verwendet, die viele erfasste Bilddaten behält, die normalerweise beim Aufzeichnen einer Standardvideodatei verworfen würden – ein bisschen wie die Beziehung zwischen RAW- und JPEG-Dateien. Eine temporäre Datei speichert diese Informationen auf Ihrem Gerät, bis sie an die Cloud gesendet werden. Und dann wird es gelöscht. Das ist gut so, denn temporäre Dateien können riesig sein – bei längeren Clips mehrere Gigabyte. Die endgültigen verbesserten Videos haben jedoch eine viel angemessenere Größe – 513 MB für einen dreiminütigen Clip, den ich aufgenommen habe, gegenüber 6 GB für eine temporäre Datei.

Meine erste Reaktion auf Video Boost war, dass es wie eine vorübergehende Lösung schien – eine Demo einer Funktion, die jetzt die Cloud benötigt, um zu funktionieren, aber in Zukunft auf das Gerät portiert wird. Qualcomm hat diesen Herbst eine ähnliche Version auf dem Gerät vorgestellt, das muss also das letzte Spiel sein, oder? Reynolds sagt, das sei nicht seine Denkweise. „Die Dinge, die Sie in der Cloud tun können, werden immer beeindruckender sein als die Dinge, die Sie auf einem Telefon tun können.“

Ein typisches Beispiel: Derzeit, sagt er, laufen auf Pixel-Smartphones mehrere kleinere, verbesserte Versionen von Googles HDR-Plus-Modell auf dem Gerät. Aber das vollständige „native“ HDR Plus-Modell, das Google im letzten Jahrzehnt für seine Pixel-Telefone entwickelt hat, ist zu groß, um realistisch auf jedem Telefon ausgeführt zu werden. Die KI-Funktionen auf dem Gerät werden sich im Laufe der Zeit verbessern, daher ist es wahrscheinlich, dass dies passieren wird manche Dinge, die nur in der Cloud erledigt werden können, werden auf unsere Geräte verlagert. Aber auch die Möglichkeiten in der Cloud werden sich verändern. Reynolds sagt, er glaube, dass die Cloud nur „eine weitere Komponente“ der Fähigkeiten von Tensor sei.

In diesem Sinne Videoverbesserung Er ist Ein Blick in die Zukunft – Es ist einfach eine Zukunft, in der die KI auf Ihrem Telefon neben der KI in der Cloud arbeitet. Mehr Funktionen werden durch eine Mischung aus On- und Off-Device-KI übernommen, und die Unterscheidung zwischen dem, was Ihr Telefon kann, und dem, was ein Cloud-Server kann, wird in den Hintergrund treten. Es ist zwar nicht das „Aha“-Erlebnis von Night Sight, aber es wird dennoch einen großen Wandel in unserer Einstellung zu den Fähigkeiten unserer Telefone bedeuten.