Allgemein Software

Wohin mit den RAW Dateien – Lightroom und NAS

hdd-7080913

Ich fotografiere ausschließlich im RAW-Format und empfehle auch gerne jedem der mich fragt, dies wenigstens mal auszuprobieren. Mir ist klar, dass RAW nicht für jeden eine sinnvolle Lösung darstellt und es soll in diesem Beitrag eben nicht um die Diskussion RAW vs. JPG gehen.

Nein, vielmehr möchte ich hier mal festhalten, wie ich bisher mit der Datenflut umgegangen bin, wie sich meine Gedanken bezüglich der Organisation langsam wandeln und welchen Ansatz ich derzeit ausprobiere.

Ich arbeite dabei mit Lightroom – Version 6, mein Ansatz funktionierte aber auch mit Version 5 – und einem Synology NAS – ist aber auch egal was für eine Festplatte Ihr im Netzwerk dafür nehmt.

tl;dr; – Das Notebook entwickelt sich langsam zum Hauptrechner. Da der Platz dort begrenzt ist, experimentiere ich mit den Smart Previews von Lightroom. Damit spare ich enorm viel Platz – so eine Preview wiegt um die 1 bis 1,5 Megabyte – und habe trotzdem volle Bearbeitungs- und Export-Möglichkeiten. Statt alle 1300+ Bilder eines Monats mit knapp 20 GB verbleiben etwa 800 MB für 650+ ausgewählte Bilder auf der lokalen SSD, nicht übel, oder?

2005 – RAW – Es geht los

Seit 2005 fotografiere ich intensiver, digital und im RAW-Format. Mein Hauptrechner war zu dieser Zeit noch ein PC, ab 2006 dann ein iMac 24″ mit einer 500 GB Festplatte. Ich fotografierte mit einer Canon EOS 350D, irgendwas um die 8 Megapixel.

Ich weiß nicht genau seit wann genau, aber sehr früh kam Lightroom bei mir zum Einsatz, damals noch eine Beta die man bekam, wenn man sich bei Adobe registrierte. Apple Aperture probierte ich mehrfach aus, es war aber um Klassen langsamer auf meinem iMac, warum auch immer, ich konnte es nicht ändern und so wurde es Lightroom.

Shootings wurden importiert und in einer Verzeichnisstruktur nach Jahr – Monat – Tag abgelegt. So konnte ich bequem monatliche Backups fahren und, so der Plan, einfach ein komplettes Jahr archivieren. Leider kam aber nie eine Archiv-Funktion für Lightroom und so wuchs der Katalog stetig und der Platz auf der Festplatte schwand Stück für Stück.

2008 – Mehr Pixel, mehr RAW

Canon hatte mit der EOS 5D eine tolle, digitale 35mm Kamera im Programm und da der Nachfolger vor der Tür stand, bekam ich die gute alte Lady zu einem fairen Preis. Zwölfkommairgendwas Megapixel – Whoa, was für fette Dateien, was für eine krasse Auflösung smile

Lightroom war schon ein paar Versionen weiter, lief gut und wurde nun zunehmend mit den größeren RAW-Dateien gefüttert. Immer noch alles auf die interne 500 GB Festplatte des iMac die aber langsam voll wurde…

Meine komplette Musik-Bibliothek, mein digitales Dokumenten-Archiv, Videoprojekte, Urlaubsvideos und andere Platzschlucker lagerte ich nun auf externe Firewire-Platten aus. So hatte ich intern wieder Platz für weitere Fotos, das sollte eine Weile reichen.

2010 – Festplatte aufrüsten

Den iMac kann man doch aufschrauben? Ja, das sollte fummelig sein aber ich habe in meiner PC-Laufbahn so viele Rechner zusammengeschraubt und repariert, das sollte ich wohl hinbekommen? Also eine 2 TB Platte geordert, iMac aufgeschraubt, Platte getauscht – Lief super. Platz ohne Ende. Heißa!

Zwischenbericht…

Richtig, mein iMac von 2006 wurde 2010 noch mal aufgerüstet. Nachdem er bereits 2009 mehr Speicher bekam lief auch noch alles einigermaßen rund.

Mein Konzept war einfach: Alle Bilder in einer Bibliothek auf der lokalen Festplatte. Schneller und bequemer ging es nicht. Jemand wollte ein Bild? Kurz die Suche angeschmissen, Bild exportiert, fertig. Fotobuch oder Kalender zu Geburts- und Feiertagen? Suche, Sammlung angelegt, eventuell noch kurz bearbeitet, Export, fertig. Toll.

Auch das Backup war simpel: TimeMachine schob regelmäßig die geänderten Daten der internen Platte auf einen Drobo der über Firewire angeschlossen war.

Der langsame Wandel

Das alles lief dann noch ein paar Jahre so weiter – allerdings setzte bei mir ganz langsam ein gedanklicher Wandel ein, ganz sachte. 2009 kam ein MacBook Pro ins Haus. Mit aktuelleren OS-X Versionen war dieses Gerät doch flotter als der inzwischen betagte iMac. Aber das Display vom iMac war besser – größer, matt, Blinkwinkelunabhängig – ich wollte keine größeren Bearbeitungen am Notebook machen.

Was mich aber zunehmend nervte: Ich musste immer erst zum iMac um die Bibliothek zu durchsuchen. Lightroom wurde einfach nicht Netzwerkfähig.

Ich hatte nun eine Bibliothek am Notebook für Workshops, Reisen oder um unterwegs doch mal ein Shooting vorzusortieren. Ich musste dann zu Hause diese Bilder als Katalog exportieren, zum iMac kopieren und dort importieren – oder über das Netzwerk , WLAN, importieren, was auch nicht wirklich schneller war. Im Prinzip alles easy peasy am Ende vergisst man aber doch mal etwas oder weiß nicht mehr, was man schon zum Hauptrechner gebracht hatte und was nicht. #meh

Dann versagte der Drobo, die Firewireschnittstelle war durch, USB funktionierte noch aber schnell ist anders und der Drobo war ohnehin nie wirklich zügig unterwegs.

Außerdem hatte ich zwischenzeitlich eine TimeCapsule angeschafft. Eine Festplatte im Netzwerk. So praktisch bigsmile Warum sind dort nicht alle Fotos? Warum kann da nicht Lightroom drauf laufen? Und überhaupt…

Netzwerk aufgerüstet – Backups

Ich wollte also mehr ins Netzwerk legen. Wir haben drei Rechner zu Hause und ich wollte von jedem Gerät an möglichst viele Daten kommen ohne immer ein bestimmtes Gerät starten zu müssen. Ich exportierte zum Beispiel viele Fotos, die Tanja dann für Kalender und andere Geschenke verwenden konnte. Die hatte ich von Anfang an auf die TimeCapsule geworfen als diese Netzwerkplatte bei mir einzog. So praktisch!

Nun musste ein Ersatz für den Drobo her, als Backup-Platz. Ich krempelte meine Backup-Strategie komplett um. Eine Synology wurde angeschafft, die Rechner schmissen nun ihre automatischen Backups auf dieses Netzwerk-Laufwerk und auch die TimeCapsule, die nun nur noch eigene Daten aber keine Backups beinhaltete, wurde ebenfalls auf das NAS gesichert.

Das ließ ich erstmal einige Wochen laufen. Soweit alles sauber.

Nun ist da eine gigantische Speicherkapazität im Netzwerk… könnte man da nicht auch die RAW drauf werfen?

MacBook Pro, Lightroom und NAS

Es wurde 2014 / 2015, der iMac wurde schon mit OS-X 10.7 recht träge, andere OS-X Versionen liefen darauf nicht mehr, das MacBook Pro zog am iMac um Längen vorbei, es war schneller, aktueller und wurde schließlich mit einer 500 GB SSD aufgerüstet und gab damit noch mal so richtig Gas.

Ich saß immer mehr im Wohnzimmer statt im Büro, bearbeitete zunehmend Shootings am Notebook. Ein perfektes Display war inzwischen nicht mehr wichtig. Ich hatte keinen Hang mehr zur Abbildung der Realität sonder arbeitete schon länger mit einem bestimmten Look, den ich auch am Notebook reproduziert bekam – Profiliert war das Display natürlich.

Warum also nicht das MacBook zum Hauptrechner deklarieren? Aktuelle Banking-Software, Budget-Verwaltung, E-Mail, Browser und einiges mehr lief schon länger hauptsächlich oder überwiegend auf dem Gerät.

Schön, aber meine komplette Foto-Bibliothek passt nicht auf die 500 GB SSD. Was tun?

Adobe führte mit Lightroom 5 die Smart Previews ein.

Das sind abgespeckte DNG-Dateien mit denen man aber alle Regler des Entwickler-Moduls nutzen kann. Die Dateien sind kleiner als die Originalen RAW-Daten und selbst die geringere Auflösung genügt völlig für 99,9% aller Entscheidungen und Bearbeitungen. Die Idee dieser Dateien: Man legt die RAW-Daten auf eine externe Platte und behält die Smart Previews lokal. Solange die RAW nicht verfügbar sind, wird mit den Smart Previews gearbeitet. Sobald die Platte mit den RAW wieder angeschlossen ist, werden die Änderungen auf diese RAW übertragen, automatisch.

Ich hatte einige Shootings auf dem Notebook und entschloss mich dazu, diese Smart-Preview-Kiste mal auszuprobieren.

NAS einrichten und nutzen

Ich richtete auf dem NAS ein Verzeichnis und eine passende Freigabe für Lightroom ein. In Lightroom konnte ich links im Abschnitt mit den Ordnern über das + diesen Netzwerk-Ordner hinzufügen.

Das Netzwerklaufwerk kann in Lightroom hinzufügt werden
Das Netzwerklaufwerk kann in Lightroom hinzufügt werden

Nun schnappte ich mir einfach alle Ordner der vergangenen Jahre, ich hatte noch Fotos aus 2013 und 2014 auf dem Notebook, und zog sie per Drag & Drop von der internen SSD auf den NAS-Ordner. Lightroom kümmerte sich selbst um den Rest, die Dateien wurden verschoben, blieben aber in der Bibliothek.

Das dauerte sehr lange – es wäre wohl schneller gegangen, wenn ich das MacBook über ein Netzwerkkabel ins Netz gebracht hätte anstatt das WLAN zu nutzen wink

Irgendwann war Lightroom dann aber fertig. Erster Test: Ich komme weiterhin an alle Bilder dran, Zoomen dauert streckenweise sehr lange weil das RAW erst über das WLAN nachgeladen werden muss. Bearbeitung ist voll umfänglich möglich, logisch, ist ja auch das RAW.

Dann warf ich das NAS-Laufwerk im Finder aus und, siehe da, der Ordner wurde in Lightroom ausgegraut, die Bilder wurden noch abgedunkelt bzw. mit einem Ausrufezeichen dargestellt aber ein Zugriff war nicht mehr möglich.

Also NAS-Laufwerk wieder aktiviert und nun die Smart Previews rechnen lassen. Ich entschied mich dazu, dies nur für die Picks zu machen, also die Bilder, die ich mit einem weißen Fähnchen versehen hatte. Ich stellte auch schnell fest, dass es sehr clever gewesen wäre, wenn ich dies getan hätte bevor ich die Bilder ins Netz verschoben hatte. Es dauerte jetzt extrem lange weil alle betroffenen RAW erst vom Netz über WLAN geladen werden mussten wink Das würde ich zukünftig also genau anders herum angehen smile

Fertig. Nächster Test. NAS-Laufwerk wieder abgemeldet und, Überraschung, ich komme an alle meine Picks weiterhin dran und kann diese in vollem Umfang bearbeiten, ich kann sie exportieren – natürlich nicht in voller Auflösung aber mehr als genug für Web, Blog und normale Drucke – und auch sonst alles damit machen. Ich zoome in ein Bild und merke natürlich, dass ich nicht so nah hinein komme wie gewohnt, die Smart Previews arbeiten ja mit einer reduzierten Auflösung.

Netzwerklaufwerk abgemeldet. Ordner werden mit Fragezeichen, fehlende Bilder mit Ausrufezeichen markiert. Zugriff auf meine Picks dank SmartPreviews weiterhin möglich.
Netzwerklaufwerk abgemeldet. Ordner werden mit Fragezeichen, fehlende Bilder mit Ausrufezeichen markiert. Zugriff auf meine Picks dank Smart Previews weiterhin möglich.

Das geniale: Ich aktivierte das NAS-Laufwerk wieder, Lightroom erkannte dies und kurze Zeit später wurden die Änderungen auf die RAW übertragen. Das Bild, in das ich gerade gezoomt hatte, zoomte wie von Geisterhand eine Stufe weiter hinein – es war ja jetzt die volle Auflösung verfügbar. Klasse!

Sobald das Netzwerklaufwerk wieder angebunden ist, verschwinden die Fragezeichen und Ausrufezeichen und Zugriff auf alle Bilder ist möglich
Sobald das Netzwerklaufwerk wieder angebunden ist, verschwinden die Fragezeichen und Ausrufezeichen und Zugriff auf alle Bilder ist möglich

Aktueller Status, Erfahrungen, Platzverbrauch

Seit Anfang 2015 nutze ich für Fotos hauptsächlich das MacBook Pro mit der oben beschriebenen Technik. Immer am Ende eines Monats schnappe ich mir den Vormonat, lasse die Smart Previews für die Picks rechnen und schiebe den kompletten Monat auf das NAS. So halte ich den Platzbedarf auf der lokalen SSD möglichst gering, kann aber mit den guten Bildern jederzeit alles machen.

Aber was bringt es jetzt?

Nehmen wir mal den Ordner Mai 2005:

Beispiel für den Platzverbrauch eines Monatsordners mit RAW-Dateien – 19,99 GB für 1357 Dateien
Beispiel für den Platzverbrauch eines Monatsordners mit RAW-Dateien – 19,99 GB für 1357 Dateien
  • 1357 Bilder
  • 19,99 GB – na, sagen wir mal 20 GB smile
  • 641 Bilder davon sind Picks
  • Es sind gerade 16,65 GB frei auf der SSD
Die RAW des Monatsordner noch auf der internen SSD. Es sind derzeit noch 16,65 GB frei
Die RAW des Monatsordner noch auf der internen SSD. Es sind derzeit noch 16,65 GB frei

Meine Lightroom-Preview-Datei ist derzeit über 15 GB groß, die Datei für die Smart Previews nur etwas über 2 GB – auch interessant.

Lightroom-Dateien für die normalen und die smarten Previews
Lightroom-Dateien für die normalen und die smarten Previews

Würde ich jetzt also die 20 GB komplett auslagern können, sollte ich anschließend 36,65 GB frei haben. Das wird nicht ganz klappen, weil ich ja die Smart Previews haben möchte. Ich lasse also die Previews rechnen…

SmartPreviews können für ausgewählte Fotos erstellt werden. Alternativ kann man dies auch direkt beim Import für alle Bilder machen, was für mein Konzept aber nicht sinnvoll wäre
Smart Previews können für ausgewählte Fotos erstellt werden. Alternativ kann man dies auch direkt beim Import für alle Bilder machen, was für mein Konzept aber nicht sinnvoll wäre

Mein Rechner schufftete eine ganze Weile aber dann waren die Smart Previews fertig. Die Smart Preview-Datei lag nun bei 2,59 GB.

Die Lightroom-Datei mit den Smart Previews ist erwartungsgemäß etwas gewachsen
Die Lightroom-Datei mit den Smart Previews ist erwartungsgemäß etwas gewachsen

Nun schob ich den Ordner aufs NAS, einfach in Lightroom den Ordner 05 per Drag & Drop auf den 2015-Ordner auf der NAS-Freigabe ziehen…

Übrigens, hier im WLAN wird knapp ein RAW pro Sekunde aufs NAS geschubst, vielleicht ein klein wenig langsamer. WLAN ist mit 300 MBit/s verbunden. Schon irre, was für eine Brutto-Leistung erforderlich ist, damit Netto vielleicht mal 14 MB/s durch die Luft schwirren, Spitze sind es um die 16 MB/s bei guten Bedingungen.

Nachdem die RAW-Daten auf das Netzwerk verschoben wurden, habe ich deutlich an Platz gewonnen
Nachdem die RAW-Daten auf das Netzwerk verschoben wurden, habe ich deutlich an Platz gewonnen

Verschieben beendet, Ergebnis: 35,84 GB frei auf der internen SSD. Ich habe also 19,19 GB Platz gewonnen, 0,8 GB verbleiben in Form von Smart Previews und anderem Voodoo auf der SSD – die Datei für die Smart Previews ist nämlich nur um 0,48 GB gewachsen, ich habe keinen Schimmer wo die verbleibenden 0,32 GB liegen.

Rechnereien

Also etwa 800 MB für die 641 Picks, macht etwa 1,25 MB pro Bild. Damit kann man sich ja ausrechnen, wie viele Smart Previews auf der lokalen Platte platz finden würden…

Mal angenommen, da lauerte eine Bibliothek mit vielleicht 60.000 Bildern. Ein Viertel davon könnten Picks sein, also müsste ich, nach meiner aktuellen Logik, 15.000 Smart Previews erzeugen lassen. Bei etwa 1,25 MB pro Preview müsste ich also etwa 18 GB Platz dafür reservieren. Dazu käme natürlich etwas Platz für normale Previews, die Lightroom so erzeugt.

Wenn man bedenkt, dass 15.000 RAW Dateien bei mir irgendwo um 220 GB liegen dürften, ist das schon ein beachtlicher Gewinn. Und wenn man bedenkt, dass insgesamt ja alle 60.000 Bilder aufs NAS können, benötigte ich mindestens 880 GB nicht auf der lokalen Platte sondern würde sie durch etwa 18 GB ersetzen für den permanenten Zugriff – an den Rest käme ich ja jederzeit im lokalen Netzwerk.

Nun kann man natürlich weiterspinnen – Warum sollte ich jederzeit vollen Zugriff auf Bilder von vor zig Jahren haben wollen oder müssen? Wenn ich das auf die Bilder vom jeweiligen Vorjahr begrenzen würde, der Rest ist ja im lokalen Netzwerk erreichbar, könnte ich den notwendigen Platz noch weiter reduzieren.

Warum dann nicht sofort umstellen?

Weil ich mein Notebook noch für andere Dinge außer für Fotos verwende. Ich habe einfach nicht genug Platz um die komplette Bibliothek mit den Vorschauen lokal zu halten.

Ja ich weiß, es gibt Menschen die kommen mit einer 128 GB SSD vollkommen aus. Nun, ich nicht bigsmile

Mit meinen 500 GB bin ich an der Grenze. Samsung bietet inzwischen auch 1 TB SSD im 2,5″ Format an und ab August 2015 sollen auch 2 TB verfügbar sein. Ich möchte aber eigentlich in das MacBook Pro aus 2009 nicht mehr so viel investieren. Der Haken ist nur, dass die neuen Apple-Geräte keine Aufrüstmöglichkeiten für 2,5″-SDD bieten.

Im Höchstfalls kann man den SSD-Riegel mit speziellem Anschluss austauschen. Für die Geräte bis 2013 hat OWC etwas im Angebot. Bei den neueren Modellen sieht es aber weniger rosig aus.

Wer sich da auskennt und weiß, welche Kapazitäten zu welchen Preisen für welche Apple-Geräte verfügbar sind, der kann mir gerne mal einen Kommentar schreiben, ich freue mich smile

Ich werde also den kompletten Umzug noch etwas hinaus zögern. Eher früher als später muss ich den iMac ersetzen und dann werde ich entscheiden müssen, wie es weiter geht – Nur noch ein dickes Notebook als Haupt- und Mobilgerät? Wieder zwei Geräte, das alte MacBook Pro als Bürorechner mit allen Daten und eines Book für Unterwegs?

Schreibt mir gerne, wie das bei Euch läuft smile


14 Kommentare

  1. Die Smart Preview-Funktion nutze ich auch inzwischen häufig und finde die Möglichkeit von Lightroom, die RAW-Dateien extern zu speichern, extrem praktisch. Meine Bibliotheken liegen auf dem Laptop (alle, eine pro Jahr), alle RAWs bis auf die, die ich zur Zeit bearbeite, auf dem NAS. Für das aktuelle Jahr habe ich alle >=1-Stern-Bilder eine Smart-Preview, für die anderen nicht.

    Das reicht mir, um auch unterwegs meine “aktuell zu bearbeitenden” Bilder verfügbar zu haben, und auch an älteren (von diesem Jahr) noch gelegentliche Anpassungen zu machen. Für ältere Fotos gibt’s dann nur noch die normalen Previews.

    1. Doch, die 1:1-Vorschauen benötige ich trotzdem noch. Da ich der Geschwindigkeit wegen die Bilder auf der lokalen SSD importiere und bearbeitet (bevor ich sie dann aufs NAS archiviere), muss Lightroom die 1:1-Vorschauen rechnen – ansonsten ist das Blättern und Zoomen unerträglich langsam

  2. Wie schaffst du das, dass bei dir dein NAS Laufwerk als Lightroom NAS angezeigt wird? Du nutzt ja auch Synology. Bei mir wird immer die ganze Ornderstruktur angezeigt die zum Ordner auf dem NAS führt, desweiteren wird im Laufwerk erstmal der Pfad als Ordner erstellt wo ich meine Bilder speichern soll.

    1. Du kannst doch auf dem NAS diverse Verzeichnisse anlegen und für verschiedene Benutzer zur Verfügung stellen / freigeben. Bei Synology in der Systemsteuerung unter “Gemeinsame Ordner”. Dort habe ich einen Ordner “Lightroom NAS” angelegt. Im Netzwerk taucht dieses Verzeichnis als Volume auf und ich verbinde mich dort hin. In Lightroom habe ich dieses “Laufwerk” als Ziel für die RAW gewählt.

  3. Hallo Boris,
    ich habe mir auch gerade ein NAS gekauft, bin aber noch nicht so vertraut damit. Hast Du die Lr-Kataloge auch auf dem NAS? Irgendwie kann ich in Lr Kataloge welche auf dem NAS sind nicht öffnen…

  4. Hallo Boris,
    bekommst Du Zugriff auf Deine Originale aus einem fremden Netzwerk? Also von Außerhalb ?
    Ich benutze auch ein Synology NAS und habe vollen Zugriff aus Lightroom, jedoch nur im heimischen Netzwerk.
    Von extern kann ich mich zwar per VPN oder TCP verbinden, jedoch nicht genau auf den Orner den ich als NAS zuvor definiert hab.

    1. Mein NAS ist aus Prinzip nicht übers Internet erreichbar, daher habe ich das noch nie ausprobiert. Ich wüsste aber nicht was dagegen sprechen sollte im VPN (solange der Pfad von Lightroom gefunden wird! Ist der anders, werden die Bilder nicht gefunden)

  5. Mein iMac ist mittlerweile 5 Jahre alt, und wird wohl mein letzter Desktop-Rechner werden. Das Zimmer muss frei werden fürs Kind. Um mich auf die Laptop-Zeiten in den nächsten Jahren vorzubereiten habe ich jetzt die ruhige Zeit genutzt und alles, was älter als 2018 ist auf die Synology umzuziehen. Ich hatte Sorge, wie ich das mache, ohne alles zu verlieren oder nachträglich wieder verknüpfen zu müssen, aber nach dem Lesen deines Artikels habe ich gemerkt, dass Lightroom sowieso alles selbst macht, wenn man die Ordner direkt in Lightroom verschiebt. Große Klasse und da hat bei Adobe mal wer mitgedacht. Danke für den Artikel, war eine große Hilfe.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert