Uszkodzone pliki RAW - narzędzie.

[setim]

Witam wszystkich serdecznie.
Mam problem z uszkodzonymi plikami RAW. Uszkodzenie powstało na skutek "awarii" (sam popsułem) macierzy RAID5. Po dostaniu się do plików nie zauważyłem, że macierz zaczęła się automatycznie inicjować na nowo. Zanim się zorientowałem, zainicjowało się jakieś 2% powierzchni. Problem w tym, że nie mam kopi pewnego okresu plików RAW, a by mi na nim zależało (zasadniczo mam do wszystkiego kopię kopi skopiowaną - poza tym właśnie fragmentem - brak czasu). Odzyskać podmienionych sektorów nie ma szans, bo dyski talerzowe i sektory nadpisane. Oberwało wszystko co było na dysku, prawie wszystko odzyskałem, prawie... Spora część plików ładuje się na zasadzie - do pewnego miejsca, potem albo jeden kolor, albo wzorek. Moje pytanie brzmi - jest jakiś soft, który byłby w stanie naprawić plik RAW poprzez wstawienie w uszkodzony fragment czegokolwiek i umożliwienie odczytanie pozostałej części pliku. Wydaje mi się, że mógłbym zmniejszyć lukę w plikach, poprzez właśnie taką operację, bo sporo ładuje się np. do połowy. Czasami podczas wczytywania pokazuje się na ułamek sekundy całe zdjęcie, potem znika. Z góry dziękuję za pomoc, pozdrawiam, Mariusz.

[adawro]

To całe zdjęcie co się pokazuje na ułamek sekundy to ewidentnie miniatura zaszyta w pliku RAW.

[setim]

To całe zdjęcie co się pokazuje na ułamek sekundy to ewidentnie miniatura zaszyta w pliku RAW.

Ta miniatura jest w osobnym pliku, czy to część samego pliku RAW? BTW - JPG z tych RAW`ów mam obrobione i one się ostały, ale co RAW to RAW

[zdebik]

Raczej nic z tym nie zdobisz.

Wysłane z mojego SM-G935F przy użyciu Tapatalka

[7four]

... Uszkodzenie powstało na skutek "awarii" (sam popsułem) macierzy RAID5. Po dostaniu się do plików nie zauważyłem, że macierz zaczęła się automatycznie inicjować na nowo. Zanim się zorientowałem, zainicjowało się jakieś 2% powierzchni. ...

Jeszcze raz i od nowa. Co zrobiłeś? Bo to się "kupy" nie trzyma.

[setim]

Jeszcze raz i od nowa. Co zrobiłeś? Bo to się "kupy" nie trzyma.

Cześć.
Co się kupy nie trzyma, bo nie rozumiem. Z macierzy RAID5 zostały odłączone 2 dyski z 16 podczas działania. Kontroler LSI potraktował to jako fakt utraty 2 dysków. Podłączyłem dyski na nowo (jeden trzeba było troszeczkę przymusić). Z początku było wszystko ok, więc się tematem nie zajmowałem. Po kilkudziesięciu minutach kontroler zaczął na nowo inicjować RAID, bo dla niego to był nowy wolumin. Zaczął wyliczać przy pomocy XOR sumy kontrolne dla poszczególnych dysków. Zorientowałem się po kilku godzinach.Efekt był taki, że operacja osiągnęła coś ok 2%. Auto rebuilt mam wyłączony, tak samo jak autocheck na wszystkich macierzach. Nie wiedziałem, że w przypadku tego LSI, automatyczna inicjalizacja startuje o dziwo automatycznie i nie da się jej wyłączyć (przynajmniej ja nie potrafię). Ale to jest chyba mało ważne, bo efekt podałem - uszkodzone pliki poprzez nadpisanie pewnych sektorów przez nie zajmowanych (ok 2%). Problem w tym, że dane zostały nadpisane i nie da się ich odzyskać. Ale może jest jakiś soft, który jak w przypadku avi albo wav jest w stanie zastąpić dane z uszkodzonego sektora np. danymi z sektora poprzedzającego i umożliwić odczyt pliku do końca. Nie znam struktury plików RAW, więc nie wiem, czy w ogóle coś takiego jest możliwe. Część plików miałem przygotowanych do nagrania na BDR i były spakowane. Tutaj udało mi się odzyskać wszystko, bo RAR u mnie dodaje 10% danych naprawczych. Po skopiowaniu plików przy pomocy DMDE z macierzy zestawionej wirtualnie (część znikła z partycji, ale DMDE znalazł) użyłem funkcji naprawczych WinRAR`a. Chcę już zakończyć temat, bo żonglowanie kopiami posektorowymi woluminów o łącznej pojemności 56 TB jest trochę uciążliwe. Każda większa operacja to są tygodnie a nie dni, a sprzęt służy mi do innych rzeczy. "Bawię" się z tym już od listopada 2016. Zdjęcia wylądowały tam na chwilę, niefortunną chwilę Chcę po prostu mieć pewność, że zrobiłem wszystko, co się tylko dało. Pozdrowienia

[7four]

Cześć.
Co się kupy nie trzyma, bo nie rozumiem. Z macierzy RAID5 zostały odłączone 2 dyski z 16 podczas działania. Kontroler LSI potraktował to jako fakt utraty 2 dysków. Podłączyłem dyski na nowo (jeden trzeba było troszeczkę przymusić). Z początku było wszystko ok, więc się tematem nie zajmowałem. Po kilkudziesięciu minutach kontroler zaczął na nowo inicjować RAID, bo dla niego to był nowy wolumin. Zaczął wyliczać przy pomocy XOR sumy kontrolne dla poszczególnych dysków. Zorientowałem się po kilku godzinach.Efekt był taki, że operacja osiągnęła coś ok 2%. Auto rebuilt mam wyłączony, tak samo jak autocheck na wszystkich macierzach. Nie wiedziałem, że w przypadku tego LSI, automatyczna inicjalizacja startuje o dziwo automatycznie i nie da się jej wyłączyć (przynajmniej ja nie potrafię). Ale to jest chyba mało ważne, bo efekt podałem - uszkodzone pliki poprzez nadpisanie pewnych sektorów przez nie zajmowanych (ok 2%). Problem w tym, że dane zostały nadpisane i nie da się ich odzyskać. Ale może jest jakiś soft, który jak w przypadku avi albo wav jest w stanie zastąpić dane z uszkodzonego sektora np. danymi z sektora poprzedzającego i umożliwić odczyt pliku do końca. Nie znam struktury plików RAW, więc nie wiem, czy w ogóle coś takiego jest możliwe. Część plików miałem przygotowanych do nagrania na BDR i były spakowane. Tutaj udało mi się odzyskać wszystko, bo RAR u mnie dodaje 10% danych naprawczych. Po skopiowaniu plików przy pomocy DMDE z macierzy zestawionej wirtualnie (część znikła z partycji, ale DMDE znalazł) użyłem funkcji naprawczych WinRAR`a. Chcę już zakończyć temat, bo żonglowanie kopiami posektorowymi woluminów o łącznej pojemności 56 TB jest trochę uciążliwe. Każda większa operacja to są tygodnie a nie dni, a sprzęt służy mi do innych rzeczy. "Bawię" się z tym już od listopada 2016. Zdjęcia wylądowały tam na chwilę, niefortunną chwilę Chcę po prostu mieć pewność, że zrobiłem wszystko, co się tylko dało. Pozdrowienia

No kupy się nie trzyma to co opisujesz.

RAID5 - to grupa dysków z kontrolą parzystości 1 dysku (czyli N+1)
Volumen to wystawiona przestrzeń do hosta, niezależnie od ilości miejsca w utworzonej grupie dysków. Może być kilka takich volumenów w obrębie RAID grupy.
Jesteś pewien że masz 16 dysków w RAID5 ?
Ile masz dysków Hot Spare?

Po wyjęciu dysku macierz nie inicjalizuje RAID5, tylko odbudowuje utratę dysku na Hot Spare (HS) (tzw. rebuilding)(jeśli jest HS, jak nie ma (tu powodzenia) to nic nie robi, tylko zgłasza awarię 1 dysku.)

Jak wyjąłeś drugi dysk z tej samej grupy RAID5 - nie masz żadnych danych. (a nie jakieś opisywanie o RAW'ach, odzyskanych plikach itp)

Do końca nie wiadomo co zrobiłeś. Bez analizy i wiedzy na temat konfiguracji można wróżyć z fusów.

Co to za macierz? Jaka jest konfiguracja?

Lepszą pomoc uzyskasz w serwisie od "tej" macierzy, pod warunkiem że dokładnie opiszesz co zrobiłeś, a nie co się Tobie wydaje, że się działo.

[setim]

Drogi 7four.

Na początku chciałem zaznaczyć, że zapytałem o możliwość naprawy pliku RAW, a nie stan moich macierzy i ich działanie. Wydaje mi się, że przekazałem na tyle informacji, żeby podać mi sposób (o ile istnieje) naprawy plików RAW. To po pierwsze. Jeżeli ktoś nie zna odpowiedzi na moje pytanie, a nie chce marnować czasu, może od razu przeskoczyć do prawie samego końca tekstu.


Po drugie:
- RAID5 - to grupa dysków z kontrolą parzystości 1 dysku (czyli N+1) - NIE, RAID5 to grupa minimum 3 dysków, których sposób połączenia zabezpiecza nas przed utratą jednego z nich, oferuje pojemność zawsze o jeden dysk mniejszą niż ilość użytych dysków (N-1), a bity parzystości rozłożone są równomiernie na każdym z dysków. To o czym piszesz to teoretycznie RAID3 i 4 - bo te N+1 mi nie pasuje, chyba że chodzi o fakt zapisywania danych na N dyskach, a te +1 to dysk na bity parzystości

- wolumen - w moim przypadku na kontrolerze była jedna grupa dysków, z jednym dyskiem wirtualnym, na którym był jeden wolumen - taki skrót myślowy... sorry.

- Jesteś pewien że masz 16 dysków w RAID5 ? - jestem pewien, że na chwilę obecną nie mam. W listopadzie 2016 miałem, w grudniu ustawiłem dodatkowo RAID5 na 16 dyskach, ale po 6 TB. Żeby było miejsce na kopie posektorowe dysków z problematycznej macierzy i jej wirtualne zestawienie. Wyprzedzam pytanie - zasadniczo tak, zestawianie macierzy z 16 dysków "cywilnych" jest trochę głupie, bo o awarię 2 z nich stosunkowo łatwo. Ale te zestawienie miało służyć konkretnemu celowi, utrata tych danych (poza feralnymi RAW`ami, które były tam na chwilę) nie była problemem - czwarta kopia na wszelki wypadek. Zazwyczaj używam RAID6, ale też nie zawsze i nie wszędzie. Na dziiś sześć macierzy, po 8 dysków, każda na innym kontrolerze, w 3 serwerach, 2x RAID5, 4xRAID6. Jak będzie jutro, czas pokaże

- Ile masz dysków Hot Spare? - w tamtej macierzy? Było 0, niepotrzebne Nawet 10 nie pomogło by przy moim błędzie

- Po wyjęciu dysku macierz nie inicjalizuje RAID5 - nie, nie inicjalizuje bo nie ma gdzie (no chyba że jest hot spare)

- tylko odbudowuje utratę dysku na Hot Spare (HS) (tzw. rebuilding)(jeśli jest HS, jak nie ma (tu powodzenia) to nic nie robi, tylko zgłasza awarię 1 dysku.) - dlaczego powodzenia? Jak są dyski hot-swap i mamy zapasowy pod ręką - to podmieniamy i jechano. Jak nie chcemy hotswapować, albo dysk nie jest do tego przystosowany, to wyłączamy sprzęta, podmieniamy dysk, potem taki guziczek z napisem ON. Efekt ten sam - chociaż zawsze lepiej jest mieć HS, zawsze trzeba mieć świadomość, że następny dysk może beknąć w każdej chwili, zwasze coś może się spitolić podczas włączenia i wyłączenia macierzy. Dlatego robi się kopie danych na nośnikach zewnętrznych, najlepiej w innej lokalizacji

- Jak wyjąłeś drugi dysk z tej samej grupy RAID5 - nie wyjmowałem jednego, potem drugiego. Obydwa zostały odłączone jednocześnie (prawie), podczas pracy sprzętu - wyjęte kabelki

- Nie masz żadnych danych - mam, te dyski zostały odłączone, a nie przejechane walcem. Nie zostały fizycznie, elektrycznie, ani logicznie uszkodzone. Dane nadal tam były, tylko kontroler się pogubił. Dla niego te dwa podłączone z powrotem dyski należały jak najbardziej do danego dysku wirtualnego, ale były nowe. Producent kontrolera nie wie dlaczego przy starcie nie zawrzeszczał, że coś jest nie tak (state optimal). Dopiero przy następnym restarcie było info o degradacji macierzy. W międzyczasie zaczął na nowo inicjować dysk wirtualny. Wyzerowanie dysku 5 TB trochę trwa. Do czasu, kiedy sektory nie są nadpisane, zawsze można przeczytać, co na nich było (pomijam walec). Ale czy te odczytane dane nam coś dadzą - to już trzeba zobaczyć w konkretnym przypadku.

- (a nie jakieś opisywanie o RAW'ach, odzyskanych plikach itp) - zestaw sobie RAID5, wywal 2 dyski, zrób kopie posektorowe wszystkich dysków z macierzy, zestaw macierz wirtualnie i spróbuj odzyskać pliki, daj znać co wyszło. Jak by było tak proste pozbycie się plików, to uwierz mi, że każdy przestępca podczas nalotu wytargał by wszystkie dyski z działającej macierzy. Tak samo specjaliści od odzyskiwania danych nie potrafili by odzyskać informacji z RAID5 z dwoma uszkodzonymi dyskami (da się, nie zawsze wszystko, a na pewno nie tanio).

- Do końca nie wiadomo co zrobiłeś. Bez analizy i wiedzy na temat konfiguracji można wróżyć z fusów - ja wiem co zrobiłem, jakie są tego efekty. Zapytałem o możliwość wczytania do końca pliku RAW (naprawy), w momencie, gdy mam plik, ale zostały w nim nadpisane pewne sektory, które zajmował (ładuje się do połowy, prawie do końca, troszeczkę itp). Nie wszystkie pliki udało się wyciągnąć, część po prostu była nie do odszukania, niektóre zajmują np. 5 GB. Jak ktoś zajmuje się odzyskiwaniem danych, wie o co chodzi.

- Co to za macierz? Jaka jest konfiguracja? - RAID 5, 16 dysków 5TB, LSI SAS 9260-8i (a dokładniej ServerRAID M5014 SAS/SATA tylko że z firmware od LSI) - ale jakie to ma znaczenie? Zostały mi już tylko skopiowane, uszkodzone pliki w najlepszej "kondycji", jaka była dostępna. Nie można było wyciągnąć brakujących informacji z samych dysków. Zresztą temat wałkowałem z kolegami na forum, gdzie zagadnienia "okołodyskowe i przechowywanie danych" są głównymi tematami. Nie uradziliśmy nic mądrego. Ale wesoło było Nie podałem natomiast systemu plików i wielkości stripe`a - a to bardziej potrzebne informacje według mnie, niż producent dysków, kontrolera, macierzy. Uzupełnię parę linijek niżej.

- Lepszą pomoc uzyskasz w serwisie od "tej" macierzy, pod warunkiem że dokładnie opiszesz co zrobiłeś, a nie co się Tobie wydaje, że się działo - rozumiem, że cały czas masz przed oczami jakiegoś Dell`a PowerVault, albo HP StrorageWorks... Nie w tym przypadku. 24 dyski talerzowe + 2 SSD wepchnięte w Chieftec`a BA-01B-B-B (standardowe mocowania + 3 klatki dyskowe po 5 dysków Icy Dock`a - jedna na zasilaczu). Standardowo jest 2x8 na dwóch osobnych kontrolerach + 2 SSD na system. Dlaczego tak? - bo taka jest potrzeba. Producent kontrolera nie za bardzo wiedział dlaczego zaczęła się ta inicjalizacja. Powinien zatrzymać się podczas sprawdzania i wywalić alert o degradacji macierzy (w wypadku braku 2 dysków - incomplete). Być może przyczynił się do tego fakt wyrwania kabli sygnałowych z dysków na żywca, albo coś innego Nie dowiemy się już tego niestety.





Od tego miejsca można zacząć czytać tekst przy pomijaniu akcji macierz. Uzupełniam info o systemie plików i strip size`ie - NTFS, 512KB. W sumie z utratą RAW`ów już się pogodziłem. Miałem nadzieję, że ktoś ma jakieś cenne info, a ja zdobędę nową wiedzę i umiejętności. I to był by chyba najlepszy aspekt całej sytuacji. A jak na razie, to trochę RAW`ów się posypało, a ja nie dowiedziałem się nic nowego. Gdyby jakiś forumowicz chciał podzielić się wiedzą, zawsze i wszędzie jestem otwarty i słucham. Ale wydaje mi się, że dyskusja o macierzach w kontekscie jako takich, to nie to forum. Standardowemu, nawet bardzo profesjonalnemu fotografowi raczej to się nie przyda, no chyba że kręci "Szczęki 6" i potrzebuje dużo miejsca na materiał filmowy oraz jego obróbkę - to może.

Drogi 7four, nie miej mi za złe tego co napisałem. Wydaje mi się, że albo pomieszałeś pewne zagadnienia, albo się nie zrozumieliśmy, albo ja mam (bo mam ) braki w wiedzy. Mam nadzieję, że dyskusja wzbogaci wiedzę doświadczenie każdego z nas

Pozdrowienia

--- Kolejny post ---

Heh, też mi się tak wydaje. Za mała wiedza, jak na razie nie ma apki "na jeden guzik", a hexedytorem bawić się nie będę. Poza tym, żona zaakceptowała fakt, że obrobione JPG się ostały, więc już dostaję normalnie jeść

[7four]

Jak zawsze w takim przypadku, klient zawsze kłamie, albo nie mówi całej prawdy od początku
Faktycznie macierz "macierzy" nie równa.
Umówmy się na przyszłość, że nie masz "macierzy", tylko dyski podpięte do kontrolera w konfiguracji xyz...
Przynajmniej będzie bardziej czytelne od początku dla innych. A skoro było nie czytelne to pojawiło się dalsze pytanie (standardowa procedura)
Zgodzę się z producentem kontrolera który nie przewiduje "wyciągania" dysków w czasie pracy, bo funkcji hot-swap (nie mylić z hot-plug) "zgaduje" nie masz.
Ale to już wiemy, a skoro nie wiemy w jakim stanie jest filesystem, to w jaki sposób mamy wiedzieć jak odzyskać pliki?
Dla dysków powyżej 2TB minimalny i rekomendowany poziom zabezpieczenie to już tylko i wyłącznie RAID6 z uwagi na czas odbudowy który dochodzi do 24h.
Jak ktoś ma jaja ze stali i betonu to może 5TB dyski wrzucać w RAID5 bez HS tym bardziej, byle mógł spać spokojnie, w końcu to tylko jakieś tam dane

[michalab]

Rozumiem, że to co fizycznie dało się odzyskać już odzyskałeś - w sensie analiza co gdzie leżało przed odłączeniem dysków, co zostało zajechane po ich podłączeniu + próba złożenia tego ręcznie w poszczególne pliki - i tu porady nie szukasz.

Teraz pytasz czy jak masz niepełnego RAWa to można coś z tym zrobić. No pewnie można jakoś uzupełnić bity, aby program wczytał poprawnie plik - np. samemu napisać soft, który coś tam odzyska, a resztę uzupełni szarymi pikselami. Ale informacji, które przepadły już raczej nie odzyskasz. Więc jeśli to jakiś niewielki fragment jest utracony to może i tak coś dać. Ale jak jakiś istotny fragment zdjęcia przepadł to i tak nie wiele będziesz miał pożytku z takiego RAWa.