Cálculo da taxa de recuperação para cartuchos DLT
Os cartuchos DLT são muito confiáveis. Mas também podem falhar e causar perdas de dados.
Veja como calcular a taxa de recuperação, para gerar paridade em codificação por matriz dispersa de Reed-Solomon, e aumentar suas chances de recuperação num desastre com seu backup.
CÁLCULO DA TAXA DE RECUPERAÇÃO PARA MÍDIA EM CARTUCHOS DLT
OBJETIVO:
Calcular a taxa de recuperação ótima para mídia DLT a ser utilizada nos backups em situação de mídia moderadamente danificada.
MOTIVAÇÃO:
O cálculo [14] da codificação por matriz dispersa Reed-Solomon é bastante dispendioso em uso de CPU e tempo.
Esse processo poderá durar no máximo 24 horas e, preferencialmente, conter-se na janela de tempo destinada ao processo.
A informação da matriz viabilizará a automação de processos de verificação e recuperação de mídia de backup.
Isso reduzirá a freqüência de dispendiosos testes manuais de restauração de backup para garantir a continuidade das operações do departamento.
Essa informação da matriz deve ficar em mídia separada mas logicamente associada à mídia de backup.
CENÁRIO:
Definido que a mídia de backup a ser utilizada é DLT HP VS1 160, executou-se um full backup.
No cálculo de um full backup diário inicial de uns poucos servidores, com apenas 37 GB, foram usadas 72 horas pelo servidor de backup.
Foi escolhida uma taxa de recuperação de 10%.
O servidor de backup é um HP Proliant ML 370 G3, Dual Xeon 3,2 GHz, 2 GB RAM ECC, 3 x 72 GB SCSI U320 em HW RAID 5, rodando RHEL 4.
FUNDAMENTAÇÃO e PESQUISA:
- Codificação por matriz dispersa de Reed-Solomon
A codificação por matriz dispersa de Reed-Solomon [0] cria uma matriz de polinômios a partir de uma quantidade de dados que pode ser utilizada para reconstruir sub-conjuntos desses dados que eventualmente não estiverem mais presentes.
O número de ordem desses polinômios é definido a partir da necessidade de taxa de recuperação dos dados.
A característica chave é que podem ser recuperados QUAISQUER dados contínuos ou dispersos até uma quantidade definida pela taxa de recuperação.
Esta codificação é utilizada em protocolos de transmissão e armazenamento de dados que necessitem confiabilidade, mesmo sujeitos a perdas no processo.
- A confiabilidade da tecnologia Digital Linear Tape (DLT):
A descrição da tecnologia DLT [1] indica que foi concebida focada em confiabilidade. Há uma grande preocupação com detalhes mecânicos e lógicos.
A tecnologia DLT adota uma proteção, verificação, deteção e recuperação de erros em quatro camadas lógicas de paridade por matriz dispersa de Reed-Solomon, Error Correction Code e Error Detection Code [2] de 64 e 16 bits mais uma verificação final no processo de escrita, executando automaticamente um ciclo escrita / leitura.
Os cálculos intensivos são feitos por ASICs na unidade de fita, liberando a CPU desta pesada tarefa.
Nas atuais densidades de gravação (2007), pode recuperar até 2 polegadas de dados perdidos em uma trilha num trecho de 8 polegadas [3]
Das mesmas referências, assim como das refer?ncias ECMA [4] pode-se deduzir que a proteção é alta mas não protege contra QUAISQUER perdas de dados.
Se forem perdidos os dados de ECC 64, a informação não poderá ser confiavelmente recuperada integralmente.
Em solução de contorno, a tecnologia estipula que o drive faça repetidas tentativas ampliando o ciclo de leitura para maiores trechos de fita na tentativa de reconstruir progressivamente os dados ausentes "da periferia para o centro" das perdas. [5]
A empresa de recuperação de dados Vogon International indica pela experiência as causas mais prováveis de danos [6] e a empresa de recuperação de dados Nortek adiciona mais detalhes [7].
A Vogon também indica pontos críticos na tecnologia [8], como a trilha de referência.
Apesar das técnicas envolvidas no rastreio da trilha de referência [13].
Analisando documentação técnica da Quantum [9], também verificamos que a informação para correção de azimute é gravada no VERSO da fita.
A HP orienta na definição da vida útil dos cartuchos DLT VS 160 [10].
- Especificações do cartucho VS 160
As especificações do cartucho tipo VS160 [11] nos informam alguns dados importantes que serão utilizados no cálculo e determinações.
240 trilhas.
1 erro a cada 10^17 bits lidos
1 erro não detetado a cada 10^17 bits lidos.
As especificações da HP para o cartucho VS 160 [12] nos informam mais alguns dados relevantes ao cálculo.
563 metros de comprimento.
10^6 ciclos de passagem das cabeças de durabilidade.
10^6 ciclos de passagem traduzem-se na prática em até 200 ciclos de backup completo[10] .
CONSOLIDAÇÃO DE INFORMAÇÕES:
Com base em todas as fontes citadas, podemos concluir que:
CÁLCULO DA TAXA DE RECUPERAÇÃO:
Empiricamente, assumimos que desejaremos recuperar informações em até 1 metro de mídia danificada.
Quaisquer dados contínuos ou dispersos.
Assim, aproximadamente, teríamos (1 / 563 ) * 100 = 0,18%
Porém, nosso maior ponto crítico é a recuperação da informação na trilha de referência, que nesse modelo VS160 pode ser gravada pelo drive no momento de uso. (Alguns cartuchos têm essa informação gravada na fábrica e não podem ser reconstituidos).
Assim, aproximadamente, teríamos (1 / 240) * 100 = 0,42%
Portanto, se utilizarmos ao menos 0,42% de taxa de recuperação de dados, a matriz de codificação dispersa de Reed-Solomon criada será suficiente para recuperar a informação na trilha de referência.
Em 80 GB de dados, poderíamos recuperar até 336 MB de dados perdidos, armazenados contíguamente ou dispersos.
Se você tiver experiências para contar sobre o assunto, pode fazer login no site e postar seus comentários mais abaixo.
[0] http://www.cs.utk.edu/~plank/plank/papers/CS-96-332.html
[1] http://www.uwsg.iu.edu/usail/external/backups/dlt.html
[2] http://downloads.quantum.com/sdlt320/handbook.pdf
[3] http://www.nss.co.uk/WhitePapers/data_storage_mment.htm#Digital%20Linear...(DLT)
[4] http://www.ecma-international.org/publications/standards/Ecma-286.htm
[5] http://en.wikipedia.org/wiki/Digital_Linear_Tape
[6] http://www.vogon-international.com/dlt-recovery/dlt-data-loss.htm
[7] http://www.nortek.on.ca/Tape%20Drive%20Repair/TapeDriveCartridgeRecovery...
[8] http://www.vogon-data-recovery.com/tape_recovery-03.htm
[9] http://www.dlt.com/storage/resources-whitepapers-quantum.asp
[10] http://h20000.www2.hp.com/bizsupport/TechSupport/Document.jsp?lang=en&cc...
[11] http://www.craystone.com/quantum/quantum-dltvs160-specifications.html
[12] http://h18006.www1.hp.com/products/quickspecs/11844_div/11844_div.html
[13] http://www.patentstorm.us/patents/6665137-description.html
[14] http://parchive.sourceforge.net/
OBJETIVO:
Calcular a taxa de recuperação ótima para mídia DLT a ser utilizada nos backups em situação de mídia moderadamente danificada.
MOTIVAÇÃO:
O cálculo [14] da codificação por matriz dispersa Reed-Solomon é bastante dispendioso em uso de CPU e tempo.
Esse processo poderá durar no máximo 24 horas e, preferencialmente, conter-se na janela de tempo destinada ao processo.
A informação da matriz viabilizará a automação de processos de verificação e recuperação de mídia de backup.
Isso reduzirá a freqüência de dispendiosos testes manuais de restauração de backup para garantir a continuidade das operações do departamento.
Essa informação da matriz deve ficar em mídia separada mas logicamente associada à mídia de backup.
CENÁRIO:
Definido que a mídia de backup a ser utilizada é DLT HP VS1 160, executou-se um full backup.
No cálculo de um full backup diário inicial de uns poucos servidores, com apenas 37 GB, foram usadas 72 horas pelo servidor de backup.
Foi escolhida uma taxa de recuperação de 10%.
O servidor de backup é um HP Proliant ML 370 G3, Dual Xeon 3,2 GHz, 2 GB RAM ECC, 3 x 72 GB SCSI U320 em HW RAID 5, rodando RHEL 4.
FUNDAMENTAÇÃO e PESQUISA:
- Codificação por matriz dispersa de Reed-Solomon
A codificação por matriz dispersa de Reed-Solomon [0] cria uma matriz de polinômios a partir de uma quantidade de dados que pode ser utilizada para reconstruir sub-conjuntos desses dados que eventualmente não estiverem mais presentes.
O número de ordem desses polinômios é definido a partir da necessidade de taxa de recuperação dos dados.
A característica chave é que podem ser recuperados QUAISQUER dados contínuos ou dispersos até uma quantidade definida pela taxa de recuperação.
Esta codificação é utilizada em protocolos de transmissão e armazenamento de dados que necessitem confiabilidade, mesmo sujeitos a perdas no processo.
- A confiabilidade da tecnologia Digital Linear Tape (DLT):
A descrição da tecnologia DLT [1] indica que foi concebida focada em confiabilidade. Há uma grande preocupação com detalhes mecânicos e lógicos.
A tecnologia DLT adota uma proteção, verificação, deteção e recuperação de erros em quatro camadas lógicas de paridade por matriz dispersa de Reed-Solomon, Error Correction Code e Error Detection Code [2] de 64 e 16 bits mais uma verificação final no processo de escrita, executando automaticamente um ciclo escrita / leitura.
Os cálculos intensivos são feitos por ASICs na unidade de fita, liberando a CPU desta pesada tarefa.
Nas atuais densidades de gravação (2007), pode recuperar até 2 polegadas de dados perdidos em uma trilha num trecho de 8 polegadas [3]
Das mesmas referências, assim como das refer?ncias ECMA [4] pode-se deduzir que a proteção é alta mas não protege contra QUAISQUER perdas de dados.
Se forem perdidos os dados de ECC 64, a informação não poderá ser confiavelmente recuperada integralmente.
Em solução de contorno, a tecnologia estipula que o drive faça repetidas tentativas ampliando o ciclo de leitura para maiores trechos de fita na tentativa de reconstruir progressivamente os dados ausentes "da periferia para o centro" das perdas. [5]
A empresa de recuperação de dados Vogon International indica pela experiência as causas mais prováveis de danos [6] e a empresa de recuperação de dados Nortek adiciona mais detalhes [7].
A Vogon também indica pontos críticos na tecnologia [8], como a trilha de referência.
Apesar das técnicas envolvidas no rastreio da trilha de referência [13].
Analisando documentação técnica da Quantum [9], também verificamos que a informação para correção de azimute é gravada no VERSO da fita.
A HP orienta na definição da vida útil dos cartuchos DLT VS 160 [10].
- Especificações do cartucho VS 160
As especificações do cartucho tipo VS160 [11] nos informam alguns dados importantes que serão utilizados no cálculo e determinações.
240 trilhas.
1 erro a cada 10^17 bits lidos
1 erro não detetado a cada 10^17 bits lidos.
As especificações da HP para o cartucho VS 160 [12] nos informam mais alguns dados relevantes ao cálculo.
563 metros de comprimento.
10^6 ciclos de passagem das cabeças de durabilidade.
10^6 ciclos de passagem traduzem-se na prática em até 200 ciclos de backup completo[10] .
CONSOLIDAÇÃO DE INFORMAÇÕES:
Com base em todas as fontes citadas, podemos concluir que:
- o erro humano é o maior fator e pode ser controlado com ESTRITA conformidade a procedimentos e automatizações.
- os danos construtivos ao cartucho podem ser contornados com remontagem mecânica especializada.
- erros de mídia podem ser, em boa parte (até 20%), contornados pela intrínseca tecnologia DLT.
- erros na trilha de referência são irrecuperáveis na tecnologia DLT, tornando a fita inteira inútil.
CÁLCULO DA TAXA DE RECUPERAÇÃO:
Empiricamente, assumimos que desejaremos recuperar informações em até 1 metro de mídia danificada.
Quaisquer dados contínuos ou dispersos.
Assim, aproximadamente, teríamos (1 / 563 ) * 100 = 0,18%
Porém, nosso maior ponto crítico é a recuperação da informação na trilha de referência, que nesse modelo VS160 pode ser gravada pelo drive no momento de uso. (Alguns cartuchos têm essa informação gravada na fábrica e não podem ser reconstituidos).
Assim, aproximadamente, teríamos (1 / 240) * 100 = 0,42%
Portanto, se utilizarmos ao menos 0,42% de taxa de recuperação de dados, a matriz de codificação dispersa de Reed-Solomon criada será suficiente para recuperar a informação na trilha de referência.
Em 80 GB de dados, poderíamos recuperar até 336 MB de dados perdidos, armazenados contíguamente ou dispersos.
Se você tiver experiências para contar sobre o assunto, pode fazer login no site e postar seus comentários mais abaixo.
[0] http://www.cs.utk.edu/~plank/plank/papers/CS-96-332.html
[1] http://www.uwsg.iu.edu/usail/external/backups/dlt.html
[2] http://downloads.quantum.com/sdlt320/handbook.pdf
[3] http://www.nss.co.uk/WhitePapers/data_storage_mment.htm#Digital%20Linear...(DLT)
[4] http://www.ecma-international.org/publications/standards/Ecma-286.htm
[5] http://en.wikipedia.org/wiki/Digital_Linear_Tape
[6] http://www.vogon-international.com/dlt-recovery/dlt-data-loss.htm
[7] http://www.nortek.on.ca/Tape%20Drive%20Repair/TapeDriveCartridgeRecovery...
[8] http://www.vogon-data-recovery.com/tape_recovery-03.htm
[9] http://www.dlt.com/storage/resources-whitepapers-quantum.asp
[10] http://h20000.www2.hp.com/bizsupport/TechSupport/Document.jsp?lang=en&cc...
[11] http://www.craystone.com/quantum/quantum-dltvs160-specifications.html
[12] http://h18006.www1.hp.com/products/quickspecs/11844_div/11844_div.html
[13] http://www.patentstorm.us/patents/6665137-description.html
[14] http://parchive.sourceforge.net/
Comentários
Postar um comentário