Virtualização e serviço de arquivos em cluster de alta disponibilidade com Debian Etch, com redundância, espelhamento, replicação, em ambientes de desenvolvimento (parte 1)

Virtualização e serviço de arquivos POSIX em cluster de alta disponibilidade redundante com espelhamento síncrono e replicação assíncrona em ambientes de desenvolvimento, com montagem local, suporte a ACL, quotas, direct I/O (dio), asynchronous I/O (aio), homologado para banco de dados Oracle RAC e compatível com PostgreSQL.

Nesta primeira parte do trabalho, iremos apresentar as linhas gerais, objetivos , resultados esperados, o glossário e a bibliografia utilizada ao longo do texto em todas as suas partes.
Uma parte técnica essencial já foi publicada, sobre os patches necessários para compilar e instalar a RedHat Cluster Suite no Debian GNU/Linux 4.0 Etch.
Este trabalho foi inscrito no ConSERPRO 2007.
Devemos ressaltar que a primeira versão do registro do trabalho foi redigida em maio de 2007, e que a RedHat Cluster Suite já tem versão 2.x lançada pela Red Hat e incluída na versão Testing (atualmente Lenny) do Debian. A versão 2 da suite implementa avanços e correções a muitos dos problemas e necessidades percebidas durante nossa implementação.
Porém, a própria Red Hat alerta para que a nova versão 2 do sistema de arquivos GFS ainda não é madura e estável o suficiente para uso em ambientes de produção ou de confiabilidade equivalente, conforme pode ser verificado pelos problemas indicados na lista de discussão própria. Além disso, a redhat cluster suíte 2.x está compilada para kernel 2.6.23 Debian e seria um backport não trivial para o 2.6.18, com risco de instabilidades.
Como o sistema de arquivos em cluster é primordial para nosso trabalho, permaneceremos com a versão 1.x da suíte até que a versão 2.x esteja madura o suficiente. A nossa implementação GFS com redhat cluster suite 1.x funciona desde abril 2007 com estabilidade e confiabilidade.

Objetivos:

• Apresentar o uso e benefícios de solução de virtualização de máquinas e serviços, em ambientes de desenvolvimento, alternativamente centralizada e consolidada em servidores de alta disponibilidade e redundantes;
• Apresentar implementação de sistemas de arquivos remotos compartilhados e em cluster em conformidade com padrões POSIX, quotas e recursos ACL (Access Control Lists), com montagem local, como alternativa ao NFS v3 e NFS4.
• Apresentar implementação de sistema de arquivos em cluster, com suporte a ACL, quotas, direct I/O (dio), asynchronous I/O (aio), homologado para banco de dados Oracle RAC e compatível com PostgreSQL.
• Apresentar implementação de sistema de arquivos remotos em cluster, espelhado, replicado e centralizado em servidores de alta disponibilidade redundantes, montados localmente e de comportamento local POSIX, com ACL, transparente para aplicações concorrentes.
• Apresentar implementação de cluster de alta disponibilidade, redundância, espelhamento e replicação, sem Ponto Único de Falhas (Single POint of Failure, SPOF), implementado com software livre, máquinas de baixo custo, para uso em ambientes de desenvolvimento.
• Apresentar solução e implementação de sistema de arquivos 64 bits nativo em cluster de até 16 Terabytes, apropriado a utilização em Data Warehousing em ambientes de desenvolvimento.
• Apresentar as dificuldades, as peculiaridades, problemas obscuros e não documentados, e as soluções criadas ou encontradas, na implementação de cluster em condições máximas de carga de servidores, discos, e saturação de rede em processos concorrentes.
• Apresentar resultados de testes de desempenho comparativos de diferentes configurações para avaliações de custos X benefícios em diferentes situações e em aplicações em ambientes de desenvolvimento.
• Apresentar alternativas e configurações, em desenvolvimento, para futuras implementações ainda melhores e mais eficientes.

Resultados alcançados ou a alcançar:

Quantificar (mensurar a economia gerada ou a alcançar ou outro parâmetro objetivo)

• Disponibilidade Classe 3 (99% a 99,9%) e viabilidade de implantar Disponibilidade Classe 4 (99,9% a 99,99%) nos serviços departamentais críticos se replicar a estrutura remotamente.
• A economia de cada hora departamental parada média é de R$ 5 mil. Um incidente grave de disponibilidade pode tomar 3 dias efetivos, R$ 120 mil. Um incidente real registrado tomou 22 dias e perda irrecuperável de informações estimadas em R$ 2,5 milhões.
• Implementação completa em software livre. Economia de licenças de sistemas operacionais e programas específicos para clusters.
• Implementação completa a partir de hardware comum, reciclado, e redes comuns já é viável. Dispensa exigência de SAN, HW RAID, FC, Ultra320 SCSI, Firewire, GbE, InfiniBand, embora claramente se beneficie desses recursos para aumento de confiabilidade.

Qualificar (benefícios alcançados ou a alcançar)

• Disponibilidade Classe 3 e até Classe 4 nos serviços departamentais de desenvolvimento permite melhor atendimento dos compromissos com clientes.
• Integridade de dados em caso de falhas catastróficas completas de servidores. Maior garantia de patrimônio. Um incidente prévio registrado causou prejuízo de milhões de reais em informações.
• Reprodução em escala de ambientes de produção em condições limite para melhor desenvolvimento e depuração.
• Melhor controle de configurações e reprodutibilidade no desenvolvimento por toda equipe. Maior qualidade, controle e agilidade nas responsabilidades e tarefas de GCS e GCI.
• Maior agilidade na experimentação e avaliação rápida de alternativas de implementação. Menor prazo e esforço em homens hora no desenvolvimento.
• Implantação em produção potencialmente mais controlada e ágil. Menores problemas inesperados. Menores custos e prazos.
• Viabilização de virtualização, clusters, alta disponibilidade, redundância, espelhamento e replicação a custos baixos e já a partir de recursos de hardware e rede amplamente disponíveis. Até hoje exigia hardware, software e rede exóticos, proprietários, dispendiosos, justificáveis apenas em altos volumes de processamento e produção, sendo inviáveis em ambientes departamentais de desenvolvimento.
• Maior preservação, menor risco à estabilidade e segurança de ambientes de homologação e produção.
• Máxima continuidade e integridade de serviços e informações de desenvolvimento impacta positivamente toda a cadeia de compromissos com clientes e imagem da empresa no mercado.
• Configuração sem SPOF. Redundância completa. Mesmo clusters comerciais possuem um ou mais SPOF. Disponibilidade maior que soluções comerciais.
• Conformidade total com POSIX, tendo ACL e montagem local. Transparência total para todo tipo de aplicações.
• Homologado para Oracle RAC e compatível com PostgreSQL. Disponibiliza direct I/O (dio) e asynchronous I/O (aio) do sistema de arquivos para aplicações como Oracle RAC.
• Sistema de arquivos nativo de 64 bits e alta capacidade (16 TB) e desempenho para Data Warehousing.

INTRODUÇÃO
A configuração, manutenção, controle e gestão de configuração de hardware e software em ambientes de desenvolvimento para toda uma equipe, bem como o ágil desenvolvimento e experimentação de alternativas, a depuração e testes, homologação e transição para implantação em produção são tarefas potencialmente complexas, demoradas, dispendiosas e sujeitas a até inesperadas dificuldades, inconsistências, riscos à estabilidade e segurança.
A disponibilidade de serviços e integridade das informações em ambientes de desenvolvimento são aspectos que impactam diretamente os compromissos de projeto assumidos com clientes e os custos da empresa.
O compartilhamento de arquivos e serviço de arquivos remotos centralizado atualmente é problemático em ambientes de desenvolvimento. As alternativas consolidadas, NFS v3 (NFS3) [1] e Samba (SMB, CIFS) [2], são limitadas, em desempenho, inconformidade POSIX [3] e ACL [4], opacidade para as aplicações, inadequação para bancos de dados, segurança, estabilidade, gerenciamento e configuração. Até mesmo o recente NFS v4 (NFS4) [5] não resolve todas as limitações [6] e ainda é considerado instável para altas cargas. Em conseqüência, muito desenvolvimento é feito localmente em estações de trabalho, com implicações em segurança, estabilidade, agilidade, desempenho, gerenciamento, disponibilidade e integridade de dados.
Em um ambiente de desenvolvimento em micro-informática usual, com estações de trabalho completas e efetivamente isoladas em termos de desenvolvimento, estes problemas ficam evidentes. Até hoje, as soluções propostas estavam inviáveis para esses ambientes.
Este trabalho apresenta o uso e benefícios de solução de virtualização de máquinas e serviços, em ambientes de desenvolvimento, alternativamente centralizada e consolidada em servidores de alta disponibilidade e redundantes.
Apresenta implementação de sistemas de arquivos remotos compartilhados e em cluster em conformidade com padrões POSIX, quotas e recursos ACL (Access Control Lists), com montagem local, como alternativa ao NFS v3 e NFS v4.
Apresenta implementação de sistema de arquivos POSIX em cluster, com suporte a ACL, quotas, direct I/O (dio) [31], [32], asynchronous I/O (aio) [33], [34], homologado para banco de dados Oracle RAC [28] e compatível com PostgreSQL [29].
Apresenta implementação de sistema de arquivos remotos em cluster, espelhado, replicado e consolidado em servidores de alta disponibilidade redundantes, montados localmente e de comportamento local POSIX, com ACL, transparente para aplicações concorrentes.
Apresenta implementação de cluster de alta disponibilidade (Classe 3, viabilidade de Classe 4) [23], [24], [25], [26], [27], redundância, espelhamento e replicação, sem Ponto Único de Falhas (Single POint of Failure, SPOF) [27], [30], implementado com software livre, máquinas de baixo custo, para uso em ambientes de desenvolvimento.
Apresenta solução e implementação de sistema de arquivos 64 bits nativo em cluster de até 16 Terabytes, apropriado a utilização em Data Warehousing em ambientes de desenvolvimento.
Apresenta as dificuldades, as peculiaridades, problemas obscuros e não documentados, e as soluções criadas ou encontradas, na implementação de cluster em condições máximas de carga de servidores, discos, e saturação de rede em processos concorrentes.
Apresenta resultados de testes de desempenho comparativos de diferentes configurações para avaliações de custos X benefícios em diferentes situações e em aplicações em ambientes de desenvolvimento.
Apresenta alternativas e configurações, em desenvolvimento, para futuras implementações ainda melhores e mais eficientes.
Este trabalho, portanto, apresenta implementações testadas e quantificadas que racionalizam, integram e consolidam ambientes de desenvolvimento, aumentando agilidade das equipes, minimizando prazos, esforços de configuração, gerenciamento, riscos, custos, e maximizando disponibilidade de serviços e integridade de informações nesses ambientes; viáveis técnica e economicamente já em pequenas equipes departamentais, com potencial de extrapolação para outros ambientes, em todo ou em parte.

GLOSSÁRIO
ACL – Access Control List. Lista com as permissões associadas a um objeto. Num sistema de arquivos, usualmente é identificação de usuário, grupo, direitos de escrita, leitura e execução.
Asynchronous I/O – forma de acesso ao sistema de I/O sem que o sistema todo fique esperando a conclusão da transação.
CIFS – Common Internet File System, proposto pela Microsoft.
CLVM2 – Cluster Logical Volume Manager version 2.
Direct I/O – forma de acesso direto ao sistema de I/O, dispensando o cache.
DRBD – Distributed Replicated Block Device.
Fencing – Recurso utilizado em clusters para cercar e excluir controlada e seguramente um nó que seja considerado em comportamento inadequado e que poderia prejudicar a integridade de dados ou disponibilidade de serviços.
GCI – Gestor de Configuração de Infraestrutura. Papel definido em processo conformante ao CMMI.
GCS – Gestor de Configuração de Software. Papel definido em processo conformante ao CMMI.
Failover – chaveamento em caso de falhas.
FC – Fiber channel. Forma serial de conectar dispositivos de hardware. Em 2007 pode alcançar 12,75 Gb/s.
Firewire – Forma serial de conectar dispositivos de hardware. Em 2007 pode alcançar 800 Mb/s.
GbE – Gigabit Ethernet.
GFS – Global File System.
GNBD – Global Network Block Device. Programa que viabiliza acesso remoto a dispositivo de blocos, independentemente de sistema de arquivos. Possui recursos de integração a clusters e recursos de fencing.
InfiniBand – arquitetura de interconexão em malha de alta velocidade, escalabilidade e disponibilidade. Em maio 2007 pode alcançar 96 Gb/s.
iqn – iSCSI qualified name.
iSCSI – internet SCSI. Permite uso do protocolo SCSI sobre redes tcp/ip.
iSCSI initiator – É a parte cliente de dispositivo de blocos segundo o protocolo iSCSI.
iSCSI target – É a parte servidora de dispositivo de blocos segundo o protocolo iSCSI.
Journal – num sistema de arquivos, é um registro temporário prévio de mudanças a serem realmente escritas no sistema de arquivos perene oportunamente. Após a real escrita, o registro prévio é removido.
OCFS2 – Oracle Cluster File System versão 2.
POSIX – Portable Operating System Interface. É um conjunto de padrões (IEEE 1003) definido pelo IEEE que define as Interfaces de Programação de Aplicações dos sistemas compatíveis com Unix.
SAN – Storage Area Network. É uma arquitetura que implementada viabiliza que dispositivos de armazenamento remotos sejam conectados a computadores de forma que , para o sistema operacional, sejam considerados conectados localmente.
SMB – Server Message Block, protocolo proposto pela Microsoft.
SPOF – Single Point of Failure. Em um sistema, diz-se de ponto ou integrante que, caso falhe, causará falha sistêmica.
Ultra320 SCSI – Ultra 320 MB/s SCSI.

BIBLIOGRAFIA
[1] IETF. Linux NFS faq. NFS. USA. Disponível em: <http://nfs.sourceforge.net>. Acesso em: 10/07/2007.
[2] The Samba Team. Samba. Samba, Opening Windows to a Wider World. USA. Disponível em: <http://www.samba.org>. Acesso em: 10/07/2007.
[3] IEEE. POSIX.1 faq. The Open Group. EUA, 02/02/2006, v 1.12. Disponível em : <http://www.opengroup.org/austin/papers/posix_faq.html>. Acesso em : 10/07/2007.
[4] WikiMedia Foundation Inc. et al. Acess control list. Wikipedia. USA, Florida, v 22/06/2007. Disponível em: <http://en.wikipedia.org/wiki/Access_control_list>. Acesso em: 10/07/2007.
[5] University of Michigan, Center for Information Technology Integration. NFS Version 4 Open Source Reference Implementation . EUA, Michigan, Ann Arbor. Disponível em: <http://www.citi.umich.edu/projects/nfsv4>. Acesso em: 10/07/2007.
[6] KIRCH, Olaf. Why NFS sucks. Proceedings of the Linux Symposium 2006, volume 2, p. 59 a p.72. Canada, Ontario, Ottawa, 19/07/2006. Disponível em: <http://www.linuxsymposium.org/2006/linuxsymposium_procv2.pdf>. Acesso em: 10/07/2007.
[7] XEN SOURCE, Inc. Xen Source: Delivering the Power of Xen. Xen Source. EUA. Disponível em: <http://www.xensource.com>. Acesso em: 10/07/2007.
[8] VMWARE, Inc. VmWare Player. VmWare. EUA, California, Palo Alto. Disponível em: <http://vmware.com/products/player>. Acesso em: 10/07/2007.
[9] VMWARE, Inc. VmWare Server. VmWare. EUA, California, Palo Alto. Disponível em: <http://vmware.com/products/server>. Acesso em: 10/07/2007.
[10] INNOTEK, Inc. Virtual Box. Virtual Box. Alemanha, Weinstadt. Disponível em: <http://www.virtualbox.org>. Acesso em: 10/07/2007.
[11] QUMRANET, Inc. Kernel Virtual Machine Open Source Project. KVM Project. EUA, Califórnia, Santa Clara. Disponível em: <http://kvm.qumranet.com>. Acesso em: 10/07/2007.
[12] KEMP, Steve. Xen-Tools. Xen-Tools.org. Inglaterra. Disponível em: <http://www.xen-tools.org>. Acesso em: 10/07/2007.
[13] CONVIRT, comunidade. XenMan. Convirt. EUA. Disponível em: <http://xenman.sourceforge.net>. Acesso em: 10/07/2007
[14] RED HAT, Inc. Virt-Manager. Virtual Machine Manager. EUA. Disponível em: <http://virt-manager.et.redhat.com>. Acesso em: 10/07/2007.
[15] VMWARE, Inc. Clock in a Linux Guest Runs More Slowly or Quickly Than Real Time. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&externalId=1420>. Acesso em: 10/07/2007.
[16] VMWARE, Inc. VMware Tools Installation Instructions. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&externalId=340>. Acesso em: 10/07/2007.
[17] VMWARE, Inc. Topic: NTP Setup Issues. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/message.jspa?messageID=535133>. Acesso em: 10/07/2007.
[18] VMWARE, Inc. ESX as a NTP server for VM's. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/message.jspa?messageID=566318>. Acesso em: 10/07/2007.
[19] VMWARE, Inc. Topic: ntp client on host but not on guest. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/thread.jspa?threadID=50568&tstart=0>. Acesso em: 10/07/2007.
[20] VMWARE, Inc. Topic: Unable to setup NTP correctly. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/message.jspa?messageID=447429>. Acesso em: 10/07/2007.
[21] VMWARE, Inc. Installing and Configuring NTP on VMware ESX Server. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&externalId=1339>. Acesso em: 10/07/2007.
[22] VMWARE, Inc. Timekeeping in VmWare Virtual Machines. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/pdf/vmware_timekeeping.pdf>. Acesso em: 10/07/2007.
[23] ______. High Availability. Epowiki. V 25/04/2004. Disponível em: <http://www.possibility.com/epowiki/Wiki.jsp?page=HighAvailability>. Acesso em: 10/07/2007.
[24] SIEWIOREK, Daniel P., Jim GRAY. High Availability Computer Systems. IEEE Computer, September 1991 (Vol. 24, No. 9) pp. 39-48. Disponível em: <http://research.microsoft.com/~gray/papers/ieee_HA_Swieorick.pdf>. Acesso em: 10/07/2007.
[25] ORACLE, Corp. Oracle high availability. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/HA_Overview.htm>. Acesso em: 10/07/2007.
[26] ORACLE, Corp. Oracle failsafe / failover clusters. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/unix_clusters.html>. Acesso em: 10/07/2007.
[27] BOTTOMLEY, James. Achieving High Availability, What You Need to Know before You Start. SteelEye Technology. EUA, 21/01/2004. Disponível em: <http://licensing.steeleye.com/support/papers/lwny_2004_slides.pdf>. Acesso em: 10/07/2007.
[28] ORACLE, Corp. Oracle Real Application Cluster. Oracle. Disponível em: <http://www.oracle.com/technology/products/database/clustering/index.html>. Acesso em: 10/07/2007.
[29] POSTGRESQL Global Development Group. PostgreSQL. Disponível em: <http://www.postgresql.org>. Acesso em: 10/07/2007.
[30] WikiMedia Foundation Inc. et al. Reliable system design. Wikipedia. USA, Florida, v 22/06/2007. Disponível em: <http://en.wikipedia.org/wiki/Reliable_system_design>. Acesso em: 10/07/2007.
[31] RED HAT, Inc. Red Hat GFS 6.1: Administrator's Guide. Chapter 5. Managing GFS, 5.7 Direct I/O. Red Hat. Disponível em: <http://www.redhat.com/docs/manuals/csgfs/browse/rh-gfs-en/s1-manage-direct-io.html>. Acesso em: 10/07/2007.
[32] ROGERS, Howard. Enabling and using direct I/O. Dizwell Informatics. Disponível em: <http://www.dizwell.com/prod/node/73>. Acesso em: 10/07/2007.
[33] WikiMedia Foundation Inc. et al. Asynchronous I/O. Wikipedia. USA, Florida, v 26/06/2007. Disponível em: <http://en.wikipedia.org/wiki/Asynchronous_I/O>. Acesso em: 10/07/2007.
[34] SALISBURY, Joseph, SHAKSHOBER, D. John.. Tuning Oracle Database 10g for ext3 file systems. Red Hat Magazine. Edição 13, novembro 2005. Disponível em: <http://www.redhat.com/magazine/013nov05/features/oracle/>. Acesso em: 10/07/2007.
[35] OpenSSI. Cluster File System. OpenSSI. Disponível em: <http://openssi.org/cgi-bin/view?page=features.html>. Acesso em: 10/07/2007.
[36] Z RESEARCH, Inc. Gluster File System. Gluster. EUA, Califórnia, Fremont. Disponível em: <http://www.gluster.org>. Acesso em: 10/07/2007.
[37] WARNES, Gregory R. ClusterNFS. Disponível em: <http://clusternfs.sourceforge.net>. Acesso em: 10/07/2007.
[38] LINUX HIGH AVAILABILITY community. HaNFS. Linux High Availability. Disponível em: <http://www.linux-ha.org/HaNFS>. Acesso em: 10/07/2007.
[39] Carnegie Mellon University. OpenAFS. Disponível em: <http://www.openafs.org>. Acesso em: 10/07/2007.
[40] DANGA Interactive. MogileFS. Danga Interactive. Disponível em: <http://www.danga.com/mogilefs>. Acesso em: 10/07/2007.
[41] DIGITAL BAZAAR. StarFish Distributed File System. Digital Bazaar. Disponível em: <http://wiki.digitalbazaar.com/en/Starfish_Distributed_Filesystem>. Acesso em: 10/07/2007.
[42] CLUSTER File Systems, Inc. Lustre file system. Lustre.org. Disponível em: <http://www.lustre.org>. Acesso em: 10/07/2007.
[43] SYMANTEC, Inc. Veritas Storage Foundation Cluster File System. Symantec. Disponível em: <http://www.symantec.com/enterprise/products/overview.jsp?pcid=1020&pvid=209_1>. Acesso em:10/07/2007.
[44] HEWLETT-PACKARD Development Company, L.P. PolyServe File Serving Utility. PolyServe. Disponível em: <http://www.polyserve.com/optimized_file_serving.php>. Acesso em: 10/07/2007.
[45] IBRIX, Inc. Ibrix Fusion Scalable File System. Ibrix. Disponível em: <http://www.ibrix.com/pages/products.php>. Acesso em: 10/07/2007.
[46] SGI. Cluster XFS, CXFS. SGI. Disponível em: <http://www.sgi.com/products/storage/tech/file_systems.html>. Acesso em: 10/07/2007.
[47] PVFS community. Parallel Virtual File System, v2. PVFS. Disponível em: <http://www.pvfs.org>. Acesso em: 10/07/2007.
[48] IBM. IBM General Parallel File System. GPFS. EUA. Disponível em: <http://www-03.ibm.com/systems/clusters/software/gpfs.html >. Acesso em: 10/07/2007.
[49] INTERMEZZO community. Intermezzo.org. Disponível em: <http://www.inter-mezzo.org >. Acesso em: 10/07/2007.
[50] RACKABLE Systems. RapidScale Clustered Storage. Rackable Systems. EUA. Disponível em: <http://www.rackable.com/products/rapidscale.htm >. Acesso em: 10/07/2007.
[51] CARNEGIE MELLON UNIVERSITY. CODA file system. EUA. Disponível em: <http://www.coda.cs.cmu.edu >. Acesso em: 10/07/2007.
[52] PANASAS, Inc. Parallel NFS. pNFS. EUA. Disponível em: <http://www.pnfs.com >. Acesso em: 10/07/2007.
[53] OPENMOSIX community. Mosix File System, MFS. OpenMosix. Disponível em: <http://www.openmosix.org >. Acesso em: 10/07/2007.
[54] SUN Microsystems, Inc. Zeta File System, ZFS. OpenSolaris.org. Disponível em: <http://www.opensolaris.org/os/community/zfs >. Acesso em: 10/07/2007.
[55] WikiMedia Foundation Inc. et al. Zeta File System, ZFS. Wikipedia. USA, Florida, v 10/07/2007. Disponível em: <http://en.wikipedia.org/wiki/ZFS>. Acesso em: 10/07/2007.
[56] CORREIA, Ricardo. ZFS on FUSE. Disponível em: <http://zfs-on-fuse.blogspot.com >. Acesso em: 10/07/2007.
[57] CORREIA, Ricardo. ZFS on FUSE. Disponível em: <https://developer.berlios.de/projects/zfs-fuse/ >. Acesso em: 10/07/2007.
[58] ORACLE, Corp. Oracle Cluster File System 2, OCFS2. Oracle Open Source Solutions. Disponível em: <http://oss.oracle.com/projects/ocfs2/>. Acesso em: 10/07/2007.
[59] RED HAT, Inc. Red Hat Global File System, GFS. Red Hat Infrastructure. Disponível em: <http://www.redhat.com/gfs/>. Acesso em: 10/07/2007.
[60] RED HAT, Inc. GFS Project Page. Cluster Project. Disponível em: <http://sources.redhat.com/cluster/gfs/>. Acesso em: 10/07/2007.
[61] RED HAT, Inc. Cluster Project FAQ - Frequently Asked Questions. Cluster Project. Disponível em: <http://sources.redhat.com/cluster/faq.html>. Acesso em: 10/07/2007.
[62] RED HAT, Inc. Red Hat Cluster Suite. Red Hat Infrastructure. Disponível em: <http://www.redhat.com/cluster_suite>. Acesso em: 10/07/2007.
[63] RED HAT, Inc. Cluster Project Page. Cluster Project. Disponível em: <http://sources.redhat.com/cluster/>. Acesso em: 10/07/2007.
[64] DEBIAN PROJECT. Debian GNU / Linux. Debian Project. Disponível em: <http://www.debian.org >. Acesso em: 10/07/2007.
[65] SUN Microsystems, Inc. RFC 1094 - NFS: Network File System Protocol specification. Faqs.org. Disponível em: <http://www.faqs.org/rfcs/rfc1094.html>. Acesso em: 10/07/2007.
[66] NOVELL, Inc. File systems primer. Novell, Inc. Disponível em: <http://wiki.novell.com/index.php/File_System_Primer >. Acesso em: 10/07/2007.
[67] WikiMedia Foundation Inc. et al. iSCSI. Wikipedia. USA, Florida, v 10/07/2007. Disponível em: <http://en.wikipedia.org/wiki/ISCSI>. Acesso em: 10/07/2007.
[68] VAROQUI, Christophe. Multipath Tools. Disponível em: <http://christophe.varoqui.free.fr>. Acesso em: 10/07/2007.
[69] LINBIT Information Technologies, Gmbh. Distributed Replicated Block Device, DRBD. Drbd.org . Áustria, Viena. Disponível em: <http://www.drbd.org >. Acesso em: 10/07/2007.
[70] DAVISON, Wayne e SAMBA Team. rsync. Rsync home page. Disponível em: <http://rsync.samba.org/ >. Acesso em: 10/07/2007.
[71] PIERCE, Benjamin. Unison file synchronizer tool. Unison. Disponível em: <http://www.cis.upenn.edu/~bcpierce/unison/ >. Acesso em: 10/07/2007.
[72] SILICON GRAPHICS, Inc. FAM project. SGI. Disponível em: <http://oss.sgi.com/projects/fam/ >. Acesso em: 10/07/2007.
[73] LEWIS, J. P. Xfiles file tree synchronization and cross-validation. Xfiles. Disponível em: <http://www.idiom.com/~zilla/xfiles.html >. Acesso em: 10/07/2007.
[74] ZANDT, James Van. mirrordir. Debian Packages. Disponível em: <http://packages.debian.org/stable/utils/mirrordir >. Acesso em: 10/07/2007.
[75] ROSENQUIST, Nathan, CANTRELL, David et al. Rsnapshot. Disponível em: <http://rsnapshot.org/ >. Acesso em 10/07/2007.
[76] ANDERSON, James. Tsync. Tsync Sourceforge site. Disponível em: <http://tsyncd.sourceforge.net/ >. Acesso em: 10/07/2007.
[77] LINBIT Information Technologies, Gmbh. Cluster Synchronization Tool 2, csync2. Csync2 project . Áustria, Viena. Disponível em: <http://oss.linbit.com/csync2/ >. Acesso em: 10/07/2007.
[78] RED HAT, Inc. GNBD Project Page. Cluster Project. Disponível em: <http://sourceware.org/cluster/gnbd/>. Acesso em: 10/07/2007.
[79] iSCSI Target community. iSCSI Enterprise Target Project. EUA. Disponível em: <http://iscsitarget.sourceforge.net/ >. Acesso em: 10/07/2007.
[80] AIZMAN, Alex, YUSUPOV, Dmitry et al. Open-iSCSI initiator project. Open-iSCSI. Disponível em: <http://www.open-iscsi.org >. Acesso em: 10/07/2007.
[81] MACHADO, André Felipe. Red Hat cluster suite in Debian GNU / Linux 4.0 Etch. Linux Blog. Brasil. Disponível em: <http://www.techforce.com.br/index.php/news/linux_blog/red_hat_cluster_suite_debian_etch >. Acesso em: 10/07/2007.
[82] ORACLE, Corp. Oracle Data Guard. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/DataGuardOverview.html>. Acesso em: 10/07/2007.
[83] ORACLE, Corp. Oracle Recovery Manager, RMAN. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/rman_overview.htm>. Acesso em: 10/07/2007.
[84] BAKBONE Software, Inc. NetVault Replicator. Bakbone. EUA, Califórnia, San Diego. Disponível em: <http://www.bakbone.com/product.aspx?id=1374 >. Acesso em: 10/07/2007.
[85] RED HAT, Inc. 2.2. Fencing GNBD Server Nodes. Using GNBD with GFS for RHEL5. Disponível em: <http://www.redhat.com/docs/manuals/enterprise/RHEL-5-manual/Global_Network_Block_Device/s1-gnbd-mp-sn.html >. Acesso em: 10/07/2007.
[86] RED HAT, Inc. Red Documentation and Manuals. Red Hat. Disponível em: <http://www.redhat.com/docs/manuals>. Acesso em: 10/07/2007.