Palestra Debian GNU/Linux kernel tuning para cargas extremas de I/O de disco e rede para SGBD e e-mail

-
Cargas de escritas síncronas aleatórias extremas de I/O de rede e discos, para arquivos pequenos e curtas requisições de rede em ambientes corporativos estão presentes em servidores de e-mail e banco de dados. Apresentaremos lições aprendidas de Debian GNU/Linux kernel tuning já implantadas em produção em escala governamental, sobre hardware e data storage servers classe high-end.
Ambientes corporativos em escala governamental ou enterprise utilizam servidores, rede, data storage servers conectados por fibra ótica que se comportam diferentemente de servidores menores e ainda mais quando submetidos a cargas extremas de I/O por servidores de e-mail e bancos de dados.
Tais serviços demandam escritas aleatórias síncronas de arquivos pequenos em grande volume e simultâneas, o pior cenário para toda cadeia de hardware e software.
Numa proporção escrita/leitura que pode chegar 95%. O que nunca é descrito em benchmarks publicados nem em revistas e muito menos por empresas.
Apresentaremos dicas de escolha de hardware que não estão em folhetos nem conversa de vendedor, e técnicas de análise, tuning e benchmark próprios para tal cenário.
Tais tunings já estão implantados em ambiente de produção sob cargas de escala governamental há mais de 1 ano com excelentes resultados.

Gravação e arquivo PDF disponíveis
A gravação do vídeo da palestra já está disponível aqui.
e o arquivo PDF da palestra está aqui.
Outras palestras sobre software livre gravadas estão disponíveis aqui.


Comentários

Postar um comentário

Postagens mais visitadas deste blog

Tutorial Cyrus IMAP aggregator (murder) 2.3.16 sobre Debian GNU Linux 5.x Lenny

-
Este tutorial completo mostrará como montar um LABORATÓRIO de infra-estrutura de e-mail bastante escalável, para centenas de milhares de contas. O que é Cyrus IMAP (Murder) Aggregator. Cyrus IMAP Aggregator (Murder) é um sistema de alto desempenho análogo a um cluster de servidores de e-mail. Extremamente escalável (para centenas de milhares de contas), permite recursos como compartilhamento de caixas postais entre servidores backend diferentes, mover caixas postais entre servidores, e adicionar novos servidores para aumento de capacidade em diferentes níveis de serviço, se for o caso. Curiosidade: Murder é coletivo de corvo, em idioma inglês. Agradecimentos a Lucas Zinato Carraro por apresentar o Cyrus Murder Aggregator. Objetivos deste tutorial Educacionais. Não haverá tuning de recursos computacionais nem preocupações com segurança, para evitar demasiada complexidade e aumento de variáveis. Cada ambiente de hardware e software, bem como cenários e perfis de ...
Leia mais

Instalar Squid forward proxy com SSL cache (SSL bump) em Rocky Linux 8.9 para cache de pacotes na infrestrutura

-
Imagem
    Objetivos: O objetivo é acelerar a instalação de pacotes de atualização de sistema operacional e outros arquivos numa infraestrutura com várias máquinas virtuais / virtual machines. É um acesso da infraestrutura interna para a internet aberta, até os repositórios de pacotes, com conexões SSL. Por isso o nome forward proxy. Note a diferença para um reverse proxy que, por exemplo, acelera a entrega de conteúdo de um servidor web para a internet pública. Utilizaremos Squid proxy, que é naturalmente um forward proxy. O Nginx é naturalmente um reverse proxy. Somente com uso de patch consegue fazer forward proxy, com protocolo HTTP CONNECT. E não conseguimos fazer cache de conteúdo https nele, nem com certificado auto-assinado, para descriptografar, armazenar, criptografar novamente. Usaremos a ferramenta mais adequada para a necessidade, neste caso, o Squid. Geralmente, os forward proxies apenas estabelecem a conexão SSL usando HTTP CONNECT, que cria um túnel entre o cliente lo...
Leia mais

How to configure multipath for high availability and performance on Debian and CentOS for storage at IBM DS8300 SAN

-
This detailed how to guides to achieve high availability and performance on Debian and CentOS for accessing storage space at IBM DS8300 Data Storage Systems. Tested on Debian GNU/Linux 5.x Lenny 64 bits and CentOS 5.3 64 bits running on 8 cores blades, with Host Bus Adapters Qlogic and Emulex Light Pulse Fiber Channel in deployed systems at SERPRO. Observations showed that Debian Lenny had the best performance, for our app load profile and hardware at that date in 2010.     Also, there are listed a number of previously not clearly documented critical pitfalls to avoid. STUDY whole articles, hints, implications, and cited resources before planning your deployment. Every detail matters . Before start, you  must  have LUNs at IBM DS8300 storage configured for high availability and performance as explained at the article  How to configure maximum performance storage space for Debian GNU/Linux on IBM DS 8300 Data Storage Systems ....
Leia mais