Varias pessoas me abordam perguntando qual o melhor file system a usar na particao onde os chunk serao salvos em ambiente UNIX .
Normalmente minha resposta varia muito a algumas variaveis do ambiente mas de forma geral sempre recomendo algo que nao faca JOURLING que tenho a certeza que e muito mais rapido.
Precisei fazer alguns testes para apresentar para um cliente com evidencias para justificar alguns parametros propostos em um projeto entao acabei fazendo uma coleta bem interessante.
Arquitetura utilizada para testes:
Hardware: IBM 3650 M3 (RAM 40GB, Processador: 16 Nucleops 2 socktesXEN , Discos: Local 2 Discos 15k 146GB -- so S.O e Binarios instalados chunk em storage)
Storage IBM DS 3425 SAS com 3 discos 300GB 10 k 6GB
Software: IBM INFORMIX GROW 11.7 FC1TL (Informix configurado com 4 GB Residente e 4 GB Share memory , utilizando Direct_IO , KAIO)
SUSE LINUX 11 (Atualizado)
Drive Rdac (ultima versao)
Configuraçao Storage: Physical - 4 discos 300GB SAS
LOGICAL - RAID 5 - 836GB
Testes utilizando dbimport (Logical log e Physical log em conjunto com o rootdbs)
- RAID 5 - 100GB - Ext2 - Paginas dos chunk dados 4k
Database importada 1GB - Tempo: 7minutos e 58 segundos
- RAID 5 - 100GB - Ext3 - Paginas dos chunk dados 4k
Database importada 1GB - Tempo: 20minutos e 6 segundos
- RAID 5 - 100GB - Reiserfs - Paginas dos chunk dados 4k
Database importada 1GB - Tempo: 20minutos e 56 segundos
- RAID 5 - 100GB - XFS - Paginas dos chunk dados 4k
Database importada 1GB - Tempo: 19minutos e 16 segundos
Como meu intuito é fazer amostragem então trabalhei uma database que tem 90G sendo 40% de index para mostrar a agilidade de importação com EXT2
Testes com database maiores, usando dbimport
- RAID5 - 200GB - EXT2 - Paginas dos chunk dados e Index 4K (physical log (2GB) e logical log (2 dbspace de logical log) e rootdbs em paginas de 2K )
Database importada 90GB - Tempo: 256minutos e 53 segundos (Cerca de 4 horas 12 minutos )
*** Mesmos testes em EXT3 tivemos cerca de 600 Minutos de tempo total
Efetuei uma restauracão da instancia que recebeu a database acima importada por ontape
- Instancia restaurada em EXT2 - (56 Minutos de restauração)
18 chunk de 4K de 5GB
2 Chunk de logical log de 1 GB cada em paginas de 2K
1 Chunk de Physical log de 2 GB em paginas de 2K
1 Rootdbs de 200 MB em pagina de 2K
Conclusão:
Como conclusão posso dizer que o File System em EXT2 entre os testados foi o mais rápido chegando a ser 3 vezes mais rápido , sem nenhuma duvida isso faz grande diferença no banco de dados .... (no meus testes fiz com uma baixa plataforma com hardware mais eficientes pode abaixar estes tempos e com hardware inferiores pode elevar mas a proporcionalidade se mantém...
Existem sistemas de arquivos que permitem desativar o JOURLING tornando mais rápido.
A explicação para essa diferença é que quando é feito com JOURLING tem mais custos para gravação pois escreve além dos dados os log de tudo que esta sendo escrito, para o banco de dados essas informações de LOG não tem nenhuma necessidade.
