Introdução
Hoje
em dia, DBAs Oracle e arquitetos de data
warehouse se deparam com o crescente volume
de armazenamento de dados e gargalos de
processamento. Compromissos como o acordo
de nível de serviço (SLA)
e tentativa de redução de
janelas de processamento exigem soluções
de ETL e de reorganização
de bancos de dados que permitem alta performance
de processamento e disponibilidade de banco
de dados.
Os líderes
desta área já utilizam o mais
popular e poderoso programa de controle
de Sort, o SortCL da CoSORT, que transforma
enormes volumes de tabelas em um único
passo, além de fazer um pré-sort
dos dados para rapidamente carregá-los
de volta a base.
Tais
volumes de dados são mais eficientes
se "arranjados" em arquivos flat,
o que recomenda experts de data warehouse,
como o Dr. Ralph Kimball. Isto acontece
porque os mais rápidos processos
de sort, join, convert, aggregation, report
e reload ocorrem em arquivos flat. Os dados
que estão armazenados em formatos
proprietários e estruturados como
sistemas DBMS/ETL são otimizados
apenas para queries, não para transformações
e cargas.
|
| Benchmarks |
| Extração
Oracle - Timings |
| |
|
Número
de Linhas |
| Ferramenta |
Operação |
10M |
30M |
50m |
| Comp. |
Paralela |
0:09:14 |
0:24:37 |
0:39:51 |
| |
Paralela WHERE |
0:01:15 |
0:03:08 |
0:05:38 |
| |
Sem Paralela |
0:24:18 |
1:13:33 |
2:02:43 |
| . |
| FACT |
Paralela |
0:07:33 |
0:22:38 |
0:37:41 |
| |
Paralela WHERE |
0:00:04 |
0:00:16 |
0:00:16 |
| |
Sem Paralela |
0:08:38 |
0:30:03 |
0:48:42 |
| . |
| Platforma
: |
HP RP7400
|
| -
|
PA-RISC |
| -
|
4CPU |
| -
|
4GB Memória
Principal ( HBA : A5158A(1GB) * |
| O/S:
|
HP-UX 11.11 – PA-RISC
32/64 Modo Compatível(DA1.1) |
| Banco
de Dados : |
Oracle 8i (8.1.6) |
| Armazenamento
: |
EMC Symm8830 |
| -
|
Cache: 24GB |
| -
|
Disk: 73GB * 256EA |
| -
|
FA: FCD42G * 4EA |
| -
|
9G Hyper * 128EA |
|
- |
RAID-1 (Mirroring) |
|
Pelas
realidades citadas acima e pela importância
da velocidade no processamento, usuários
de altos volumes de dados Oracle podem agora migrar
para uma outra solução de alta performance
da CoSORT – o FACT - para rapidamente extrair
grandes e específicas tabelas de dados
em formatos de arquivos flat portáveis.
O
FACT também pode trabalhar em conjunto
com o programa SortCL (transformação)
- via criação de metadados - e com
Oracle SQL*Loader (carga), consolidando assim
todos o processo de ETL em data warehouse através
de uma operação realizada em único
passo !
Descrição
FAst
extraCT (FACT) da CoSORT para Oracle é
a forma mais rápida para :
-
realizar extrações em massa
-
gerar arquivos de dados formatados diferentemente
da tabela de origem
-
criar metadados para transformações
de dados em SortCL da CoSORT e/ou cargas em
massa via SQL*Loader
O
FACT produz arquivos de definição
de dados SortCL (.ddf) e arquivos de controle
do SQL*Loader durante a extração.
Com o FACT, usuários Oracle extraem tabelas
com o comando fact ini_file onde ini_file é
um arquivo texto muito simples de usar que especifica
: detalhes da tabela, método de extração
e formatos dos arquivo origem e destino (arquivo
ou pipe). Cada simples instrução
FACT pode ser chamada a partir da linha de comando,
de dentro de um script batch ou de uma outra aplicação
qualquer.
Operações
ETL integradas
Com
o FACT, arquitetos de data warehouse podem opcionalmente
executar, em um único passo e de forma
muito rápida, processos de reorganização
de dados Oracle ou ETL apenas combinando o arquivo
de definições (.ini) com um arquivo
de especificação de trabalho SortCL
(.scl), que faz referência ao arquivo .ddf
criado pelo FaCT durante a extração,
e também com o processo de recarga - SQL*Loader
- que utiliza o arquivo de controle metadados.
Considere este modelo de comando :
fact
ini_file | sortcl /spec=transform.scl
/spec=fact.ddf | sqlldr
control=fact.ctl direct=true
|
A
instrução de linha de comando acima
inicia uma extração rápida,
direcionando o resultado para o programa SortCL
que simultaneamente irá filtrar, classificar
e reformatar os dados (transform.scl). Por sua
vez, a saída do CoSORT/SortCL é
direcionada de forma indexada para o SQL*Loader.
Nenhuma outra solução ETL se aproxima
deste nível de performance de processamento
paralelo, versatilidade e fácil utilização.
Clique
aqui para visualizar uma ilustração
esquematizada.
Clique
aqui para mais detalhes do FACT.
Clique aqui para mais detalhes
do CoSORT.
Clique aqui para mais
detalhes do Oracle ETL.
Plataformas
Disponíveis
Atualmente,
o FACT está disponível para AIX,
HP-UX (PA-RISC e Itanium), Linux (x86 e IBM zSeries),
Solaris (somente SPARC), e UNIX Tru64. O CoSORT
e o programa SortCL para transformação
de dados também estão disponíveis
para estas plataformas, além de muitas
outras, caso opte por processar os dados que forem
extraídos pelo FACT em uma outra plataforma.
Clique aqui para uma lista completa das plataformas
suportadas pelo CoSORT.
Licenças
e Suporte
As
taxas de licenças do FACT são calculadas
uma única vez para uso perpétuo,
e dependem da configuração da plataforma
ou combinação CoSORT que melhor
se encaixe nos ambientes de licença. O
FACT pode ser adquirido sozinho, ou junto com
o pacote CoSORT. A taxa de manutenção
anual do FACT, que é uma cobertura opcional
para suporte técnico e atualização
de software, custa 20% do valor da licença
base, ou 15% com uma licença CoSORT na
mesma plataforma.
Clique
aqui para mais detalhes do produto.
Clique aqui para solicitar
outras informações e demonstração
gratuita.
|
