O que são serviços de dados SAP?
O SAP Data services é uma ferramenta ETL que oferece uma solução única de nível empresarial para integração de dados, transformação, qualidade de dados, criação de perfis de dados e processamento de dados de texto da fonte heterogênea em um banco de dados de destino ou data warehouse.
Podemos criar aplicativos (trabalho) nos quais o mapeamento e a transformação de dados podem ser feitos usando o Designer. (A versão mais recente do SAP BODS é 4.2).
Características dos serviços de dados
- Ele fornece transformações paralelas de alto desempenho.
- Possui ferramentas administrativas abrangentes e ferramenta de relatórios.
- Suporta multiusuários.
- SAP BODS é muito flexível com aplicativos baseados em serviços da web.
- Ele permite a linguagem de script com ricos conjuntos de funções.
- O Data Services pode ser integrado ao SAP LT Replication Server (SLT), com o
Tecnologia baseada em gatilhos. SLT adiciona recursos delta a todas as tabelas de origem SAP ou não SAP
O que permite o uso de captura de dados para mudança e transferência de dados delta de
a tabela de origem.
- Validação de dados com dashboards e auditoria de processos.
- Ferramenta de administração com recursos de agendamento e monitoramento / painéis.
- Depuração e criação de perfis e visualização de dados.
- SAP BODS suporta ampla origem e destino.
- Quaisquer aplicativos (por exemplo, SAP).
- Qualquer banco de dados com carregamento em massa e captura de dados de alterações
- Arquivos: largura fixa, delimitados por vírgulas, COBOL, XML, Excel.
Componente de serviços de dados
Os serviços SAP DATA têm o componente abaixo -
- Designer- É uma ferramenta de desenvolvimento pela qual podemos criar, testar e executar um trabalho que preenche um data warehouse.
Ele permite que o desenvolvedor crie objetos e os configure selecionando um ícone em um diagrama de fluxo de origem para destino.
Ele pode ser usado para criar um aplicativo especificando fluxos de trabalho e fluxos de dados.
Para abrir o Data Service Designer, vá para o menu Iniciar -> Todos os programas -> SAP Data Services (4.2 aqui) -> Data Service Designer.
- Job Server- É um aplicativo que inicia o motor de processamento de serviços de dados e serve como interface para o motor e o Conjunto de Serviços de Dados.
- O motor Engine- Data Service executa trabalhos individuais que são definidos no aplicativo.
- Repositório - o repositório é um banco de dados que armazena objetos predefinidos do designer e objetos definidos pelo usuário (metadados de origem e destino, regras de transformação).
O repositório é de dois tipos -
- Repositório local (usado pelo Designer e pelo Job Server).
- Repositório central (usado para compartilhamento de objetos e controle de versão)
- Acesso Server- servidor de Acesso passa mensagens entre aplicações web, servidor de trabalho serviços de dados e motores.
- Administrador- O administrador da Web fornece administração baseada em navegador de detalhes de recursos de serviços de dados conforme abaixo -
- Configurando, iniciando e interrompendo serviços em tempo real.
- Agendamento, monitoramento e execução de jobs batch.
- Configurando o uso do Job Server, Access Server e Repository.
- Gerenciando usuários.
- Publicação de trabalhos em lote e serviços em tempo real por meio de serviços da Web
- Configurando e gerenciando adaptadores.
Arquitetura de serviços de dados -
A arquitetura de serviços de dados tem o seguinte componente-
- Repositório central - é usado para configurações de repositórios para servidores de trabalhos, gerenciamento de segurança, controle de versão e compartilhamento de objetos
- Designer - usado para criar projeto, trabalho, fluxo de trabalho, fluxo de dados e execução.
- Repositório local (aqui você pode criar mudanças e iniciar trabalhos, fluxo de trabalho, fluxo de dados).
- Servidor e mecanismo de trabalho - Gerencia os trabalhos.
- Servidor de acesso - é usado para executar as tarefas em tempo real criadas pelos desenvolvedores nos repositórios.
Na imagem abaixo, os serviços de dados e o relacionamento de seus componentes são mostrados.
Arquitetura SAP BODS
Detalhe da janela do designer: primeiro, examinamos o primeiro componente do serviço de dados SAP - Designer
O detalhe de cada seção do designer de serviço de dados é como abaixo-
- Barra de ferramentas (usada para abrir, salvar, voltar, validar, executar, etc.).
- Project Area (contém o projeto atual, que inclui Job, Workflow e Dataflow. Em Data Services, todas as entidades são objetos.
- Espaço de trabalho (a área da janela do aplicativo na qual definimos, exibimos e modificamos objetos).
- Biblioteca de objetos locais (contém objetos de repositório local, como transformações, trabalho, fluxo de trabalho, fluxo de dados, etc.).
- Paleta de ferramentas (os botões na paleta de ferramentas permitem adicionar novos objetos à área de trabalho).
Hierarquia de Objetos
O diagrama a seguir mostra relacionamentos hierárquicos para os principais tipos de objetos nos Data Services.
>
Observação:
Fluxos de trabalho e condicionais * são opcionais
Os objetos usados nos detalhes do SAP Data Services são os seguintes -
| Objetos | Descrição |
| Projeto | Um projeto é um objeto de nível mais alto na janela Designer. Os projetos fornecem uma maneira de organizar os outros objetos criados no Data Services. Apenas um projeto é aberto por vez (onde "aberto" significa "visível na área do projeto"). |
| Trabalho | Um "trabalho" é a menor unidade de trabalho que você pode programar para execução independente. |
| Scripts | Um subconjunto de linhas em um procedimento. |
| Fluxo de Trabalho | Um "fluxo de trabalho" é a incorporação de vários fluxos de dados em um fluxo de trabalho coerente para um trabalho inteiro. O fluxo de trabalho é opcional. O fluxo de trabalho é um procedimento.
|
| Dataflow | Um "fluxo de dados" é o processo pelo qual os dados de origem são transformados em dados de destino. Um fluxo de dados é um objeto reutilizável. É sempre chamado a partir de um fluxo de trabalho ou trabalho.
|
| Banco de dados | Canal lógico que conecta Data Services aos bancos de dados de origem e destino do Datastore.
|
| Alvo | Tabela ou arquivo no qual o Data Services carrega dados da fonte. |
Exemplo de serviços de dados por carregamento de dados da tabela de origem SAP
Tudo em serviços de dados é um objeto. Precisamos separar o armazenamento de dados para cada banco de dados de origem e destino.
Etapas para carregar dados da tabela de origem SAP - SAP BODS tem muitas etapas, nas quais precisamos criar um armazenamento de dados para origem e destino e mapear para eles.
- Criar armazenamento de dados entre fonte e BODS
- Importe os metadados (estruturas) para o BODS.
- Configurar Servidor de Importação
- Importe os metadados para o sistema HANA.
- Crie armazenamento de dados entre BODS para HANA.
- Criar projeto.
- Criar trabalho (lote / tempo real)
- Criar Fluxo de Trabalho
- Criar fluxo de dados
- Adicionar objeto no Dataflow
- Execute o trabalho
- Verifique a visualização de dados no HANA
Etapa 1) Criar armazenamento de dados entre fonte SAP e BODS
- Para carregar dados da fonte SAP para SAP HANA por meio do SAP BODS, precisamos de um armazenamento de dados. Portanto, criamos um armazenamento de dados primeiro, conforme mostrado abaixo -
Projeto -> Novo -> Armazenamento de Dados
- Um pop-up para Criar novo armazenamento de dados aparecerá, insira os detalhes como abaixo -
- Insira o nome do armazenamento de dados "ds_ecc".
- Selecione o nome do tipo de armazenamento de dados como "Aplicativos SAP".
- Insira o nome do servidor de banco de dados
- Usuário e senha.
- Clique no botão "Aplicar".
- Clique no botão "OK".
- O armazenamento de dados será criado e exibirá o armazenamento de dados criado conforme abaixo-
- Vá para a Biblioteca de Objetos Local
- Selecione a guia DataStore.
- O armazenamento de dados "ds_ecc" será exibido.
Etapa 2) Importar metadados (estrutura) para o servidor BODS.
Criamos um armazenamento de dados para ECC para BODS; agora importamos metadados do ECC para o BODS. Para importar, siga as etapas abaixo -
- Selecione Datastore "ds_ecc" e clique com o botão direito.
- Selecione a opção Importar por nome.
Um pop-up para Importar por nome será exibido. Insira os detalhes abaixo -
- Selecione Tipo como uma tabela.
- Digite o nome da tabela, que deseja importar. Aqui estamos importando a tabela KNA1.
- Clique no botão "Importar". A tabela KNA1 aparecerá no nó da tabela da fonte de dados "ds_ecc".
Os metadados da tabela serão importados, no datastore ds_ecc conforme abaixo -
Etapa 3) Configurar o servidor de importação
Até agora, importamos a tabela para os dados armazenados "ds_ecc" criados para conexão ECC para SAP BODS. Para importar dados para SAP HANA, precisamos configurar o servidor de importação,
- Para fazer isso, vá para Quick View-> Configure Import Server como abaixo -
- Um pop-up para Selecionar Sistema aparecerá, Selecione SAP HANA (HDB aqui) Sistema como abaixo-
- Clique no botão "Avançar". Outra pop-up para credencial de serviço de dados aparecerá, insira os seguintes detalhes
- Endereço do servidor SAP BODS (aqui BODS: 6400)
- Digite o nome do repositório SAP BODS (nome do repositório HANAUSER)
- Insira a fonte de dados ODBC (ZTDS_DS).
- Insira a porta padrão para o servidor SAP BODS (8080).
Clique no botão "Concluir".
Etapa 4) Importar os metadados para o sistema HANA
1. Até agora temos o servidor de importação configurado, agora vamos importar metadados do servidor SAP BODS.
- Clique na opção Importar em Visualização rápida.
- Um pop-up para a opção de importação será exibido. Selecione a opção "Importação seletiva de metadados".
Clique no botão "Avançar".
2. Um pop-up para "Importação seletiva de metadados" será exibido, no qual selecionamos o sistema de destino.
- Selecione o sistema SAP HANA (HDB aqui).
Clique no botão "Avançar".
Etapa 5) Criar armazenamento de dados entre BODS e HANA
Como sabemos, no BODS, precisamos criar um armazenamento de dados separado para origem e destino. Já criamos um armazenamento de dados para a fonte, agora precisamos criar um armazenamento de dados para o destino (entre BODS e HANA). Então, criamos um novo armazenamento de dados com o nome "DS_BODS_HANA".
- Vá para Projeto -> Novo -> Armazenamento de dados.
- Uma tela para Criar novo Datastore aparecerá como abaixo.
- Insira o nome do Datastore (DS_BODS_HANA).
- Insira o tipo de Datastore como Banco de dados.
- Insira o tipo de banco de dados como SAP HANA.
- Selecione a versão do banco de dados.
- Insira o nome do servidor de banco de dados SAP HANA.
- Insira o nome da porta para o banco de dados SAP HANA.
- Digite o nome de usuário e a senha.
- Marque "Ativar transferência automática de dados".
Clique em "Aplicar" e depois no botão "OK".
O armazenamento de dados "DS_BODS_HANA" será exibido na guia do armazenamento de dados da Biblioteca de objetos locais como
Abaixo de-
- Agora importamos a tabela no armazenamento de dados "DS_BODS_HANA".
- Selecione o armazenamento de dados "DS_BODS_HANA" e clique com o botão direito.
- Selecione Importar por nome.
- Um pop-up para Importar por Nome aparecerá como mostrado abaixo-
- Selecione o tipo como tabela.
- Digite o nome como KNA1.
- O proprietário será exibido como Hanauser.
- Clique no botão Importar.
A tabela será importada no armazenamento de dados "DS_BOD_HANA", para visualizar os dados na tabela siga as etapas abaixo -
- Clique na tabela "KNA1" no armazenamento de dados "DS_BODS_HANA".
- Os dados serão exibidos no formato TABULAR.
Etapa 6) Definir projeto: agrupar projetos e organizar objetos relacionados. O projeto pode conter qualquer número de trabalhos, fluxo de trabalho e fluxo de dados.
- Vá para o menu Projeto do Designer.
- Selecione uma nova opção.
- Selecione a opção Projeto.
Um POP-UP para a criação de novos projetos é exibido abaixo. Digite o nome do projeto e clique no botão Criar. Ele criará uma pasta de projeto em nosso caso BODS_DHK.
Etapa 7) Definir Trabalho: Um Trabalho é um objeto reutilizável. Ele contém fluxos de trabalho e fluxo de dados. Os trabalhos podem ser executados manualmente ou como um agendamento. Para executar o processo BODS, precisamos definir o trabalho.
Criamos um Job como JOB_Customer.
- Selecione o projeto (BODS_DHK) criado na etapa 1, clique com o botão direito e selecione "Novo trabalho em lote".
- Renomeie-o para "JOB_Customer".
Etapa 8) Definir o fluxo de trabalho:
- Selecione Job "JOB_Customer" na área do projeto,
- Clique no botão do fluxo de trabalho na paleta de ferramentas. Clique na área Black Workspace. Um ícone de fluxo de trabalho aparecerá na área de trabalho.
- Altere o nome do fluxo de trabalho como "WF_Customer".
Clique no nome do fluxo de trabalho, uma exibição vazia para o fluxo de trabalho aparece na área de trabalho.
Etapa 9) Definir fluxo de dados:
- Clique em Fluxo de Trabalho "WF_Customer".
- Clique no botão Dataflow na paleta de ferramentas. Clique na área Black Workspace. Um ícone do Dataflow aparecerá no espaço de trabalho.
- Altere o nome do Dataflow como "DF_Customer".
- O Dataflow também aparece na área do projeto à esquerda, sob o nome do trabalho.
Etapa 10) Adicionar objeto no Dataflow:
Dentro do fluxo de dados, podemos fornecer instruções para transformar os dados de origem na forma desejada para a tabela de destino.
Veremos abaixo o objeto -
- Um objeto para a fonte.
- Um objeto para a tabela de destino.
- Um objeto para a transformação Query. (A transformação de consulta mapeia as colunas da origem ao destino.)
Clique no fluxo de dados DF_Customer. Um espaço de trabalho em branco aparecerá como abaixo -
- Especifique o objeto da fonte - vá para o armazenamento de dados "ds_ecc" e selecione a tabela KNA1 e arraste e solte para a tela em branco do fluxo de dados como a tela abaixo-
- Especifique o objeto para Alvo - Selecione o armazenamento de dados "DS_BODS_HANA" do repositório e selecione a tabela KNA1.
- Arraste e solte na área de trabalho e selecione a opção "Criar destino". Haverá duas tabelas para origem e destino. Aqui definiremos a tabela como origem e destino.
- Transformação de consulta - esta é uma ferramenta usada para recuperar dados com base no esquema de entrada para a condição específica do usuário e para transportar dados da origem ao destino.
- Selecione o ícone Query Transform na paleta de ferramentas e arraste e solte-o entre o objeto de origem e de destino na área de trabalho como abaixo -
- Vincular o objeto Consulta à Fonte.
- Vincular objeto de consulta à tabela de destino.
- Clique duas vezes no ícone de consulta. Com isso, mapeamos uma coluna do esquema de entrada para o esquema de saída.
Ao clicar no ícone de consulta, uma próxima janela para mapeamento aparecerá, na qual realizamos os seguintes passos -
- A Tabela de origem KNA1 está selecionada.
- Selecione todas as colunas da tabela de origem e clique com o botão direito e selecione um mapa para gerar.
- Saída de destino selecionada como Consulta e a coluna será mapeada.
5. Salve e valide o projeto.
1. Clique no ícone de validação.
2. Um pop-up de sucesso de validação é exibido.
Etapa 11) Execute Job - Para executar Job, siga o caminho abaixo-
- Selecione o ícone da Área do Projeto para abrir o Projeto e selecione o Projeto criado.
- Selecione Trabalho e clique com o botão direito.
- Selecione a opção Executar para executar o Job.
- Após a execução do trabalho, uma janela Registro do trabalho é exibida, na qual todas as mensagens relacionadas ao trabalho serão exibidas.
- A última mensagem será: Trabalho <> foi concluído com sucesso.
Etapa 12) - Validar / verificar dados no banco de dados SAP HANA.
- Faça login no banco de dados SAP HANA por meio do SAP HANA Studio e selecione o esquema HANAUSER.
- Selecione a tabela KNA1 no nó Tabela.
- Clique com o botão direito na tabela KNA1 e selecione Abrir Visualização de Dados.
- Tabela (KNA1) Dados carregados por processos BODS como acima serão exibidos na tela de visualização de dados.