> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-framing-web-ui.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Guia passo a passo para criar seu primeiro ClickPipe do Kafka.

# Criando seu primeiro ClickPipe do Kafka

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

> Neste guia, vamos mostrar a você como criar seu primeiro ClickPipe do Kafka.

Os ClickPipes do Kafka podem ser implantados e gerenciados manualmente pela UI do ClickPipes, bem como programaticamente usando [OpenAPI](/pt-BR/integrations/clickpipes/programmatic-access/openapi) e [Terraform](/pt-BR/integrations/clickpipes/programmatic-access/terraform).

<Steps>
  <Step title="Acesse Data Sources" id="1-load-sql-console">
    Selecione o botão `Data Sources` no menu à esquerda e clique em "Set up a ClickPipe".

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_step0.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=ba15fc600efc3af2c6652b17ab6eae1b" alt="Selecionar importações" size="md" width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.webp" />
  </Step>

  <Step title="Selecione uma fonte de dados" id="2-select-data-source">
    Selecione a fonte de dados do Kafka na lista.

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_step1.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=a0eb436119bcf3855433866783af1ce9" alt="Selecione o tipo de fonte de dados" size="md" width="2600" height="1890" data-path="images/integrations/data-ingestion/clickpipes/cp_step1.webp" />
  </Step>

  <Step title="Configure a fonte de dados" id="3-configure-data-source">
    Preencha o formulário informando um nome para o seu ClickPipe, uma descrição (opcional), suas credenciais e outros detalhes de conexão.

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_step2.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=bea492f09b210d66844589044ca829e3" alt="Preencha os detalhes da conexão" size="md" width="1896" height="1370" data-path="images/integrations/data-ingestion/clickpipes/cp_step2.webp" />
  </Step>

  <Step title="Configure um registro de esquemas (opcional)" id="4-configure-your-schema-registry">
    Um esquema válido é obrigatório para tópicos Avro e Protobuf. Consulte [Registros de esquemas](/pt-BR/integrations/clickpipes/kafka/schema-registries) para mais detalhes sobre como configurar um registro de esquemas.
  </Step>

  <Step title="Configure um endpoint privado reverso (opcional)" id="5-configure-reverse-private-endpoint">
    Configure um endpoint privado reverso para permitir que o ClickPipes se conecte ao seu cluster do Kafka usando o AWS PrivateLink.
    Consulte nossa [documentação do AWS PrivateLink](/pt-BR/integrations/clickpipes/aws-privatelink) para mais informações.
  </Step>

  <Step title="Configure o túnel SSH (opcional)" id="6-configure-ssh-tunneling">
    Você pode usar um túnel SSH se o seu broker Kafka não estiver acessível publicamente. Em vez de se conectar diretamente, o ClickPipes estabelece uma conexão SSH com um host bastion (um servidor na sua rede que é acessível publicamente) e então encaminha o tráfego por ele até o seu broker Kafka na rede privada.

    1. Ative a opção "SSH Tunnel".
    2. Preencha os detalhes da conexão SSH:
       * **SSH Host**: O hostname ou endereço IP do seu host bastion — este é o servidor acessível publicamente que funciona como ponto de entrada para a sua rede privada.
       * **SSH Port**: A porta SSH no host bastion (o padrão é `22`).
       * **SSH User**: O nome de usuário usado para autenticação no host bastion.

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_ssh_tunnel.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=0fef12ec7a29fe9dc859d0f471eb624a" alt="Configuração do túnel SSH" size="md" width="1810" height="1510" data-path="images/integrations/data-ingestion/clickpipes/cp_ssh_tunnel.webp" />

    3. Para usar autenticação baseada em chave, clique em "Revoke and regenerate key pair" para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em `~/.ssh/authorized_keys`.
    4. Clique em "Verify Connection" para verificar a conexão.

    <Note>
      Certifique-se de adicionar os [endereços IP do ClickPipes](/pt-BR/integrations/clickpipes/home#list-of-static-ips) à lista de permissões nas regras de firewall do host SSH bastion, para que o ClickPipes possa estabelecer o túnel SSH.
    </Note>
  </Step>

  <Step title="Selecione seu tópico" id="7-select-your-topic">
    Selecione seu tópico, e a UI exibirá um documento de exemplo desse tópico.

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_step3.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=1a2b5b9ee6d141d5db6209016ac3267a" alt="Selecione seu tópico" size="md" width="2380" height="1956" data-path="images/integrations/data-ingestion/clickpipes/cp_step3.webp" />
  </Step>

  <Step title="Configure sua tabela de destino" id="8-configure-your-destination-table">
    Na próxima etapa, você pode escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente. Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das alterações na tabela de amostra na parte superior.

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_step4a.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=27d44d8b76f706106e3e9dc358a3bd7d" alt="Defina a tabela, o esquema e as configurações" size="md" width="2734" height="1328" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a.webp" />

    Você também pode personalizar as configurações avançadas usando os controles disponíveis

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_table_settings.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=4eb1d12497f984dbc23f32b14a46a182" alt="Defina controles avançados" size="md" width="1592" height="338" data-path="images/integrations/data-ingestion/clickpipes/cp_table_settings.webp" />
  </Step>

  <Step title="Configurar permissões" id="9-configure-permissions">
    O ClickPipes criará um usuário dedicado para gravar dados na tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

    * `Full access`: com acesso total ao cluster. Isso pode ser útil se você usar uma visão materializada ou um Dicionário com a tabela de destino.
    * `Only destination table`: apenas com permissões `INSERT` na tabela de destino.

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_step5.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=83168e2e228a3b640d604270e1c08d6b" alt="Permissões" size="md" width="2736" height="1318" data-path="images/integrations/data-ingestion/clickpipes/cp_step5.webp" />
  </Step>

  <Step title="Configuração completa" id="10-complete-setup">
    Ao clicar em "Create ClickPipe", o ClickPipe será criado e executado. Ele passará a aparecer na seção Data Sources.

    <Image img="https://mintcdn.com/private-7c7dfe99-framing-web-ui/XhC3yDQzCfW7mOaq/images/integrations/data-ingestion/clickpipes/cp_overview.webp?fit=max&auto=format&n=XhC3yDQzCfW7mOaq&q=85&s=006e61016e46343334e64bd61ae19d0b" alt="Ver Overview" size="md" width="3436" height="1076" data-path="images/integrations/data-ingestion/clickpipes/cp_overview.webp" />
  </Step>
</Steps>
