IA Local

AI - Configurando Firecrawl no Dify para criar uma Fonte de Dados

Paloma Macetko 07 Set 2024

Olá meus Unicórnios! 🦄✨

Você se lembra que aprendemos a instalar o Firecrawl para transformar sites em um fomato que possa ser lido por modelos de AI?

Agora iremos utilizar o Firecrawl para criar uma fonte de dados, que iremos utilizar em um Robô que ira responder perguntas sobre o conteúdo de um site determinado.

Se você não esta acompanhando esta saga, leia os artigos abaixo antes de continuar este artigo:

AI - Instalando KIT de Modelos para diferentes funçõesDescubra como instalar e utilizar o LocalAI, uma poderosa ferramenta com modelos variados para conversação, texto para áudio, áudio para texto e geração de imagens. Aprenda a configurar via Docker e a gerenciar modelos através da API de maneira fácil e eficiente.blog.palomamacetko.com.br AI - Configurando LocalAI no DifyAprenda a integrar o LocalAI ao Dify para criar bots eficientes. Este guia passo a passo inclui configurar modelos de conversação e embeddings no Dify e testar a integração. Facilite a criação de bots com a integração do Dify e LocalAI.blog.palomamacetko.com.br AI - Configurando Crawler Offline para transformar sites em dados prontos para modelos de AITransforme o conteúdo do seu site em textos amigáveis para IA usando o Firecrawl. Nosso tutorial ensina a instalar e configurar o Firecrawl em um servidor.blog.palomamacetko.com.br

Configurando o Firecrawl no Dify

Dentro do Dify, clique no seu usuário, e depois em "Configurações":

Clique em "Fonte de dados":

Clique em "Configure" na fonte de dados "Website With Firecrawl":

Será aberto a janela de configuração de conexão, nela preencha com os dados abaixo:

API Key: XXXXXX
Base URL: http://192.168.20.115:3002

A janela deve ficar semelhante ao Printscreen abaixo:

Após as configurações, clique em "Salvar":

Em caso de sucesso, será exibido a mensagem abaixo e a janela de configuração será fechada:

O Firecrawl será exibido como "Active":

Criando Fonte de Dados

Clique em "Conhecimento":

Clique em "Criar Conhecimento":

Na janela aberto iremos configurar a fonte de dados.

Clique em "Sincronizar de site":

Nos campos do "Firecrawl" iremos configurar como o Crawler deve agir.

Para este teste, iremos fazer um Crawler neste Blog, restringindo a 5 máxima, e profundidade máxima de 1 link (Isto ira fazer extrair apenas os links presentes na página principal):