Skip to content
Tutoriais
LangChain
Get Started with LangChain Document Loaders: A Step-by-Step Guide

Comece com os Carregadores de Documentos da LangChain: Um Guia Passo-a-Passo

Akira Sakamoto
Name
Akira Sakamoto

Published on

Bem-vindo ao mundo dos Carregadores de Documentos da LangChain! Se você está intrigado com os avanços nos modelos de linguagem e está ansioso para explorar novas ferramentas que podem aprimorar suas aplicações, você está no lugar certo. Neste guia abrangente, vamos desvendar os mistérios dos Carregadores de Documentos da LangChain e mostrar como eles podem ser um diferencial em suas aplicações de modelo de linguagem.

O que é a LangChain?

Antes de mergulharmos nos detalhes dos Carregadores de Documentos da LangChain, vamos dar um passo atrás e entender o que é a LangChain. A LangChain é uma aplicação de IA criativa que visa solucionar as limitações de modelos de linguagem como o GPT-3.

A abordagem única da LangChain para estruturar documentos a torna uma escolha preferida tanto para desenvolvedores quanto para pesquisadores. Ela oferece uma suíte de ferramentas que ajudam a estruturar documentos para fácil utilização com aplicações de Modelos de Linguagem (LLMs). Essas ferramentas incluem Carregadores de Documentos, Divisores de Texto, Armazenamentos de Vetores e Recuperadores.

Os Carregadores de Documentos são responsáveis por carregar documentos no sistema da LangChain. Eles lidam com vários tipos de documentos, incluindo PDFs, e os convertem em um formato que pode ser processado pelo sistema da LangChain. Esse processo envolve várias etapas, incluindo ingestão de dados, entendimento de contexto e ajuste fino. Mas afinal, o que são esses Carregadores de Documentos e como eles funcionam? Vamos explicar:

O que são Carregadores de Documentos da LangChain?

Na LangChain, um Documento é uma estrutura simples com dois campos:

  1. page_content (string): Esse campo contém o texto bruto do documento.

  2. metadata (dicionário): Esse campo armazena metadados adicionais sobre o texto, como a URL de origem, autor ou qualquer outra informação relevante.

Por exemplo, vamos considerar um documento de texto chamado "amostra.txt" com o seguinte conteúdo:

Bem-vindo à LangChain! Este é um documento de exemplo para entender os Carregadores de Documentos.

Usando o TextLoader, o conteúdo do arquivo de texto pode ser carregado em um Documento da seguinte forma:

from langchain.document_loaders import TextLoader
 
# Carregar dados de texto de um arquivo usando o TextLoader
loader = TextLoader("./data/amostra.txt")
documento = loader.load()

Após o carregamento, a estrutura do Documento ficaria assim:

{
  "page_content": "Bem-vindo à LangChain! Este é um documento de exemplo para entender os Carregadores de Documentos.",
  "metadata": {}
}

Tipos de Carregadores de Documentos na LangChain

A LangChain oferece três principais tipos de Carregadores de Documentos:

  1. Carregadores de Transformação: Esses carregadores lidam com diferentes formatos de entrada e os transformam no formato de Documento. Por exemplo, considere um arquivo CSV chamado "dados.csv" com colunas para "nome" e "idade". Usando o CSVLoader, você pode carregar os dados CSV em Documentos:
from langchain.document_loaders import CSVLoader
 
# Carregar dados de um arquivo CSV usando o CSVLoader
loader = CSVLoader("./data/dados.csv")
documentos = loader.load()
 
# Acessar o conteúdo e metadados de cada documento
for documento in documentos:
    conteudo = documento.page_content
    metadados = documento.metadata
 
    # Processar o conteúdo e metadados
    # ...
}

Cada linha no arquivo CSV será transformada em um Documento separado com os respectivos valores de "nome" e "idade".

  1. Carregadores de Conjuntos de Dados ou Serviços Públicos: A LangChain fornece carregadores para fontes públicas populares, permitindo a recuperação rápida e criação de Documentos. Por exemplo, o WikipediaLoader pode carregar conteúdo da Wikipedia:
from langchain.document_loaders import WikipediaLoader
 
# Carregar conteúdo da Wikipedia usando o WikipediaLoader
loader = WikipediaLoader("Machine_learning")
documento = loader.load()

O WikipediaLoader recupera o conteúdo da página da Wikipedia especificada ("Machine_learning") e o carrega em um Documento.

  1. Carregadores de Conjuntos de Dados ou Serviços Proprietários: Esses carregadores são projetados para lidar com fontes proprietárias que podem exigir autenticação ou configuração adicional. Por exemplo, um carregador pode ser criado especificamente para carregar dados de um banco de dados interno ou uma API com acesso proprietário.

Ao fornecer diferentes tipos de Carregadores de Documentos, a LangChain permite o carregamento de dados de várias fontes em Documentos padronizados, facilitando a integração perfeita de dados diversos no sistema da LangChain.

Casos de Uso para Carregadores de Documentos da LangChain

Agora que entendemos a teoria por trás dos Carregadores de Documentos da LangChain, vamos colocar a mão na massa com algum código. Nesta seção, vamos guiá-lo por alguns casos de uso que demonstram como usar os Carregadores de Documentos da LangChain em suas aplicações de LLM.

Exemplo 1: Criar Índices com Carregadores de Documentos da LangChain

Vamos ilustrar o papel dos Carregadores de Documentos na criação de índices com exemplos concretos:

Passo 1. Chunking Considere um artigo longo sobre aprendizado de máquina. O Carregador de Documentos divide o artigo em partes menores, como parágrafos ou frases. Cada parte se torna uma unidade de informação que pode ser indexada e processada individualmente. Por exemplo:

Artigo Original:

Introdução ao Aprendizado de Máquina

O aprendizado de máquina é uma subárea da inteligência artificial...

[...]

Documento Chunked:

Chunk 1: Introdução ao Aprendizado de Máquina
Chunk 2: O aprendizado de máquina é uma subárea da inteligência artificial...
[...]

Passo 2. Embeddings O Carregador de Documentos transforma cada parte do documento em um embedding, uma representação numérica de seu significado semântico. Por exemplo:

Parte Original: "O aprendizado de máquina é uma subárea da inteligência artificial..."

Embedding: [0.2, 0.7, -0.5, ...]

Passo 3. Cadeias Os embeddings são organizados em cadeias, que representam sequências de partes relacionadas. As cadeias capturam o fluxo e o contexto dentro do documento. Por exemplo:

Cadeia: [Embedding1, Embedding2, Embedding3, ...]

Etapa 4. Vetores de Memória Vetores de memória são gerados com base nas cadeias e embeddings. Eles fornecem contexto e informações adicionais para modelos de linguagem. Por exemplo:

Vetor de Memória: [0.5, -0.3, 0.1, ...]

Ao criar índices usando Document Loaders, o LangChain oferece os seguintes benefícios:

  1. Acesso Eficiente: Com o índice, modelos de linguagem podem acessar rapidamente partes específicas do documento, permitindo um processamento e análise eficientes.

  2. Compreensão de Contexto: O índice estruturado ajuda os modelos de linguagem a entender o contexto e as relações entre diferentes partes do documento. Eles podem compreender como conceitos se conectam e se referem a informações anteriores.

  3. Melhor Desempenho: Documentos indexados possibilitam uma recuperação e processamento mais rápidos das informações, resultando em um melhor desempenho e menor sobrecarga computacional.

  4. Usabilidade Aprimorada: O índice estruturado fornece uma estrutura bem organizada que desenvolvedores e pesquisadores podem navegar e utilizar facilmente em suas aplicações de modelo de linguagem.

Exemplo 2: Ingestão de Dados com Document Loaders do LangChain

Os Document Loaders do LangChain se destacam na ingestão de dados, permitindo que você carregue documentos de várias fontes para o sistema LangChain. Por exemplo, suponha que você tenha um arquivo de texto chamado "sample.txt" contendo dados de texto. Você pode usar o TextLoader para carregar os dados para o LangChain:

from langchain.document_loaders import TextLoader
 
# Carregar dados de texto de um arquivo usando o TextLoader
loader = TextLoader("./data/sample.txt")
document = loader.load()

Neste exemplo, o TextLoader carrega o conteúdo do arquivo de texto e retorna um objeto Document. Você pode acessar o campo page_content do Document para trabalhar com os dados carregados.

Exemplo 3: Compreensão de Contexto com Document Loaders do LangChain

Document Loaders do LangChain aprimoram a compreensão de contexto analisando documentos e extraindo informações relevantes. Vamos considerar um arquivo CSV chamado "sample.csv" contendo dados em formato tabular. Você pode usar o CSVLoader para carregar e extrair dados do arquivo CSV:

from langchain.document_loaders import CSVLoader
 
# Carregar dados de um arquivo CSV usando o CSVLoader
loader = CSVLoader("./data/sample.csv")
documents = loader.load()
 
# Acessar o conteúdo e metadados de cada documento
for document in documents:
    content = document.page_content
    metadata = document.metadata
 
    # Processar o conteúdo e metadados
    # ...

Neste exemplo, o CSVLoader lê o arquivo CSV e retorna uma lista de objetos Document, cada um representando uma linha do CSV. Você pode acessar os campos page_content e metadata de cada Document para trabalhar com os dados carregados e seus metadados associados.

Exemplo 4: Fine-tuning com Document Loaders do LangChain

Os Document Loaders do LangChain também contribuem para o processo de fine-tuning de modelos de linguagem. Por exemplo, suponha que você tenha um DataFrame do Pandas chamado dataframe contendo dados estruturados. Você pode usar o PandasDataFrameLoader para carregar os dados para o LangChain:

from langchain.document_loaders import PandasDataFrameLoader
 
# Carregar dados de um DataFrame do Pandas usando o PandasDataFrameLoader
loader = PandasDataFrameLoader(dataframe)
documents = loader.load()
 
# Acessar o conteúdo e metadados de cada documento
for document in documents:
    content = document.page_content
    metadata = document.metadata
 
    # Fine-tune o modelo usando o conteúdo e metadados
    # ...

Neste exemplo, o PandasDataFrameLoader recebe o DataFrame como entrada e retorna uma lista de objetos Document. Você pode acessar os campos page_content e metadata de cada Document para realizar o fine-tuning do modelo de linguagem usando os dados carregados.

Esses exemplos demonstram como os Document Loaders do LangChain funcionam na prática. Eles lidam com o carregamento de documentos de diferentes fontes, aprimoram a compreensão de contexto por meio da análise e facilitam o processo de fine-tuning. Ao aproveitar esses loaders, você pode estruturar efetivamente os documentos para LLMs e maximizar o potencial da plataforma LangChain.

Aplicações do Mundo Real para os Document Loaders do LangChain

Vamos analisar alguns casos de uso potenciais do mundo real para os Document Loaders do LangChain.

Construir um Aplicativo ChatGPT para PDFs com o LangChain

Além de carregar e analisar arquivos PDF, o LangChain pode ser utilizado para construir um aplicativo ChatGPT especificamente adaptado para documentos PDF. Ao combinar o carregador de PDF do LangChain com as capacidades do ChatGPT, você pode criar um sistema poderoso que interage com PDFs de várias maneiras. Aqui está um exemplo de como construir um aplicativo ChatGPT para PDFs usando o LangChain:

  • Passo 1: Carregar o PDF usando o PyPDFLoader

    from langchain.document_loaders import PyPDFLoader
 
loader = PyPDFLoader("./pdf_files/SpaceX_NASA_CRS-5_PressKit.pdf")
pages = loader.load_and_split()

  • Passo 2: Inicializar o modelo e o tokenizer do ChatGPT

    from transformers import GPT3Tokenizer, GPT3ChatLM
 
tokenizer = GPT3Tokenizer.from_pretrained("gpt3.5-turbo")
model = GPT3ChatLM.from_pretrained("gpt3.5-turbo")

  • Passo 3: Processar cada página do PDF e gerar respostas

    for page in pages:
    content = page.page_content
 
    response = model.generate(
        content,
        max_length=50,
        num_return_sequences=1,
        temperature=0.7
    )
 
    print(response.choices[0].text)

Com este aplicativo ChatGPT para PDFs, você pode explorar diversas possibilidades, tais como:

  • Gerar resumos, fornecendo uma visão geral concisa do conteúdo do PDF.
  • Responder perguntas, extrair informações dos PDFs com base nas consultas do usuário.
  • Engajando em conversas, permitindo que os usuários interajam com o conteúdo em PDF.

Ao aproveitar o carregador de PDF no LangChain e as capacidades avançadas do GPT-3.5 Turbo, você pode criar aplicativos interativos e inteligentes que funcionam perfeitamente com arquivos em PDF.

Observação: Certifique-se de instalar as bibliotecas e os modelos necessários antes de executar o código.

Construa um aplicativo ChatGPT para Transcrições do YouTube com o LangChain

Além de carregar e analisar arquivos em PDF, o LangChain também pode ser utilizado para construir um aplicativo ChatGPT para análise e resumo de transcrições do YouTube. Ao combinar o carregador do YouTube do LangChain com as capacidades do ChatGPT, você pode criar um sistema poderoso que interage com vídeos do YouTube na forma de transcrições em texto. Aqui está um exemplo de como construir um aplicativo ChatGPT para transcrições do YouTube usando o LangChain:

  • Passo 1: Carregue e Analise a Transcrição do YouTube usando o YoutubeLoader
from langchain.document_loaders import YoutubeLoader
 
# Utilize o YoutubeLoader para carregar e analisar a transcrição de um vídeo do YouTube
loader = YoutubeLoader.from_youtube_url("https://www.youtube.com/watch?v=O5nskjZ_GoI", add_video_info=True)
video = loader.load()
  • Passo 2: Inicialize o modelo e o tokenizador do ChatGPT
from transformers import GPT3Tokenizer, GPT3ChatLM
 
tokenizer = GPT3Tokenizer.from_pretrained("gpt3.5-turbo")
model = GPT3ChatLM.from_pretrained("gpt3.5-turbo")
  • Passo 3: Processar a Transcrição do YouTube e Gerar Respostas
transcript = video.page_content
 
response = model.generate(
    transcript,
    max_length=50,
    num_return_sequences=1,
    temperature=0.7
)
 
print(response.choices[0].text)

Com este aplicativo ChatGPT para transcrições do YouTube, você pode explorar diversas possibilidades, tais como:

  • Analisar o conteúdo do vídeo: Extrair insights importantes, temas ou sentimentos da transcrição de um vídeo do YouTube.
  • Resumir o conteúdo do vídeo: Gerar resumos concisos dos principais pontos ou conclusões do vídeo.
  • Responder perguntas: Responder a consultas dos usuários com base nas informações presentes na transcrição do YouTube.

Ao aproveitar o carregador do YouTube no LangChain e as capacidades avançadas do GPT-3.5 Turbo, você pode criar aplicativos interativos e inteligentes que analisam e interagem com as transcrições de vídeos do YouTube.

Construa um aplicativo ChatGPT para Conteúdo de Websites com o LangChain

Além de carregar arquivos em PDF e transcrições do YouTube, o LangChain também suporta carregar e indexar websites inteiros de forma eficiente usando o carregador de Sitemap. Ao combinar o carregador de Sitemap do LangChain com as capacidades do ChatGPT, você pode criar um aplicativo ChatGPT que interage com o conteúdo de qualquer website. Aqui está um exemplo de como construir um aplicativo ChatGPT para conteúdo de websites usando o LangChain:

  • Passo 1: Carregue e Analise as Páginas do Website usando o SitemapLoader
from langchain.document_loaders.sitemap import SitemapLoader
 
# Utilize o SitemapLoader para carregar e analisar as páginas de um website
loader = SitemapLoader("https://docs.chainstack.com/sitemap.xml")
documents = loader.load()
  • Passo 2: Inicialize o modelo e o tokenizador do ChatGPT
from transformers import GPT3Tokenizer, GPT3ChatLM
 
tokenizer = GPT3Tokenizer.from_pretrained("gpt3.5-turbo")
model = GPT3ChatLM.from_pretrained("gpt3.5-turbo")
  • Passo 3: Processar as Páginas do Website e Gerar Respostas
for document in documents:
    content = document.page_content
    
    response = model.generate(
        content,
        max_length=50,
        num_return_sequences=1,
        temperature=0.7
    )
    
    print(response.choices[0].text)

Com este aplicativo ChatGPT para conteúdo de websites, você pode explorar diversas possibilidades, tais como:

  • Fornecer informações: Obter detalhes específicos, instruções ou explicações das páginas do website.
  • Responder perguntas: Responder a consultas dos usuários com base no conteúdo encontrado no website.
  • Engajar em conversas: Criar interações dinâmicas com os usuários utilizando o conteúdo do website como contexto.

Ao aproveitar o carregador de Sitemap no LangChain e as capacidades avançadas do GPT-3.5 Turbo, você pode criar aplicativos interativos e inteligentes que extraem informações e interagem com o conteúdo de qualquer website.

Conclusão

Em conclusão, os carregadores de documentos do LangChain são componentes vitais da suíte LangChain, oferecendo capacidades poderosas para aplicações de modelos de linguagem. Com os carregadores de documentos, você pode lidar de forma eficiente com a ingestão de dados, aprimorar o entendimento do contexto e otimizar o processo de ajuste fino.

Com as definições, explicações e código de exemplo para os casos de uso que fornecemos acima, você certamente pode começar a aproveitar o LangChain para otimizar o processamento de dados, otimizar o desempenho do modelo e desbloquear novas possibilidades no processamento de linguagem natural.

FAQ

O que é o LangChain?

LangChain é uma ferramenta avançada para trabalhar com modelos de linguagem como GPT. O LangChain simplifica o desenvolvimento e utilização de modelos de linguagem, tornando-os mais acessíveis e eficientes. O LangChain permite que desenvolvedores e pesquisadores criem, otimizem e implementem modelos de linguagem de forma eficaz.

O LangChain é uma linguagem de programação?

Não, o LangChain não é uma linguagem de programação. É uma plataforma que suporta e aprimora aplicações de modelos de linguagem.

O que são os carregadores de documentos do LangChain?

Os carregadores de documentos do LangChain são ferramentas que criam documentos a partir de diversas fontes. Eles permitem que os usuários carreguem dados como documentos de uma fonte configurada.

Comece com os Carregadores de Documentos da LangChain: Um Guia Passo-a-PassoComo Plotar Imagens com Matplotlib em Python