Evaluating Tool-Augmented ReAct Language Agents

Treballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona. Any: 2025. Tutor: Laura Igual Muñoz i Pablo Álvarez

Detalhes bibliográficos
Autor: Eguzkitza Zalakain, Jokin
Tipo de documento: dissertação
Data de publicação:2025
País:España
Recursos:Universidad de Barcelona
Repositório:Dipòsit Digital de la UB
OAI Identifier:oai:diposit.ub.edu:2445/223176
Acesso em linha:https://hdl.handle.net/2445/223176
Access Level:Acceso aberto
Palavra-chave:Tractament del llenguatge natural (Informàtica)
Intel·ligència artificial
Agents intel·ligents (Programari)
Treballs de fi de màster
Natural language processing (Computer science)
Artificial intelligence
Intelligent agents (Computer software)
Master's thesis
id ES_7fb2a8e7bb4087d63014e64cfd487f52
oai_identifier_str oai:diposit.ub.edu:2445/223176
network_acronym_str ES
network_name_str España
repository_id_str
spelling Evaluating Tool-Augmented ReAct Language AgentsEguzkitza Zalakain, JokinTractament del llenguatge natural (Informàtica)Intel·ligència artificialAgents intel·ligents (Programari)Treballs de fi de màsterNatural language processing (Computer science)Artificial intelligenceIntelligent agents (Computer software)Master's thesisTreballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona. Any: 2025. Tutor: Laura Igual Muñoz i Pablo ÁlvarezThis thesis studies how to evaluate ReAct agents that use external tools. ReAct agents are AI Agents that combine reasoning and tool use (functions), allowing large language models to perform tasks that require accessing external sources of information. These agents are becoming more common in real applications, but evaluating their behaviour remains a challenge. Using LangGraph and LangChain three different AI agents are created using locally deployed LLM models served with Ollama. These agents use open-source tools like Wikipedia, Wikidata, Yahoo Finance and PDF readers. To evaluate them, the project combines rule-based checks with RAGAS metrics to measure tool use, answer quality, factual correctness and context use. The results show that prompt design is very important to guide the agent’s behaviour, and that typical question-answer metrics are not always enough to measure how well an agent works. This work offers a simple and practical way to test LLM agents. All the corresponding code notebook can be found on the following repository, https://github.com/Jokinn9/Evaluating-Tool-Augmented-ReAct-Language-AgentsIgual Muñoz, Laura2025info:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/2445/223176Màster Oficial - Fonaments de la Ciència de Dadesreponame:Dipòsit Digital de la UBinstname:Universidad de BarcelonaIngléscc-by-nc-nd (c) Jokin Eguzkitza Zalakain, 2025codi: GPL (c) Jokin Eguzkitza Zalakain, 2025http://creativecommons.org/licenses/by-nc-nd/3.0/es/http://www.gnu.org/licenses/gpl-3.0.ca.htmlinfo:eu-repo/semantics/openAccessoai:diposit.ub.edu:2445/2231762026-05-27T06:46:51Z
dc.title.none.fl_str_mv Evaluating Tool-Augmented ReAct Language Agents
title Evaluating Tool-Augmented ReAct Language Agents
spellingShingle Evaluating Tool-Augmented ReAct Language Agents
Eguzkitza Zalakain, Jokin
Tractament del llenguatge natural (Informàtica)
Intel·ligència artificial
Agents intel·ligents (Programari)
Treballs de fi de màster
Natural language processing (Computer science)
Artificial intelligence
Intelligent agents (Computer software)
Master's thesis
title_short Evaluating Tool-Augmented ReAct Language Agents
title_full Evaluating Tool-Augmented ReAct Language Agents
title_fullStr Evaluating Tool-Augmented ReAct Language Agents
title_full_unstemmed Evaluating Tool-Augmented ReAct Language Agents
title_sort Evaluating Tool-Augmented ReAct Language Agents
dc.creator.none.fl_str_mv Eguzkitza Zalakain, Jokin
author Eguzkitza Zalakain, Jokin
author_facet Eguzkitza Zalakain, Jokin
author_role author
dc.contributor.none.fl_str_mv Igual Muñoz, Laura
dc.subject.none.fl_str_mv Tractament del llenguatge natural (Informàtica)
Intel·ligència artificial
Agents intel·ligents (Programari)
Treballs de fi de màster
Natural language processing (Computer science)
Artificial intelligence
Intelligent agents (Computer software)
Master's thesis
topic Tractament del llenguatge natural (Informàtica)
Intel·ligència artificial
Agents intel·ligents (Programari)
Treballs de fi de màster
Natural language processing (Computer science)
Artificial intelligence
Intelligent agents (Computer software)
Master's thesis
description Treballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona. Any: 2025. Tutor: Laura Igual Muñoz i Pablo Álvarez
publishDate 2025
dc.date.none.fl_str_mv 2025
dc.type.none.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/2445/223176
url https://hdl.handle.net/2445/223176
dc.language.none.fl_str_mv Inglés
language_invalid_str_mv Inglés
dc.rights.none.fl_str_mv cc-by-nc-nd (c) Jokin Eguzkitza Zalakain, 2025
codi: GPL (c) Jokin Eguzkitza Zalakain, 2025
http://creativecommons.org/licenses/by-nc-nd/3.0/es/
http://www.gnu.org/licenses/gpl-3.0.ca.html
info:eu-repo/semantics/openAccess
rights_invalid_str_mv cc-by-nc-nd (c) Jokin Eguzkitza Zalakain, 2025
codi: GPL (c) Jokin Eguzkitza Zalakain, 2025
http://creativecommons.org/licenses/by-nc-nd/3.0/es/
http://www.gnu.org/licenses/gpl-3.0.ca.html
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv Màster Oficial - Fonaments de la Ciència de Dades
reponame:Dipòsit Digital de la UB
instname:Universidad de Barcelona
instname_str Universidad de Barcelona
reponame_str Dipòsit Digital de la UB
collection Dipòsit Digital de la UB
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869411843998482433
score 15,811543

Registros relacionados