recogna-nlp/gembode-2b-it-ultraalpaca

gembode-2b-ultraalpaca

GemmBode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base de instruções Gemma-2b-it fornecido pela Google. Este modelo foi refinado através do processo de fine-tuning utilizando o dataset UltraAlpaca. O principal objetivo deste modelo é ser viável para pessoas que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.

Características Principais

• Modelo Base: Gemma-2b-it, criado pela Google, com 2 bilhões de parâmetros.
• Dataset para Fine-tuning: UltraAlpaca
• Treinamento: O treinamento foi realizado a partir do fine-tuning completo do gemma-2b-it.

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here

Metric	Value
Average	45.69
ENEM Challenge (No Images)	34.71
BLUEX (No Images)	25.87
OAB Exams	31.71
Assin2 RTE	71.31
Assin2 STS	34.08
FaQuAD NLI	60.09
HateBR Binary	47.01
PT Hate Speech Binary	57.04
tweetSentBR	49.37