LinkedIn
GitHubLoRA Fine-tuning GPT-OSS 20B
Fine-tuning de modelo de lenguaje de gran escala para respuestas personalizadas
Fine-tuning Eficiente con LoRA
Este proyecto implementa LoRA (Low-Rank Adaptation) para realizar fine-tuning eficiente del modelo GPT-OSS de 20 mil millones de parámetros. El objetivo es personalizar el modelo para generar respuestas con un tono humorístico específico, manteniendo la coherencia y calidad del lenguaje natural.
LoRA permite ajustar modelos masivos de lenguaje utilizando una fracción mínima de los recursos computacionales que requeriría un fine-tuning tradicional, reduciendo drásticamente los requisitos de memoria y tiempo de entrenamiento mientras mantiene resultados de alta calidad.
LoRA Technique
Implementación de Low-Rank Adaptation para reducir parámetros entrenables de miles de millones a solo unos pocos millones, manteniendo la calidad del modelo.
GPT-OSS 20B Model
Fine-tuning del modelo open-source GPT-OSS con 20 mil millones de parámetros, uno de los modelos de lenguaje más grandes disponibles públicamente.
Humor Personalization
Entrenamiento especializado en datasets curados para generar respuestas con personalidad humorística, manteniendo relevancia y coherencia contextual.
Memory Efficiency
Reducción de requisitos de memoria de GPU de ~80GB a ~16GB mediante técnicas de optimización como quantización y gradient checkpointing.
Custom Dataset
Creación y curación de dataset especializado con miles de ejemplos de conversaciones humorísticas para el fine-tuning dirigido.
Evaluation Metrics
Sistema de evaluación personalizado que mide tanto la calidad lingüística como el tono humorístico de las respuestas generadas.
¿Hablamos?
Abierto a roles de AI Engineer, liderazgo de Data & IA y consultoría. La vía más rápida es LinkedIn.