Notebooks

Nuestra colección de Cuadernos de Entrenamiento es el corazón de nuestra filosofía de código abierto.

Los Jupyter Notebooks son documentos interactivos que combinan código ejecutable (generalmente en Python), descripciones en texto enriquecido y visualizaciones en una sola interfaz. En Tachiwin, los utilizamos como una herramienta de transparencia y educación, permitiendo que cualquier persona pueda auditar nuestros procesos de entrenamiento o adaptar nuestros modelos a sus propias lenguas sin necesidad de configurar complejos entornos locales.

Tachiwin ha desarrollado los siguientes cuadernos open source para que se puedan reproducir y validar sus experimentos e incluso crear copias propias de estos cuadernos, con objetivo de aprendizaje, compartir conocimiento o incluso para crear desarrollos propios en otras lenguas. Por ejemplo, el cuaderno para el entrenamiento de un modelo de reconocimiento de audio a texto en totonaco puede ser utilizado para entrenar tu propio modelo en otra lengua si tienes los datasets adecuados.

Tiyat: entrenamiento e inferencia

Tutorial reproducible para construir, entrenar, guardar, publicar y utilizar Tiyat arch1, nuestro modelo de lenguaje autoregresivo. El recorrido implementa desde cero su arquitectura Transformer decoder-only con JAX y Flax/NNX, y utiliza el corpus y el tokenizador publicados por Tachiwin en Hugging Face. Los parámetros y repositorios pueden modificarse desde la configuración inicial para realizar experimentos propios.

El tutorial está dividido en dos cuadernos:

1. Entrenar Tiyat desde cero: prepara el entorno, carga el tokenizador y los datos, construye la arquitectura, ejecuta el entrenamiento, guarda checkpoints para reanudar sesiones interrumpidas y publica el modelo en Hugging Face.
2. Generar texto con Tiyat: carga los pesos publicados, reconstruye la arquitectura y genera continuaciones de texto en distintas lenguas.

Consultar el tutorial y los notebooks en GitHub

(Disponibles por ahora en GitHub para descarga y ejecución en un entorno Jupyter)

Reconocimiento de Texto OCR

Comparador de Modelo Entrenado para el Reconocimiento de Textos en Lenguas Originarias vs. Modelo Base (PaddleOCR-VL-1.5)
Abrir en Google Colab
(Cuaderno en Inglés)

Entrenamiento de Modelo para Reconocimiento de Textos en Lenguas Originarias (PaddleOCR-VL-1.5)
Abrir en Google Colab

Traducción

Entrenamiento (Finetuning) para la traducción español<->totonaco (Llama-3.1 8b)
Abrir en Google Colab

Pre-entrenamiento para la traducción a lenguas originarias (base LLama-3.1 8b)
Abrir en Google Colab

Inferencia y pruebas para los modelos de traducción
Abrir en Google Colab

Reconocimiento de Voz a Texto (ASR)

Cuantización de Modelo Wav2Vec2 de Reconocimiento de Voz a Texto para prepararlo para móviles
Abrir en Google Colab
(Cuaderno en Español)

Entrenamiento de Modelo de Reconocimiento de Voz a Texto en Totonaco (tos)
Abrir en Google Colab
(Cuaderno en Inglés)

Otros

Generador de pesos residuales instruct (Instruct-Base)
Abrir en Google Colab
(Cuaderno en Inglés)