Tutorial: ¿Cómo funcionan los TOKENS en los Grandes Modelos de Lenguaje?

🔥🔥Curso Introducción a los Grandes Modelos de Lenguaje: https://codificandobits.com/curso/int... 🔥🔥 🔥🔥Asesorías y formación personalizada: https://codificandobits.com/servicios/ 🔥🔥 Los tokens son uno de los elementos centrales en cualquier Gran Modelo de Lenguaje (LLM): al introducir o generar texto el modelo realmente lo que hace es procesar tokens. Así que en este tutorial veremos de forma práctica cómo usar diferentes LLMs disponibles en Hugging Face para entender en detalle el papel que juegan estos tokens al momento de procesar o generar texto usando este tipo de modelos. El código fuente de este tutorial: https://drive.google.com/drive/folder... Contenido: 00:00 Introducción 01:27 Organización del tutorial 02:08 Breve repaso: ¿qué son los tokens? 06:19 Varios ejemplos de tokens a la entrada de un LLM 22:03 Los tokens generados por un LLM 27:09 Los tokens y la ventana de contexto 33:01 Conclusión 🔴 ** VISITA WWW.CODIFICANDOBITS.COM ** En el sitio web encontrarás la Academia Online con cursos, proyectos y tutoriales que te ayudarán a construir tu carrera en Inteligencia Artificial, Ciencia de Datos y Machine Learning. 🔴 ** ÚNETE A CODIFICANDO BITS Y SÍGUEME EN MIS REDES SOCIALES ** ✅ Sitio web: https://www.codificandobits.com ✅ LinkedIn:   / msotaquira   🔴 ** ACERCA DE MÍ ** Soy Miguel Sotaquirá, el creador de Codificando Bits, doctor en Bioingeniería y desde el año 2017 soy un apasionado de la Ciencia De Datos y la Inteligencia Artificial. En la actualidad me dedico por completo a divulgar contenido y a brindar asesoría a personas y empresas sobre estos temas. 🔴 ** ACERCA DE CODIFICANDO BITS ** El objetivo de Codificando Bits es inspirar y difundir el conocimiento en las áreas de Machine Learning, Inteligencia Artificial y Ciencia de Datos. #machinelearning #ia #inteligenciaartificial #llm