Global · IA · Modelos · Bilibili · Traducción
Index-Translate publica versiones cuantizadas para ejecución local
Las entregas GGUF y FP8 incorporan opciones de menor tamaño y documentación de sus compromisos de precisión.
Fecha de la fuente original:
Lo esencial
- GGUF funciona con llama.cpp; FP8 utiliza compressed-tensors para vLLM y Transformers.
- El GGUF Q4_K_M de 2B ocupa 1,31 GB, frente a 3,90 GB en F16.
- La tarjeta GGUF advierte pérdida de calidad en dos y tres bits; ambas entregas usan Apache 2.0.
Opciones para ejecutar traducción
IndexTeam publicó conversiones cuantizadas de Index-Translate, con fecha editorial del 3 de octubre. Los formatos permiten elegir entre motores locales y de servicio. La cuantización reduce la precisión numérica de los pesos; las tarjetas documentan qué archivos se ofrecen y cómo comprobarlos.
Elegir la compresión
La tarjeta GGUF recomienda Q4_K_M como equilibrio entre tamaño y calidad. También ofrece variantes de dos a ocho bits y una referencia F16. El equipo comparó distribuciones de probabilidades y muestras de generación en una NVIDIA A100; esas comprobaciones no garantizan idéntica calidad en cualquier traducción.
Qué conserva FP8
FP8 cuantiza las capas lineales lingüísticas y mantiene otros componentes en BF16. En el corpus de validación, la perplejidad subió de 3,9104 a 3,9403, un 0,76%. La prueba chino-inglés produjo texto idéntico a la referencia; en inglés-chino hubo cambios que el equipo consideró semánticamente equivalentes.