GigaToken: токенизация языковой модели примерно в 1000 раз быстрее

## Гигатокен

## Гигатокен ~ в 1000 раз быстрее, чем токенизаторы HuggingFace, быстрая замена. Токенизируйте свои текстовые данные со скоростью ГБ/с! Обратите внимание, что и токенизаторы HF, и tiktoken уже используют многопоточный Rust! ## Что такое Гигатокен? Gigatoken — самый быстрый токенизатор для языкового моделирования. Он поддерживает широкий спектр аппаратного обеспечения ЦП и почти все часто используемые токенизаторы. Подробные показатели пропускной способности токенизаторов и процессоров см. в разделе «Бенчмарки». ## Установка `pip install gigatoken` ## Использование Gigatoken можно использовать…

Читать полностью →

Источник: Hacker News

Медиаполе

Что в новостях прямо сейчас

Подсказка по синтаксису

По умолчанию ищет статьи, где есть все слова из запроса. Можно комбинировать операторы:

  • "искусственный интеллект" — только такая фраза целиком
  • +нейросеть — слово обязательно
  • -реклама — слово-исключение (минус перед словом)
  • site:nytimes.com — только этот сайт
  • OpenAI OR Anthropic — или одно, или другое (заглавными)
  • "Илон Маск" +SpaceX -крипто — фраза + обязательное слово + исключение

Чем больше операторов — тем точнее выборка. Без них Google News ищет по смыслу целиком.

обновлено
Топ тем
Загружаю темы…
Упоминания по дням
График…
Топ источников
Источники…
Подключаюсь к источникам…

30 главных источников
о мире ИИ

Автоматический перевод, курирование и красивая подача главных статей об искусственном интеллекте.

0
статей
0
источников
9
разделов