Hugging Face Carbon-X — це нова відкрита DNA мовна модель із 14.8B параметрів, яка поєднує читання сирих послідовностей ДНК і англомовні відповіді в одному чаті. Вона підтримує контекст у 40,960 токенів і досягає 66.7% у середньому на п’яти DNA-бенчмарках. Ваги поширюються за ліцензією Apache 2.0, тож лабораторії можуть тримати чутливі дані на власних GPU. Carbon-X створено в Hugging Face Bio разом із Zhongguancun Academy та TIGEM / University of Naples Federico II.
Що таке Hugging Face Carbon-X?
Carbon-X — це відкритий decoder-only DNA language model від Hugging Face Bio, який читає сирий ДНК-текст у чаті й відповідає англійською. Він класифікує організми, позначає регуляторні ділянки, передбачає наступні основи та оцінює мутації як доброякісні чи патогенні.
Модель базується на Qwen3-14B і поєднує ДНК і звичайну мову в одному токен-потоці та одному декодері. На відміну від попередніх підходів (як у BioReason), тут немає окремого енкодера для ДНК — усе працює в єдиній архітектурі.
Ваги постачаються за Apache 2.0. Це дозволяє командам утримувати конфіденційні послідовності локально та розгортати модель на власних GPU без відправки даних у хмару.
Carbon-X — продукт команди Hugging Face Bio у співпраці з Zhongguancun Academy та TIGEM / University of Naples Federico II, що підкреслює міждисциплінарний характер розробки.
Як працює Hugging Face Carbon-X?
Carbon-X працює через гібридний токенайзер: текст і ДНК розділяють одну словну таблицю, тож модель «бачить» обидва типи даних у спільному просторі. Це дає змогу ефективно читати ДНК та відповідати англійською в одному декодері.
Ключ — гібридний токенайзер, що зберігає BPE-словник Qwen3 для тексту і додає 5,515 ДНК-токенів: 4,096 не перекривних 6-mer, 1,364 хвостових токени та 3 маркери. Один ДНК-токен покриває 6 пар основ, а послідовності з 6+ символів A/C/G/T тегуються автоматично.
Бекбон — стандартний стек Qwen3: 40 шарів, прихований розмір 5120 і GQA з 8 KV головами. Така конфігурація дозволяє тримати довгий контекст у 40,960 токенів без відокремленого ДНК-енкодера.
Як навчали Carbon-X?
Навчання відбувалося в чотири етапи: прогрів ембедингів, мід-тренінг на великому міксі даних, SFT і RL. Кожен крок зосереджений на збереженні балансу між мовою та біологією.
Embedding warmup: близько 10B токенів із «замороженим» трансформером — навчаються лише нові ДНК-ембединги.
Mid-training: 302B токенів при довжині послідовності 8,192. Мікс: 55% сирої ДНК, 20% англійської, 15% біологічних текстів, 10% інструкційних даних.
SFT: 3 епохи над 20 піднаборів, відповіді перевірялися детермінованими верифікаторами, побудованими разом із доменними експертами.
RL: асинхронний GRPO із верифікованими винагородами у 2 раунди, використовуючи TRL та vLLM.
Згідно з релізом, learning rate був найскладнішим параметром: високі значення добре вчили ДНК, але «забували» англійську. Компроміс розв’язали зменшенням LR, вибором моделі на 14B та тривалим прогоном. RL, застосований безпосередньо до Qwen3-14B, ніколи не перевищив 50% випадкової межі на FrontierVEP.
Які результати бенчмарків Carbon-X?
Carbon-X показує 66.7% у середньому на п’яти DNA-бенчмарках і, за самооцінкою, є найкращою серед відкритих моделей, які тестували. Найкращий результат — 74.9% на BioReason Coding (попереду відкритих і закритих моделей у тесті), найгірший — 29.8% на питаннях GenomeQA щодо splice-site.
Крім загального середнього, ці крайні значення окреслюють межі застосування. Завдання кодування в BioReason піддаються моделі краще, тоді як запитання з визначенням splice-site у GenomeQA залишаються складними.
| Параметр / Бенчмарк | Carbon-X новинка | BioReason | OpenAI Codex | DeepMind AlphaFold |
|---|---|---|---|---|
| Параметри моделі | 14.8B | — | — | — |
| Контекст | 40,960 токенів | — | — | — |
| Середнє на 5 DNA-бенчмарках | 66.7% | — | — | — |
| BioReason Coding | 74.9% | — | — | — |
| GenomeQA splice-site | 29.8% | — | — | — |
Як запустити Hugging Face Carbon-X?
Модель запускається на 1×80 GB GPU у bfloat16 через vLLM або Transformers. Доступні офіційні GGUF-збірки: Q8_0 — 15.8 GB та Q4_K_M — 9.6 GB. Ліцензія Apache 2.0 дозволяє тримати чутливі послідовності локально на власних GPU.
Практично це означає: обирайте формат розгортання (vLLM/Transformers чи GGUF), звіряйтесь із пам’яттю пристрою та використовуйте довгий контекст у 40,960 токенів для аналізу послідовностей. Модель спроєктована для чату: ви подаєте сирий ДНК-текст, а відповідь отримуєте англійською.
Якщо ваша інфраструктура обмежена, формат Q4_K_M (9.6 GB) дозволить економити VRAM. Для максимальної якості — Q8_0 (15.8 GB) на потужнішому GPU.
Часті питання
Як запустити Hugging Face Carbon-X?
Використайте 1×80 GB GPU у bfloat16 через vLLM або Transformers. Якщо потрібна менша VRAM, скористайтесь офіційними GGUF-збірками: Q8_0 (15.8 GB) або Q4_K_M (9.6 GB). Ваги під Apache 2.0, тож приватні послідовності можна тримати локально. Контекст 40,960 токенів придатний для довгих ДНК-фрагментів і покриває задачі класифікації, маркування регуляторних зон і передбачення наступних основ.
Hugging Face Carbon-X vs BioReason порівняння — у чому різниця?
Carbon-X об’єднує ДНК і текст в одному токен-потоці та одному декодері, тоді як раніші підходи, як-от BioReason, використовували окремий ДНК-енкодер. У бенчмарку BioReason Coding Carbon-X досягає 74.9% і випереджає всі протестовані моделі (за самооцінкою релізу). Це свідчить про ефективність гібридного токенайзера та навчального пайплайна без відокремленого енкодера.
Скільки коштує Hugging Face Carbon-X?
Окремого прайсингу немає: модель відкрита, ваги під Apache 2.0. Вартість залежить від вашої інфраструктури. Для повної точності потрібен 1×80 GB GPU у bfloat16 через vLLM або Transformers. Також доступні GGUF-збірки Q8_0 (15.8 GB) і Q4_K_M (9.6 GB), що допомагають оптимізувати використання пам’яті.
Для кого підходить Carbon-X і як почати?
Carbon-X корисний для команд, що працюють із сирими ДНК-послідовностями і потребують англомовних відповідей у чаті: класифікація організмів, позначення регуляторних регіонів, оцінка мутацій і передбачення наступних основ. Почніть із запуску на 1×80 GB GPU або з GGUF-збірок, використовуйте 40,960-токенний контекст і тестуйте на власних даних.
Які сильні та слабкі сторони за бенчмарками?
Середній бал — 66.7% на п’яти DNA-бенчмарках. Найсильніший результат — 74.9% на BioReason Coding; найслабший — 29.8% на GenomeQA для splice-site питань. Це означає, що Carbon-X особливо сильний у задачах кодування, але splice-site запитаннями краще керувати з обережністю та валідувати результати додатково.
На основі матеріалу MarkTechPost.
