Языковая модель получила название CraftGPT.
Игрок в Minecraft под ником Sammyuri, известный созданием 1Hz процессора в игре, представил новый проект - CraftGPT. Это маленькая языковая модель, работающая на гигантском компьютере, собранном полностью из редстоуна.
Машина впечатляет не только размерами, около 439 миллионов блоков в сумме, но и функционалом - она действительно способна генерировать ответы на текстовые запросы, прямо как настоящий ChatGPT.
Правда, на результат придётся запастись терпением - одна реплика модели обрабатывается около двух часов, даже с ускорением внутриигровых часов (тиков) в 40 тысяч раз.
По словам Sammyuri, CraftGPT построен без командных блоков, исключительно на редстоуне. В системе есть токенизаторы, матричные умножители и другие базовые компоненты.
Сама языковая модель обучена в Python на датасете TinyChat, имеет 5,087 миллионов параметров, 6 слоёв, словарь из 1920 токенов и контекстное окно на 64 токена.
Несмотря на внушительные технические характеристики, разработчик признаёт, что CraftGPT далёк от реальных LLM. Модель часто уходит в сторону, строит неграмотные фразы или выдаёт бред.
Ранее мы рассказывали, что игрок в Minecraft построил компьютер, который запускает игру про Марио. На разработку проекта у него ушло около 2 месяцев.