Нам ограничивают доступы к западным нейросетям, вроде ChatGPT. Что ж, скачаем сами аналог и будем использовать с собственного компьютера.

Прогресс развития нейросетей, особенно открытых и отделённых от мира коммерции, не остановить. Зачем платить кому-то или отдавать свои переписки в интернет непонятно кому, если можно иметь своего собственного нейросетевого чатбота?

Ранее я рассказывал про LM Studio и возможности, которые открывает эта программа практически всем владельцам Mac и ПК. В комментариях вы попросили дать чуть больше примеров нейро-ботов – это и сделаю в этой статье.

Что такое LM Studio, кратко

LM Studio – бесплатное приложение с открытым кодом, которое запускает нейросетевые чат-боты прямо на вашем компьютере. Его даже упоминала Apple в презентации Mac с чипами M4.

В LM Studio все действия, переписки и прочие данные хранятся только на устройстве пользователя. В интернет не уходит ничего. Это будет на 100% ваш собственный ИИ-помощник, за который не придётся платить – в отличие от ChatGPT и многих других онлайн-нейросетей и чат-ботов.

Вы просто скачиваете LLM-модель (файл с уже обученной нейросетью-чатботом), запускаете его в LM Studio и пользуетесь ей как угодно. Точнее, настолько, насколько позволит мощность вашего компьютера. Есть русский интерфейс, а некоторые модели даже поддерживают русский язык.

Что необходимо для LM Studio

Для начала:

1. Заходим на сайт LM Studio (может не открываться из РФ, версию для Mac выложу в наш канал Telegram).

2. Скачиваем программу для своей ОС.

3. Устанавливаем, открываем.

Запустить LM Studio и установить самого простенького ИИ-чатбота можно даже на базовом Mac с чипом M1 и 8 ГБ оперативной памяти. Однако для оптимальной скорости работы и лучшего запоминания истории переписки рекомендуется использовать модели 16 ГБ RAM и до… бесконечности.

С ПК ситуация другая из-за того, что в ёмкости «оперативки» их владельцы ограничены куда меньше. Здесь комфортное использование действительно полезных ботов потребует либо видеокарту от Nvidia с хотя бы 8 ГБ собственной памяти, либо как можно больше самой обычной «оперативки». Воистину, LM Studio способна загрузить хоть 100, хоть 500 ГБ оперативной памяти – всё зависит лишь от степени продвинутости и требовательности конкретной «нейросети».

Как установить модель: в LM Studio нажмите на иконку Discover (лупа в левом углу экрана) и выберите любой из предложенных популярных вариантов. Вы также можете вставить адрес любой другой LLM-модели с сайта Hugginface в строку поиска загрузчика.

Остановимся на 5 хороших и массово полезных моделях, которые помогут решать разные задачи на Mac и ПК базовых и средних по мощности конфигураций.

1. phi-4

Новинка от Microsoft, выпущена в декабре 2024 года. Создана благодаря коллаборации с разработчиками OpenAI и ChatGPT. Её цель – добиться максимально высокого качества ответов при минимальном весе модели.

Сильные стороны – математические задачи и вычисления в целом. Разрешено использование в коммерческих целях. Требует не менее 12 ГБ оперативной памяти.

🤖 Эта модель на Hugginface

2. Qwen2.5 Coder

Популярная модель для программистов, заточенная под генерацию, анализ и дебаг кода. Одна из лучших среди открытых LLM, её постоянно хвалят и рекомендуют на форумах.

Хороша в том числе тем, что имеет огромное количество модификаций: самая простая, Qwen2.5 Coder 3B, запустится даже на ПК с 6 ГБ оперативной памяти. А продвинутая, Qwen2.5 Coder 32B, потребует около 24 ГБ RAM.

🤖 Эта модель на Hugginface

3. Llama 3.2 3B Instruct 4bit

Одна из самых маленьких моделей. Способна запуститься и быстро работать на практически любом ПК и абсолютно любом Mac с процессором M1 и новее.

Подходит для того, чтобы задавать общие вопросы и давать ей простые задачи. Идеальна в качестве начальной модели для ознакомления с возможностями (и типичными ограничениями) локальных LLM-чатботов. Требует всего 4 ГБ оперативной памяти.

🤖 Эта модель на Hugginface

4. NemoMix Unleashed 12B или ArliAI RPMax 12B

Две крайне эффективные «игровые» модели для широкого спектра запросов. Подходят для RP, общения на широкие темы, ответов на вопросы и просто развлечений. У обеих гигантский запас по максимальной памяти истории переписки внутри чата: более 100 тысяч токенов у каждой.

Эффективная работа обеих моделей потребует не менее 12 ГБ видеопамяти или RAM, а при установке ёмкости памяти выше 12 тысяч токенов на переписку рекомендуется железо не слабее RTX 3080/M4 Pro.

🤖 NemoMix Unleashed 12B на Hugginface
🤖 ArliAI RPMax 12B на Hugginface

5. NeuralDaredevil 8B Abliterated

Одна из наиболее быстрых среди моделей широкого спектра. Скорость и качество генерации ответов в рамках лимита в 4 тысячи токенов даст фору большинству вышеназванных моделей. Рекомендуется для ответов общего формата.

Неплохо работает с запросами и ответами на русском языке. Хорошо функционирует на системах с 12 ГБ оперативной памяти и более.

🤖 Эта модель на Hugginface

P.S. LLM-моделей уже более двух сотен, и все невозможно протестировать как следует. Если вы уже используете LM Studio, порекомендуйте свои любимые модели в комментариях.

• До ←

  Стало известно, как будет выглядеть Nintendo Switch 2. Характеристики и дизайн

• После →

  Вещь. Ключ для домофона в виде стикера на смартфон (да, так можно было)