На видеопрезентации новых MacBook Pro с процессорами M4 мне попался неожиданный момент. На экране новых Mac промелькнула очень знакомая программа – фактически, Apple сделала ей рекламу.

Это LM Studio – малоизвестное в широких кругах, но определённо лучшее приложение для развёртывания LLM-нейросетей на обычных компьютерах.

Если говорить простыми словами, с помощью LM Studio вы можете поставить нейросеть-чатбот, похожую на ChatGPT, на свой Mac или Windows-ПК. И затем сможете пользоваться таким «ботом»:

▪ бесплатно целиком и полностью
▪ без передачи личных данных в интернет ВООБЩЕ
▪ с полной приватностью ваших чатов
▪ с возможностью свободного выбора LLM – согласно вашим запросам и производительности вашего компьютера

Установка программы простейшая, пользоваться ей очень легко. Если хотите, она даже сможет отвечать вам на русском языке. И да, так как вас здесь не ограничивает никакая иностранная компания, вы можете развернуть на компьютере чатбот без фирменной западной цензуры информации и ответов.

Погнали. Сейчас расскажу, как её установить, как скачивать и устанавливать модели, и что потребуется от вашего Mac или Windows-ПК, чтобы эти модели работали эффективно.

Что нужно от вашего ПК или Mac, чтобы пользоваться LMStudio

LM Studio сам по себе легко установится на абсолютно любой компьютер, будь то Mac или PC. Требования у самой программы минимальные. А вот требования LLM-нейросетей, которые вы будете скачивать и запускать – совсем другое дело.

Чем больше видеопамяти есть в вашем компьютере, тем мощнее LLM-сеть вы сможете развернуть на нём. Чтобы вы понимали, самые-самые крутые модели, отвечающие максимально разнообразно, требуют до 128 ГБ видеопамяти и больше!

Но не пугайтесь. Чтобы извлечь как минимум 80% пользы из современной LLM-сети, вам хватит 8 гигабайт видеопамяти. И если для владельцев Windows-ПК объём такой памяти – это больная тема, то с умеренно современным Mac всё гораздо проще.

У M-процессоров от Apple видеопамять и оперативная память – это одно и то же. Поэтому владелец даже MacBook Air 2020 года с «оперативкой» в 8 гигабайт и процессором M1 может без труда раскатать себе очень эффективную модельку и пользоваться такой нейросетью как следует. А если у вас 64 или больше «оперативы» в Mac, то можно смотреть в сторону самых-самых топовых LLM!

Как установить LM Studio

1. Заходим на сайт LM Studio (не заблокирован для РФ).

2. Скачиваем программу для своей ОС: вот для Mac, а вот для PC. Есть версия для Linux.

3. Устанавливаем, открываем.

Нет никаких регистраций, учётных записей. Повторюсь, LM Studio полностью приватна, не отправляет никуда данные про ваши чаты. На данный момент актуальная версия – 0.3.5, она умеет отвечать на текстовые запросы и анализировать файлы документов. Генерация изображений и другого типа контента пока не поддерживается. Для этого, кстати, рекомендую точно такую же приватную и бесплатную программу Draw Things.

Как установить LLM-модель в LM Studio

В LM Studio на данный момент есть поддержка следующих типов LLM-моделей: Llama 3.2, Mistral, Phi 3.1, Gemma 2, DeepSeek 2.5, Qwen 2.5 и ещё несколько других. Вы также можете ввести туда ключ доступа OpenAI и пользоваться ChatGPT прямо из программы через интернет – но в этом случае исчезнут все плюсы локальности и приватности приложения.

Также поддерживается русский язык интерфейса. И если нейросеть способна отвечать на русском языке или хотя бы переводить свой ответ с английского на русский на лету, то и общаться с ней вы тоже сможете на русском, пусть и через языковой барьер нейропереводчика.

Чтобы скачать и автоматически установить LLM-модель в LM Studio, достаточно воспользоваться встроенным загрузчиком моделей с сайта Hugginface, крупнейшего репозитория такого контента. Для этого откройте LM Studio, нажмите на иконку Discover (лупа в левом углу экрана) и выберите любой из предложенных популярных вариантов. Вы также можете вставить адрес любой другой LLM-модели на Hugginface в строку поиска загрузчика.

Перед загрузкой обязательно обратите внимание на то, сколько весит файл модели: он целиком будет выгружен в видеопамять вашего компьютера. Ищите вариант, который займёт до 70% видеопамяти вашего Mac или PC. Крупные и «тяжёлые» модели стоит скачивать в формате GGUF. Это квантованные, то есть «сжатые» версии, сохранившие максимум пользы модели, но занимающие многократно меньше видеопамяти, чем «несжатые» версии.

Для старта рекомендую поставить модель Llama 3.2 3B Instruct 4bit. Она весит всего лишь 1,82 ГБ – точно запустится у любого юзера Mac или ПК.

LM Studio автоматически загрузит выбранную модель и подготовит её к развёртыванию. Всё, что вам останется – перейти во вкладку Chat в левом углу и начать общение с LLM-нейросетью.

Советую попробовать каждому

Не буду приводить здесь ссылки на сторонние LLM-модели, но могу сразу сказать: реальный их выбор огромен, и вы можете найти модель как широкого формата, так и заточенную под использование какой-нибудь конкретной задачи. Например, есть модели-помощники для разработчиков приложений, модели естественного общения, ролевые модели, джейлбрейкнутые (взломанные) модели без цензуры и политических/моральных ограничений и так далее.

Также не буду здесь вдаваться в подробности отличия «сжатых» моделей от обычных, это долго и малоинтересно. Просто отмечу, что чем «толще» модель и чем меньше она сжата, тем больше контекста общения она запоминает в рамках отдельно взятого чата и тем более разнообразны и информативны её ответы.

Возможность фактически владеть собственным, локальным чат-ботом, который работает без передачи данных в интернет, подписок и прочих спорных моментов – это очень здорово. Поэтому я рекомендую хотя бы попробовать LM Studio каждому здесь, включая тех, кто до сих пор намеренно избегал знакомства с миром LLM и всякими ChatGPT. Даже Apple заметила и подсветила приложение, а это, как говорится, неспроста.

• До ←

  Apple предложила инвестировать $10 млн в производство в Индонезии, чтобы снять запрет на продажу iPhone 16

• После →

  ChatGPT в iOS 18.2 заработал в России. Но только на мобильном интернете