Вступление: спецвыпуск про локальные нейросети без цензуры для Android.
Всем привет. Давно не виделись.
Значит, сегодня у нас спецвыпуск
нейроразведки про локальные нейросети
без цензуры для Android. Это полный
обзор лучших приложений и GitHub
проектов. Ну, начнём с того, что ещё
недавно мы не могли подумать о том, что
мы можем запускать большие локальные
языковые модели на своих телефонах.
Вот. Но сейчас ситуация, собственно,
поменялась, э, благодаря тому, что
модели стали квантованными, а мобильные
процессоры стали гораздо мощнее, и мы
можем запускать даже модели без цензуры,
что, собственно, в основном мы и будем
сейчас рассматривать. Ну, что такое
Что такое локальная нейросеть и как она работает на смартфоне.
локальная нейросеть, наверное, вы все
понимаете, да, для Android. То есть
неважно, Android, компьютер, то есть
локалка есть. Локалка это модель,
которая работает непосредственно на
устройстве, в данном случае на самом
смартфоне. Все вычисления происходят
тоже на самом устройстве пользователя
без отправки запросов на удалённые
серверы или ещё куда-нибудь.
Я буду показывать вам непосредственно со
своего блога на бусте. Даже чутка
увеличил экран, чтобы у вас всё было
перед глазами и вам было всё понятно.
Собственно, какие модели считаются без
Какие модели считаются моделями «без цензуры» (Uncensored).
цензуры? Без цензуры, ну, это значит
ослабление ограничений, которые
устанавливают сами производители своим
моделям. Вот энтузиасты эти ограничения
снимают. То есть вы получаете меньше
отказов нейросети в тех или иных
вопросах. Если вы на Хагингфейс либо
гитхабе находите вот такие пометки в
самом названии,
это значит, что нейросеть без цензуры.
Ну либо цензура сильно ослаблена уже, и
вы практически не получите отказов. Нет,
такое может быть, что гарантировать
здесь полного отсутствия отказов нельзя,
но в основном так и есть. Ну и начинаем
Обзор лучших приложений-клиентов для Android
наш блицобзор. Лучшие приложения для
Android. Первое — это у нас PocketPi.
PocketPal AI: открытый и удобный клиент с GitHub.
Лежит на гитхабе. Сегодня считается
одним из самых наиболее удобных клиентов
для запуска локальных больших языковых
моделей. Проект полностью открытый,
бесплатный. Скачивайте. А, кстати,
давайте его откроем.
Поддерживает любые фмодели, включая
Lama, Gen, Gemma, Missel, Dips F и
другие. Большинство современных открытых
моделей поддерживаются. Вот если вы
загружаете модель с пометкой без
цензуры,
неважно с какой, приложение само не
будет накладывать собственные
ограничения. То есть всё будет работать
без цензуры, как заявлено в самой
модели. Вот. Полностью локальная работа,
высокая скорость, поддержка большого
количества моделей, современный
интерфейс, открытый исходный код. Вот
недостатки,
это важно. 78B желательно иметь смартфон
8-12 ГБ оперативной памяти.
Давайте посмотрим.
Вот она на гитхабе. Скачиваете,
устанавливаете, выбираете модель и пошла
вода горячая.
Идём дальше. Lla AI давайте тоже откроем
Llama AI: популярное приложение с собственным каталогом.
это. Закроем.
Значит, скачивайте прямо с сайта. Это
один из самых известных Android
приложений. Ну, одно из самых известных
Android приложений, да.
Для общения с неросетями поддерживаются
Джема MAL, локальные модели семейства
Лама и собственный каталог моделей.
Также поддерживаются пользовательские
модели, главное преимущество,
возможность самостоятельно выбирать,
загружать модели. Вот что, собственно,
нам и нужно. Прямо с сайта скачиваете
приложение, выбираете модель и
работаете.
Идём дальше. Чатерui лежит на гитхабе
ChatterUI: универсальный клиент для локальных и облачных моделей.
тоже у нас.
представляет собой универсальный клиент.
Имеет умеет работать сразу с несколькими
источниками моделей. Поддерживается
алама, Open AI, Open Router, локальные
модели. Благодаря [фыркает] ему можно
легко переключаться между локальными и
облачными неростями. То есть и те, и те
есть. Вы можете сами выбирать, что
хотите.
Вот на гитхаме
MLC Chat: проект, оптимизированный под мобильные устройства.
MLC чат тоже лежит на гитхабе.
Это проект, ориентированный на запуск
моделей именно на мобильных устройствах.
Поддерживаются оптимизированные версии
Lama, GEM, Gen, F и другие модели,
подготовлены именно для MLC. Вот есть и
такие. Ну, внутри найдёте. Если телефон
достаточно современный, скорость будет у
вас нормальная, высокая.
Вот, собственно, она и лежит здесь.
Следующий у нас Мей тоже лежит на
Maid: открытый клиент для работы с разными AI-провайдерами.
гитхабе.
Значит, это ещё один открытый клиент,
поддерживающий одновременно локальные
модели и облачная P. Э, то есть, ээ,
этот подход особенно удобен, если
работаете сразу с несколькими AI
провайдерами. Вот можно подключить
Alama, Openoutу, Open AI и другие
буфмодели.
Ну и вот он на гитхаме.
Альтернатива: облачные модели для слабых смартфонов (OpenRouter, Google AI Studio).
Смотрите, если телефон у вас слабый, да,
ну мало ли,
тут получается, что у кого-то есть
оперативки побольше, у кого-то её нету,
да, сам телефон вроде всё нормально
тянет, вот, но параметры у всех разные
характеристики. Ну, в таком случае
эффективнее будет использовать облачные
модели. То есть смартфон у вас станет
лишь интерфейсом, а все вычисления будут
улетать в облака на удалённые сервера.
Вот, поэтому есть вот здесь вот два
примера. Это Open Roer, давайте откроем.
Позволяет использовать сотни моделей
через единые IP. Вот очень удобная
штука. И Google AI Studio, да,
представляет бесплатный доступ к моделям
G через IP. Ну, Google AI Studio все
знают. Вот Open Router тоже, наверное.
Так что здесь я сильно зацикливаться не
буду.
Третий пункт. На днях закрыли эту
лазейку. Можно было тестировать
современные модели вот через
инфраструктуру гитхаба. Ну, к сожалению,
закрыли. Надо будет, наверное, из статьи
это тоже удалить.
Подробный разбор популярных авторов и семейств моделей на Hugging Face
А теперь какие модели без цензуры
наиболее востребованы и популярны? Ну,
если говорить именно о моделях, да? То
есть, смотрите, то, что было до этого,
это получается у вас приложение
Интерфейс, через которой вы загружаете
уже сами модели. Вот далее идут модели.
Э, значит, по моделям здесь
чаще всего используются следующие.
Тут представлены именно ээ аккаунты
авторов, да, на Хаги Face. То есть
Модели от автора HuggingFaceH4 и поиск по коллекциям.
первый у нас, конечно же, мой любимый
уже, наверное, кто смотрел меня ранее.
Хуй-хуй.
Это я от этого названия, блин, всё время
балдею, честное слово. Вот спокойно не
могу такое переваривать, но это,
наверное, проблема во мне. Вот лучше
использовать поиск, естественно, по
коллекциям авторов, потому что они
модернизируют, добавляют, урезают,
что-то делают. То есть у них есть
там уже действительно целые семейство
этих моделей. Ну давайте перейдём на сам
хуй-хуй, то есть к автору хуйхуя.
Он регулярно публикует версии разные.
[фыркает]
И для для Android наиболее практичный
именно вот эти вот модели 2B9B.
[откашливается] Вот их и скачиваете и
смотрите. Вот, допустим, это уже аккаунт
самого автора. И здесь вы смотрите,
какие модели у него есть. Здесь их
много. Выбираете себе и скачиваете.
Ориентир у вас есть. Вот он.
Вот. от от двух до девяти можете себе
устанавливать и смотреть, как будет уже
работать. То есть это независимо от
того, какое у вас приложение до этого
установлено. Matechat
ну какой из них там модели, вы уже сами
выбираете и подгружаете.
Так, следующим у нас идёт Гермес. Э,
Семейство моделей Hermes.
популярные модели для Android перед вами
на экране. переходите на страницу автора
и выбираете указанные модели. Но, в
принципе, вы можете тестировать и другие
модели, не обязательно, которые я
выписывал, средние. Вот вы можете
подбирать под ваш смартфон, может быть,
у вас какой-нибудь бешеный мощный
смартфон и потянет любую другую.
И [фыркает] мало того, что тут для
Android, в этих коллекциях вы можете
найти
кучу нейросетей, именно локалок, тоже
без цензуры, для ноутбука, для
компьютеров, тоже в зависимости от ваших
мощностей.
Тут очень много всего. Просто данный
выпуск посвящён именно Android
устройствам. Вот. А на самом деле в
коллекциях именно авторов, почему
показываю именно их страницу, чтобы
видели, какой здесь ассортимент большой.
То есть в любом случае для своего
устройства, неважно, Android это, это
компьютер, это ноутбук, вы сможете
подобрать локалку без цензуры и спокойно
с ней работать.
Идём дальше. Mistral тоже десятки
Сборки на базе Mistral.
независимых сборок. Э, [фыркает]
лучший источник. Вот этот вот аккаунт.
Тоже можете здесь выбирать для себя
любые модели.
Вот популярные самы самые варианты тоже
перед вами на экране. Находите,
скачиваете.
Тут очень-очень много всего. То есть
куча моделей, 129 страниц папа
погинации.
Вот тут можно даже одним автором было
обойтись, я вам показываю, чтобы у вас
было больше информации.
Идём дальше. Значит, на на связи Лама.
Модели семейства Llama.
[фыркает] Вот официальной страницы,
естественно, нету. Вот лучшие
гуфсточники тоже у него же, которого я
до этого показал, то есть у блока.
Вот. И популярные модели. Вот они именно
полама.
Дальше у нас еретик.
Модели Heretic.
Тоже страница
отдельная.
Популярные модели. Вот они. Gen 253B.
Gen 359B.
Всё это еретик. И тоже здесь очень много
всего. То есть подбираете,
ну, можете просто опираться на на
указанные мною популярные модели, и они
у вас будут работать, в принципе, в 90%
должны обязаны работать.
Вот дополнительно смотрите, ещё я вам
рекомендую посмотреть, ну, по блоку мы
уже с вами проходились.
Значит, вот ещё есть аккаунт.
Тут специально подготовленные модели для
LM Studio.
Тоже очень много. 732 модели.
Это тоже вам просто в догонку, бонусом,
чтобы вы понимали, сколько всего на
самом деле есть. Ээ можно посмотреть и
подобрать себя. Вот здесь хорошие Н
моделила
без дополнительного обучения.
тоже очень много всего есть.
Дополнительные коллекции квантованных моделей (QuantFactory).
И Кван Factory, большая коллекция тоже
современных квантованных моделей. Не
проходите мимо, обязательно загляните,
посмотрите. То есть для обычного
человека, кто только начинает прямо
работать с неростями, кому, допустим,
половина моего базара вообще может быть
непонятно, либо какая-то часть, да, кто
ещё далёк от всего этого, конечно, лучше
использовать рекомендуемые мною
параметры, которые в блоге описаны, да.
А кто уже чуть-чуть пошустрее, кто уже
довольно-таки давно, хотя бы с годик с
полгодика, да, работать, пытается во
всём этом разобраться, то, конечно,
полистайте, посмотрите.
лишним не будет. Будет полезно даже
узнать, какие существуют, какие вам
пригодятся. Вы в любом случае найдёте
для себя кучу полезного. Вот. Ну, как
минимум одну хорошую нейронку, локалку
без цензуро подберёте и под смартфон,
одну подберёте и под компьютер. И всё у
вас будет летать, и всё будет без
цензуры.
Итоги: как выбрать приложение и модель под свои задачи.
Так, перед тем, как к телефонам перейти,
давайте ещё раз подытожим, что я вам
показал. Значит, изначально я вам
показывал,
то есть буду говорить простым языком,
как для простых людей, как будто бы вы
ещё университеми не занимались. Первое —
это приложение, то есть это основа, э,
за счёт чего у вас будут нейросети
работать на телефоне. Вот эти вот первые
моменты, которые я вам показывал.
[фыркает] Далее у нас пошли, э, ну,
здесь вот эти вот облачные, естественно.
Далее пошли именно сами модели, которые
будут работать через то, что, ну, через
основу, которую я показал наверху.
Понятно, да? Вот. То есть и здесь вы уже
выбираете после того, как выберете, что
устанавливать, через что будет работать
нейросеть, уже после этого вы будете
выбирать саму нейросеть,
вот именно нецензурированную.
И здесь вот уже я показывал дальше. Вот
они идут, Гермес, Херетик и все
аккаунты, что я вам показывал до этого.
Вот теперь по телефону подходят, ну, у
Рекомендации по объему оперативной памяти (6 ГБ, 8 ГБ, 12 ГБ, 16 ГБ+).
вас на всё на экране.
То есть для 6 ГБ подойдут модели
размером 13.
Вот 8 ГБ, 34 можно запускать в 12 ГБ у
вас оперативки 78B. В квантовке, конечно
же, Q4 km. Вот 16 Гб и больше, уже можно
экспериментировать.
Я думаю, денёк второй вы одну, другую,
четвёртую, десятую поставите и в любом
случае на чём тогда остановитесь. То
есть по-любому после этого выпуска, если
у вас телефон
хотя бы с вот такими параметрами, вы
по-любому без модели, которая без
цензуры не останетесь. [тяжело вздыхает]
Вот. Ну и что выбрать? Если полностью
Финальный совет: что выбрать для полной автономности.
автономный, без постоянного подключения
к интернету, наиболее удачным выбором,
естественно, является самый первый, что
я вам говорил, да, по Kiti. То есть, ну,
собственно, он топчик идёт, который я
рекомендую, который мне действительно
нравится. Но на вкус и цвет. У меня есть
знакомые, которые со мной спорят. Я
вообще не любитель спорить. Я говорю:
«Ну, нравится, да и хер с ним». Вот. То
есть это уже на ваш вкус. Я рекомендую
сначала попробовать это. А потом, когда
вы уже будет будете использовать, ну, то
есть пробовать остальные, вы уже поймёте
в сравнении с первым, что я говорил. Ну,
а на чём остановитесь, конечно же, это
ваше дело.
Заключение и информация о статье с полезными ссылками.
Эта статья вместе с ссылками находится в
бесплатном открытом доступе. Ссылка на
статью будет в описании. Переходите,
смотрите, изучайте, тестируйте,
устанавливайте, работайте с нейросетями
прямо с телефона. Ну а на этом всё. Меня
зовут Дмитрий. Встретимся на этом же
месте. Мне всегда есть, что вам
показать.