MLC Chat 17+

Name: MLC Chat
Rating: 3.9 (12 reviews)
Author: Tianqi Chen

Tianqi Chen

Conçu pour iPad

- 3,9 • 12 notes

- Gratuit

Description

MLC Chat lets users chat with open language models locally on ipads and iphones. After a model is downloaded to the app, everything runs locally without server support, and it works without internet connections do not record any information.

Because the models run locally, it only works for the devices with sufficient VRAM depending on the models being used.

MLC Chat is part of open source project MLC LLM, with allows any language model to be deployed natively on a diverse set of hardware backends and native applications. MLC Chat is a runtime that runs different open model architectures on your phone. The app is intended for non-commercial purposes. It allows you to run open-language models downloaded from the internet. Each model can be subject to its respective licenses.

27 sept. 2024

Version 1.6

This version include llama 3.2 3b

3,9 sur 5

12 notes

models

missing a few big models still like llama 3 (as of right now at least), otherwise pretty good

Dommage

Dommage que cette appli ne soit pas adaptée à l’iPhone SE3 (pas assez de VRam)et dommage que le développeur ne l’indique pas explicitement en description. J’espère que cela fonctionnera sur le prochain iPhone SE.

Amazing performance

I love how fast the LLMs in this app are. Is this because of the chosen quantization? I usually use q8 on my desktop computer, and it take minutes to generate a text.

Anyway. I wish it was possible to run Dolphin Mixtral (because I heavily dislike the alignment of regular Mistral), and LLaVA (because local image recognition directly from a smartphone would be amazing).

Keep up the good work!

Le développeur Tianqi Chen a indiqué que le traitement des données tel que décrit ci‑dessous pouvait figurer parmi les pratiques de l’app en matière de confidentialité. Pour en savoir plus, consultez la politique de confidentialité du développeur.

Données non collectées

Le développeur ne collecte aucune donnée avec cette app.

Les pratiques en matière de confidentialité peuvent varier, notamment en fonction des fonctionnalités que vous utilisez ou de votre âge. En savoir plus