Private LLM - Local AI Chatbot 17+

Jetzt mit dem neuesten Meta Llama 3.3 70B Modell (auf Apple Silicon Macs mit 48 GB oder mehr RAM) und der Qwen 2.5 und Qwen 2.5 Coder (0.5B bis 32B) Modellfamilie.

Lernen Sie Private LLM kennen: Ihr sicherer, offline KI-Assistent für macOS

Private LLM bringt fortschrittliche KI-Funktionen direkt auf Ihr iPhone, iPad und Mac – und das, während Ihre Daten privat und offline bleiben. Mit einem einmaligen Kauf und ohne Abonnements erhalten Sie einen persönlichen KI-Assistenten, der vollständig auf Ihrem Gerät funktioniert.

Hauptfunktionen:

- Lokale KI-Funktionalität: Interagieren Sie mit einem fortschrittlichen KI-Chatbot, ohne eine Internetverbindung zu benötigen. Ihre Gespräche bleiben auf Ihrem Gerät und gewährleisten vollständige Privatsphäre.

- Große Auswahl an KI-Modellen: Wählen Sie aus verschiedenen Open-Source-LLM-Modellen wie Llama 3.2, Llama 3.1, Google Gemma 2, Microsoft Phi-3, Mistral 7B und StableLM 3B. Jedes Modell ist für iOS- und macOS-Hardware optimiert und verwendet die fortschrittliche OmniQuant-Quantisierung, die eine überlegene Leistung im Vergleich zu herkömmlichen RTN-Quantisierungsmethoden bietet.

- Siri- und Kurzbefehle-Integration: Erstellen Sie KI-gesteuerte Workflows, ohne Code zu schreiben. Verwenden Sie Siri-Befehle und Apple-Kurzbefehle, um die Produktivität bei Aufgaben wie Textanalyse und -erstellung zu steigern.

- Keine Abonnements oder Logins: Genießen Sie vollen Zugriff mit einem einmaligen Kauf. Keine Notwendigkeit für Abonnements, Konten oder API-Schlüssel. Mit der Familienfreigabe können bis zu sechs Familienmitglieder die App nutzen.

- KI-Sprachdienste auf macOS: Nutzen Sie KI-gestützte Werkzeuge für Grammatikkorrekturen, Zusammenfassungen und mehr in verschiedenen macOS-Anwendungen und in mehreren Sprachen.

- Überlegene Leistung mit OmniQuant: Profitieren Sie von dem fortschrittlichen OmniQuant-Quantisierungsprozess, der die Gewichtungsverteilung des Modells beibehält und schnellere und genauere Antworten liefert. Damit übertrifft Private LLM Apps, die standardmäßige Quantisierungstechniken verwenden.

Unterstützte Modellfamilien:

- Llama 3.3 70B
- Llama 3.2 basierte Modelle
- Llama 3.1 basierte Modelle
- Phi-3 basierte Modelle
- Google Gemma 2 basierte Modelle
- Mixtral 8x7B basierte Modelle
- CodeLlama 13B basierte Modelle
- Solar 10.7B basierte Modelle
- Mistral 7B basierte Modelle
- StableLM 3B basierte Modelle
- Yi 6B basierte Modelle
- Yi 34B basierte Modelle

Für eine vollständige Liste der unterstützten Modelle, einschließlich detaillierter Spezifikationen, besuchen Sie bitte privatellm.app/models.

Private LLM ist eine bessere Alternative zu generischen llama.cpp- und MLX-Wrapper-Apps wie Ollama, LLM Farm, LM Studio, RecurseChat usw. in drei Bereichen:
1. Private LLM verwendet eine schnellere mlc-llm-basierte Inferenz-Engine.
2. Alle Modelle in Private LLM sind mit dem fortschrittlichen OmniQuant-Quantisierungsalgorithmus quantisiert, während konkurrierende Apps eine naive Rundung-zum-nächsten-Quantisierung verwenden.
3. Private LLM ist eine vollständig native App, die mit C++, Metal und Swift entwickelt wurde, während viele der konkurrierenden Apps auf (aufgeblähten) Electron-basierten Apps basieren.

Optimiert für Apple Silicon Macs mit dem Apple M1 Chip oder neuer, liefert Private LLM für macOS die beste Leistung. Benutzer älterer Intel-Macs ohne eGPUs könnten eine verminderte Leistung feststellen.