Open-Source-KI: Eine Alternative zu proprietären Modellen

Die Entwicklungen rund um OpenAI in den letzten Wochen haben viel Aufsehen in der Branche erregt. Viele fragen sich, wohin die Reise bei OpenAI geht. Zwischen Unternehmens-Dramen, berechtigten Datenschutz-Bedenken und anhaltenden Problemen bei der Modell-Performance ist es kein Wunder, dass eine wachsende Unzufriedenheit und Misstrauen gegenüber proprietären Modellen entsteht.

Auf der positiven Seite hat sich der Open-Source-Bereich als starker Konkurrent etabliert. Nicht nur als Reaktion auf die Mängel von OpenAI, sondern als echter Fortschritt. Es geht darum, die Vorteile von Open-Source-Modellen so vielen Leuten wie möglich zugänglich zu machen. Genau aus diesem Grund haben die Entwickler von PostgresML den OpenAI Switch Kit entwickelt. Er ermöglicht einen einfachen Umstieg von OpenAI auf Open-Source mit einem Drop-In-Ersatz. Anwender können in wenigen Code-Zeilen ein beliebiges Modell festlegen.

Warum ein Umstieg auf Open-Source-KI Sinn macht

Es gibt gute Gründe, warum sich ein Umstieg lohnen kann. Open-Source-Modelle haben bemerkenswerte Fortschritte gemacht. Sie holen nicht nur zu proprietären Pendants auf, sondern übertreffen sie in vielen Bereichen. Die Vorteile liegen auf der Hand:

Performance und Zuverlässigkeit: Open-Source-Modelle sind bei einer Vielzahl von Aufgaben und Leistungsmetriken mindestens vergleichbar oder überlegen. Mistral- und Llama-basierte Modelle sind z.B. einfach schneller als GPT 4. Zuverlässigkeit ist ein weiterer Aspekt, den man nicht in die Hände von OpenAI legen sollte. OpenAIs API hatte mehrere jüngere Ausfälle und Rate Limits können die eigene App beeinträchtigen. Mit Open-Source-Modellen hat man mehr Kontrolle über Latenz, Skalierbarkeit und Verfügbarkeit. Das Ergebnis ist eine robustere Integration und zuverlässigere Produktions-Apps.

Sicherheit und Datenschutz: Bei sicherheitssensiblen KI-Anwendungen sind Open-Source-Modelle klar im Vorteil. Die Risiken, private Daten an externe Anbieter wie OpenAI zu übermitteln, sind enorm. Im Gegensatz dazu bleiben bei Open-Source die sensiblen Informationen innerhalb der eigenen Cloud-Umgebung. Die Daten müssen die eigenen Räumlichkeiten nie verlassen. Das Risiko entfällt komplett – Unternehmenssicherheit by Design.

Modell-Zensur: Immer mehr Experten argumentieren, dass Modell-Beschränkungen zu weit gehen. Kürzlich veröffentlichte The Atlantic einen Artikel über das „Spicy-Mayo-Problem“ der KI, der sich mit Problemen der KI-Zensur befasst. Das Beispiel beschreibt einen Chatbot, der Befehle für ein „gefährlich scharfes“ Mayo-Rezept verweigert. Zensur kann nicht nur die Basis-Performance beeinträchtigen, sondern bei Apps für kreative Arbeiten wie Sudowrite können unkontrollierte Open-Source-Modelle sogar ein entscheidender Mehrwert für die Anwender sein.

Flexibilität und Anpassbarkeit: Geschlossene Modelle wie GPT3.5 Turbo sind für generalisierte Aufgaben geeignet, bieten aber wenig Raum für Anpassungen. Fine-Tuning ist stark eingeschränkt. Zudem haben die Turbulenzen bei OpenAI die Gefahren eines AI-Vendor-Lock-Ins aufgezeigt. Open-Source-Modelle wie MPT-7B, Llama V2 und Mistral 7B sind für umfangreiches Fine-Tuning konzipiert. So können Organisationen kundenspezifische Anpassungen vornehmen und die Modellleistung an ihre individuellen Bedürfnisse anpassen. Dieses Maß an Flexibilität eröffnet fortgeschrittene Techniken wie DPO, PPO LoRa und mehr.

Ausprobieren des OpenAI Switch Kits

Das Switch Kit ist ein Open-Source-KI-SDK, das einen Drop-In-Ersatz für OpenAIs Chat-Vervollständigungs-API bietet.

const pgml = require("pgml");
const client = pgml.newOpenSourceAI(); 

const results = client.chat_completions_create( 
  "HuggingFaceH4/zephyr-7b-beta",
  [
    {
      role: "system",  
      content: "You are a friendly chatbot who always responds in the  
      style of a pirate",
    },
    {
     role: "user",
     content: "How many helicopters can a human eat in one sitting?", 
    },
  ],  
);

console.log(results);

Man beachte die nahezu 1:1-Beziehung zwischen den Parametern und Rückgabetypen von OpenAIs chat.completions.create und unserem chat_completions_create.

Der größte Vorteil von Open-Source-KI ist die Flexibilität bei den Modellen. Anders als OpenAI sind wir nicht auf einige zensierte Modelle beschränkt, sondern haben Zugriff auf so gut wie jedes verfügbare Modell.

Hier ein Beispiel für Streaming mit dem beliebten Mythalion-Modell, einer unzensierten MythoMax-Variante für Chats:

const pgml = require("pgml");
const client = pgml.newOpenSourceAI();
const it = client.chat_completions_create_stream(
  "PygmalionAI/mythalion-13b", 
  [
    {
     role: "system",
     content: "You are a friendly chatbot who always responds in the  
     style of a pirate",
    },
    {
     role: "user",  
     content: "How many helicopters can a human eat in one sitting?",
    },
  ],   
);

let result = it.next();
while (!result.done) {
  console.log(result.value);  
  result = it.next(); 
}

Wir haben auch asynchrone Versionen der create und create_stream Funktionen, create_async und create_stream_async. In unserer Dokumentation gibt es eine vollständige Anleitung für das Open-Source-KI-SDK inklusive Anleitungen zur Angabe benutzerdefinierter Modelle.

Fazit

PostgresML ist eine komplette MLOps-Plattform in einer einfachen PostgreSQL-Erweiterung. Es ist das Tool, das sich das Entwicklungsteam gewünscht hätte, als es MLOps bei Instacart in den Jahren starken Wachstums skalierte.

Grundsätzlich ermöglicht PostgresML PostgreSQL, als GPU-betriebene KI-Anwendungsdatenbank zu fungieren – wo sowohl Modelle gespeichert als auch Daten indiziert werden können. Das eliminiert die Notwendigkeit für die Vielzahl verschiedener Services, die für den ML-Workflow sonst zusammengebunden werden müssten.

Pgml + pgvector schaffen eine vollständige ML-Plattform in Open-Source-Erweiterungen für PostgreSQL. Das reduziert viel Komplexität in der Infrastruktur und ist letztendlich für die Anwender schneller.

Die Entwickler sind von der Kraft der In-Database- und Open-Source-ML/KI überzeugt. Sie laden dazu ein, die Kraft dieses Ansatzes selbst zu erleben.

PostgresML kann mit einer serverlosen Datenbank für $0 ausprobiert werden, mit nutzungsbasierter Abrechnung ab nur 5 Cent pro Stunde und GB GPU-Cache. Sogar ein kostenloses Ausprobieren auf der Homepage ist möglich.

Rückmeldungen kann man den Entwicklern per E-Mail oder über ihren Discord-Kanal zukommen lassen.