Yerel LLM'ler ve çalışma zamanı yönetimi için klavye ile çalışan başlatıcı
llml (LLM Launcher) ile klavye öncelikli bir iş akışını deneyimleyin, yerel Büyük Dil Modellerini ve çalışma zamanlarını yöneten bir Windows aracı olan Flying Nobita'dan. Araç, GGUF ve safetensors modelleri için yerel dosya sistemlerini tarar, llama.cpp, vLLM ve Ollama gibi çalışma zamanlarını tespit eder ve adlandırılmış başlatma parametrelerini TOML profilleri olarak saklar. Tek tuşla yürütme, sürekli bir durum satırı ve başlatmadan önce tam komutu gösteren bir TUI ile geliştiricilere ve tekrarlanabilir yerel model çalıştırmalarına ihtiyaç duyan araştırmacılara yöneliktir.
Uzun komut bayraklarını adlandırılmış, yeniden kullanılabilir profillerle değiştirir
llml otomatik olarak GGUF dosyalarını ve Hugging Face tarzı safetensors dizinlerini keşfeder ve bunları llama.cpp, vLLM, Ollama ve KoboldCpp gibi uyumlu çalışma zamanlarına eşler. Uygulama, karmaşık bayrak kombinasyonlarının tek bir seçilebilir yapılandırma haline gelmesi için başlatma parametrelerini adlandırılmış TOML profilleri olarak kaydeder. Bu yaklaşım, önceki komutlar için kabuk geçmişinde arama yapma ihtiyacını ortadan kaldırır ve hız ile kalite arasında ayrı ön ayarları tutmayı kolaylaştırır.
Kontrolü kompakt, klavye odaklı bir arayüzle yerel tutar
Aracın, çıplak bir terminal ile bir tarayıcı UI arasında yer alan bir Terminal Kullanıcı Arayüzü vardır; bu, R tuşunu kullanarak tek tuşla başlatma ve Ollama ön yüklemeleri gibi arka plan görevleri için sürekli bir durum satırı sağlar. Kullanıcıların parametreleri onaylamalarına yardımcı olmak için yürütmeden önce tam oluşturulan komutu gösterir. İkili dosya, masaüstü platformlarında mevcuttur ve Windows Paket Yöneticisi aracılığıyla Windows'a kurulur, böylece kontrol yerel makinede kalır.
Yapılandırılabilir yolları ve taşınabilir, paylaşılabilir yapılandırmaları destekler
Standart dışı depolama için, LLML_MODEL_PATHS ayarlayabilir veya özel model konumlarına işaret etmek için config.toml dosyasını düzenleyebilirsiniz; uygulama ardından bunları tarar. Profiller, optimize edilmiş ayarların makineler arasında içe aktarılabilmesi veya paylaşılabilmesi için taşınabilir TOML formatını kullanır. Bu ortam değişkeni yapılandırması ve düz metin profilleri kombinasyonu, ek orkestrasyon katmanlarına ihtiyaç duymadan yeniden üretilebilir, metin tabanlı dağıtım ayarlarına ihtiyaç duyan geliştiriciler, araştırmacılar ve hobi sahipleri için uygundur.
Tekrarlanabilirliği grafik araçları üzerinde tercih eden pratik, terminal odaklı bir seçenek
Uygulama, yerel LLM'leri çalıştıran ve tutarlı, tekrarlanabilir başlatmalara ihtiyaç duyan geliştiriciler ve araştırmacılar için pratik bir seçenektir; adlandırılmış TOML profilleri ve çalışma zamanı tespiti parametreleri açık tutar. Ana uyarı, kullanıcıların tam bir tarayıcı tabanlı grafik arayüz arayanlarla eşleşmeyebilecek terminal odaklılığıdır. İpucu: Tekrarlanabilir başlatmalar sağlamak için modelleri çalıştırmadan önce standart dışı dizinler için LLML_MODEL_PATHS ayarlayın ve bir TOML profili kaydedin.
