앱
AI·머신러닝
모델 실행·서빙
Cpp
외부링크
GGUF 모델을 단일 바이너리 기반으로 가볍게 실행하기 좋은 추론 도구
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
공식 링크형
제공
공식 배포처
다운로드
2
git clone https://github.com/LostRuins/koboldcpp && cd koboldcpp && make
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Cpp
외부링크
GGUF 모델을 CPU와 GPU에서 가볍게 돌릴 수 있게 해주는 로컬 추론 엔진
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
공식 링크형
제공
공식 배포처
다운로드
4
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
QA-Pilot는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
4
git clone https://github.com/reid41/QA-Pilot && cd QA-Pilot
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
로컬 모델을 웹 UI로 다루는 대표적인 LLM 실행 환경
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/oobabooga/text-generation-webui && cd text-generation-webui && ./start_linux.sh
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
고성능 LLM 서빙과 배치 추론을 우분투 서버에서 빠르게 시작할 수 있는 런타임
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
python3 -m pip install vllm
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
Shell-Pilot는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/reid41/shell-pilot && cd shell-pilot
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
AI-Mask는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/pacoccino/ai-mask && cd ai-mask
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
Alpa는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/alpa-projects/alpa && cd alpa
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
CTransformers는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/marella/ctransformers && cd ctransformers
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
ChatUI는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/huggingface/chat-ui && cd chat-ui
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
Cortex는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/janhq/cortex.cpp && cd cortex.cpp
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
DeepSpeed는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/microsoft/DeepSpeed && cd DeepSpeed
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
Everything-Rag는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/AstraBert/everything-rag && cd everything-rag
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
ExLlama는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/turboderp/exllama && cd exllama
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
ExLlamaV2는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/turboderp/exllamav2 && cd exllamav2
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
FastChat는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/lm-sys/FastChat && cd FastChat
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
LLM as a Chatbot Service는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/deep-diver/LLM-As-Chatbot && cd LLM-As-Chatbot
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
LLMFarm는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/guinmoon/LLMFarm && cd LLMFarm
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
Llama-Cpp-Python는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/abetlen/llama-cpp-python && cd llama-cpp-python
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
Llama2.Rs는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/srush/llama2.rs && cd llama2.rs
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
LmScript는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/lucasavila00/LmScript/ && cd LmScript
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
LoLLMS는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/ParisNeo/lollms && cd lollms
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
LoRAX는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/predibase/lorax && cd lorax
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.
앱
AI·머신러닝
모델 실행·서빙
Python
외부링크
Oobabooga는 로컬 모델 실행과 API 서빙, 추론 성능 점검에 잘 맞는 우분투용 AI 런타임입니다.
★★★★★ 평가 없음
버전
AI 도구 최신 공개판
설치 방식
Python 서비스형
제공
공식 배포처
다운로드
1
git clone https://github.com/oobabooga/text-generation-webui && cd text-generation-webui
최신 배포본 유지나 대용량 자료 제공을 위해 공식 사이트와 배포 페이지로 연결됩니다.