Skip to content
AI 도구

Galileo AI 리뷰

Galileo AI는 오프라인 평가를 생성형 AI 애플리케이션 및 에이전트를 위한 프로덕션 가드레일로 전환하는 AI 관측성 및 평가 엔지니어링 플랫폼입니다.

shipped 2026년 7월 3일aifreemium
ai
Galileo AI — product screenshot

핵심 포인트

1개발자를 위한 무료 티어가 포함된 프리미엄 가격 모델을 제공합니다.
2통합 및 프로그래밍 방식 액세스를 위한 API를 제공하며, 문서는 https://docs.galileo.ai/galileo에서 확인할 수 있습니다.
3ISO 27001 및 SOC 2 Type II 인증을 획득했으며, HIPAA 준수 인프라 및 사업자 계약(BAA)을 제공합니다.
4AI 평가를 위해 Llama 3B 및 8B 아키텍처에 미세 조정된 독점 Luna-2 모델을 활용하여 0.95의 정확도를 달성합니다.

Galileo AI 소개

비즈니스 모델
Subscription SaaS
사용량 기반 요금
$0.0733 per eval
플랫폼
Web, SaaS
대상 사용자
Enterprises and developers building AI systems.

요금제

Pricing Tier 1
$0.0733 / per-unit
  • Evaluate agent behavior
  • Production guardrails
  • Auto-tunes metrics
  • Custom evaluators

비용 예시

  • 1 eval: ~$0.0733

리더십

Waseem AlshikhCo-founder | CTO
Vijoy PandeySVP, Outshift by Cisco
Surojit ChatterjeeCEO and Co-founder, Ema
Santiago PomboGroup Product Manager, NVIDIA
Randall NewmanChief Product Officer | Co-founder, Satisfi Labs
Mikiko ChandrasekharStaff Developer Advocate, MongoDB
João MouraCEO and Co-founder, CrewAI
Jim NottinghamSVP, Advanced Compute Solutions, HP
Alex KlugHead of Product, Data Science & AI, HP

사양

API 제공 여부

예, 공개 API

overview

Galileo AI란 무엇인가요?

Galileo AI는 Cisco가 인수할 예정인 Galileo(회사)가 개발한 AI 관측성 및 평가 엔지니어링 플랫폼으로, AI 팀, 엔터프라이즈 개발자 및 데이터 과학자가 오프라인 평가를 GenAI 애플리케이션 및 에이전트를 위한 프로덕션 가드레일로 전환할 수 있도록 합니다. 이는 목적에 맞게 구축된 평가 모델(Luna-2)과 런타임 보호 기능을 갖춘 엔터프라이즈급 에이전트 모니터링을 제공하며, 복잡한 프로덕션 실패 디버깅에 중점을 둡니다.

features

Galileo AI의 주요 기능

Galileo AI는 생성형 AI 애플리케이션 및 에이전트의 신뢰성과 성능을 향상시키기 위해 설계된 포괄적인 기능 세트를 제공합니다. 이러한 기능은 독점 모델과 엔터프라이즈급 인프라를 활용하여 평가, 모니터링 및 보호를 포함합니다.

  • 강력한 평가 데이터 세트를 위한 groundtruth 데이터를 캡처합니다.
  • RAG 품질, 에이전트 신뢰성, 안전 및 보안을 위한 20개 이상의 내장 메트릭을 사용하여 환각, PII 유출, 편향과 같은 문제를 감지하고 정확한 평가를 구축합니다.
  • Llama 3B 및 8B 아키텍처에 미세 조정된 독점 Luna-2 Small Language Models (SLMs)를 사용하여 대규모로 평가를 실행하며, 0.95의 정확도와 평균 152ms의 지연 시간을 제공합니다.
  • 실시간 피드백을 통한 자동 튜닝을 구현하여 AI 시스템 성능을 지속적으로 개선합니다.
  • 에이전트 동작에 대한 가시성을 확보하고, 프로덕션 트래픽에서 실패 모드, 엣지 케이스 및 드리프트를 식별합니다.
  • 프로그래밍 방식 액세스 및 기존 워크플로 통합을 위한 API를 활용하며, 문서는 https://docs.galileo.ai/galileo에서 확인할 수 있습니다.
  • 도구 선택 품질 및 지침 정확도를 포함하여 다중 에이전트 AI 시스템을 특별히 다루는 엔터프라이즈급 에이전트 모니터링을 제공합니다.
  • 코드 변경 없이 유해 콘텐츠, 프롬프트 인젝션 및 PII 유출에 대한 가드레일을 정의하는 Agent Control 기능을 포함한 런타임 보호를 제공합니다.
  • GenAI 애플리케이션 및 에이전트의 복잡한 프로덕션 실패 디버깅을 지원합니다.
  • OpenAI GPT 5.4 모델 지원 및 Anthropic, AWS Bedrock, Azure와 같은 주요 LLM 제공업체와의 확장된 엔터프라이즈 통합을 제공합니다.

use cases

누가 Galileo AI를 사용해야 하나요?

Galileo AI는 생성형 AI 애플리케이션 및 에이전트를 개발, 배포 및 관리하는 AI 팀, 엔터프라이즈 개발자 및 데이터 과학자를 위해 주로 설계되었습니다. 그 기능은 이러한 고급 AI 시스템의 신뢰성, 안전성 및 성능을 보장하는 데 있어 중요한 요구 사항을 해결합니다.

  • AI 팀: 개발 및 프로덕션 수명 주기 전반에 걸쳐 포괄적인 평가 및 모니터링 기능을 제공하여 AI 애플리케이션을 더 빠르게 출시할 수 있습니다.
  • 엔터프라이즈 개발자: 엔터프라이즈 규모에서 대규모 언어 모델 및 에이전트 AI 시스템을 평가, 모니터링 및 보호하여 규정 준수 및 성능을 보장합니다.
  • 데이터 과학자: AI 시스템의 환각, 드리프트, 편향과 같은 문제를 감지하고 수정하며, 에이전트 동작의 실패 모드를 식별하고 해결책을 제시합니다.
  • 프로덕션 가드레일이 필요한 조직: 오프라인 평가 메트릭을 실시간 프로덕션 가드레일로 전환하여 실패를 방지하고 안전 및 보안 정책 준수를 보장합니다.

how to use

Galileo AI 사용 방법

Galileo AI를 활용하는 것은 플랫폼을 생성형 AI 애플리케이션 및 에이전트의 개발 및 배포 파이프라인에 통합하는 것을 포함합니다. 이 과정은 일반적으로 데이터 수집 및 평가 메트릭 설정으로 시작하여 지속적인 모니터링 및 가드레일 구현으로 이어집니다.

  • 1Galileo Python SDK를 통합하여 실험 내에서 다중 턴 대화 및 사용자 지정 메트릭을 평가합니다.
  • 2특정 AI 애플리케이션 사용 사례를 위한 groundtruth 데이터를 캡처하고 평가 데이터 세트를 정의합니다.
  • 3RAG 품질, 안전 및 보안을 위한 20개 이상의 내장 옵션을 포함하여 평가 메트릭을 구성합니다.
  • 4Luna-2 모델 또는 기타 지원되는 LLM을 사용하여 대규모로 평가를 실행하여 성능을 평가하고 문제를 식별합니다.
  • 5엔터프라이즈급 에이전트 모니터링을 사용하여 에이전트 동작, 드리프트 및 실패 모드에 대한 프로덕션 트래픽을 모니터링합니다.
  • 6유해 콘텐츠 및 PII 유출에 대한 가드레일을 적용하기 위해 런타임 보호 및 Agent Control 기능을 구현합니다.

pricing

Galileo AI 가격 및 요금제

Galileo AI는 프리미엄 모델로 운영되며, 초기 탐색 및 개발을 위한 무료 티어와 확장된 엔터프라이즈 운영을 위한 사용량 기반 가격 책정을 제공합니다. 주요 비용 측정 기준은 평가당이며, 비용 효율적인 평가를 위해 독점 Luna-2 모델을 활용합니다.

  • 무료 티어: 전 세계 개발자에게 제공되며, 공급업체 웹사이트에 특정 제한 사항이 명시되어 있습니다.
  • 가격 티어 1: 평가당 $0.0733.

Pros

  • +Leverages proprietary Luna-2 models for high-accuracy (0.95) and low-latency (152ms) AI evaluation, enabling real-time monitoring of 100% of production traffic.
  • +Offers a comprehensive agent reliability platform with specific metrics for autonomous, multi-step AI agents, addressing complex failure modes.
  • +Enables the conversion of offline evaluation metrics into real-time production guardrails, ensuring consistent quality from development to deployment.
  • +Provides enterprise-grade compliance, including ISO 27001 and SOC 2 Type II certifications, with HIPAA-compliant infrastructure and Business Associate Agreements (BAAs).
  • +Includes an Autotune feature that improves LLM-as-a-judge metric performance by allowing users to provide natural language feedback.
  • +Demonstrated significant market traction with 834% revenue growth since early 2024 and adoption by six Fortune 50 companies.

Cons

  • Users have reported a potential learning curve for navigating more complex projects within the platform.
  • Some feedback indicates occasional difficulty in locating specific features, which may necessitate seeking support.
  • The proprietary nature of the Luna-2 models might offer less transparency compared to open-source evaluation frameworks for some users.
  • Primarily focused on GenAI applications and agents, potentially offering less breadth for traditional machine learning model monitoring compared to broader AI observability platforms.
  • The existence of a former UI design tool also named Galileo AI (now Google Stitch AI) can lead to initial confusion regarding the product's identity.

정책

무료 티어

Vendor website advertises a free tier.

가격 페이지

가격 보기

유사한 도구

Galileo AI 대 경쟁사

Galileo AI는 AI 관측성 및 평가 플랫폼의 경쟁 환경에서 운영되며, 에이전트 AI 시스템, 독점 평가 모델 및 엔터프라이즈급 프로덕션 가드레일에 중점을 두어 차별화됩니다. 주요 경쟁사들은 추적, 통합 및 오픈 소스 옵션에서 다양한 강점을 제공합니다.

1

LangSmith is a complete AI agent and LLM observability platform with tracing and real-time monitoring, deeply integrated into the LangChain ecosystem.

Similar to Galileo AI in providing observability and evaluation for GenAI applications and agents, LangSmith offers tight integration with the LangChain framework, while Galileo AI emphasizes its proprietary Luna-2 models for real-time protection and automated metrics.

2

Braintrust is an end-to-end platform that uniquely integrates evaluation directly into agent observability, offering comprehensive trace capture, automated scoring, and CI/CD quality gates.

Braintrust provides a full AI quality lifecycle, akin to Galileo AI's eval-to-guardrail approach, but it distinguishes itself with an evaluation-first architecture and CI/CD quality gates that can block deployments based on quality regressions.

3

Langfuse is an open-source, engineering-centric LLM observability platform offering flexibility, data control, deep observability, evaluations, and prompt management.

While both provide observability and evaluation, Langfuse is open-source and prioritizes flexibility and data control, contrasting with Galileo AI's proprietary, all-in-one platform with opinionated guardrail evaluators.

4

Arize AI specializes in AI observability with advanced capabilities for monitoring ML and LLM systems in production, including embedding clustering and drift detection.

Arize AI focuses on comprehensive monitoring of ML and LLM systems with sophisticated drift detection, whereas Galileo AI emphasizes turning offline evaluations into real-time production guardrails for GenAI agents using its purpose-built evaluation models.

AI Reputation Report

Is Galileo AI yours?

ChatGPT, Perplexity, Gemini, Claude & Grok answer buyer questions about Galileo AI every day. See whether they name Galileo AI — or send buyers to a rival.