S3 버킷이 이제 SSD가 됩니다

AWS S3로 대표되는 클라우드 객체 스토리지는 비할 데 없는 확장성과 비용 효율성을 제공합니다. 그러나 그 근본적인 API 기반 특성은 중요한 역설을 만듭니다. 기존 POSIX 호환 파일 시스템용으로 구축된 애플리케이션은 직접 인터페이스하는 데 어려움을 겪습니다. 이러한 불일치로 인해 개발자는 코드를 다시 작성하거나 형편없는 성능을 감수해야 합니다. 표준 도구는 개별 데이터 객체를 검색하기 위한 고지연 네트워크 호출이 아닌 로컬 파일 시스템 의미 체계를 기대하기 때문입니다.

JuiceFS는 투명한 추상화 계층 역할을 하여 이 문제를 해결합니다. 이는 파일 메타데이터를 원시 데이터 청크와 근본적으로 분리합니다. 파일 시스템 레이아웃, 권한 및 디렉터리 구조를 포함하는 메타데이터는 Redis 또는 Postgres와 같은 빠르고 강력한 데이터베이스에 저장됩니다. 동시에 원시 데이터 청크는 S3와 같은 서비스의 무한한 확장성을 활용하여 선택한 클라우드 공급자로 직접 지능적으로 푸시됩니다.

진정한 혁신은 JuiceFS의 공격적인 다단계 캐싱 엔진에 있습니다. 이 "비밀 병기"는 자주 액세스하는 데이터 블록을 로컬 NVMe 드라이브에 미리 가져와 저장합니다. 초기 데이터 액세스에는 네트워크 지연이 수반되지만, 이후 요청은 하드웨어 라인 속도로 이 로컬 캐시에서 즉시 제공됩니다. 이를 통해 까다로운 애플리케이션도 클라우드 객체 스토리지에서 직접 실행될 수 있으며, 느리고 API에 묶인 리소스를 고성능 POSIX 호환 로컬 드라이브로 전환합니다.

클라우드 스토리지에서 로컬 드라이브를 구축하는 것은 메타데이터 엔진으로 시작합니다. Docker를 사용하여 Redis 인스턴스를 실행하세요. 이 데이터베이스는 파일 시스템의 레이아웃, 권한 및 디렉터리 구조를 관리합니다. 이 중요한 첫 단계는 JuiceFS가 데이터를 메타데이터와 분리하여 성능을 최적화할 수 있는 기반을 마련합니다.

다음으로, `juicefs format` 명령을 사용하여 파일 시스템을 초기화합니다. Redis 연결 문자열, S3 버킷 이름 및 클라우드 액세스 자격 증명을 제공합니다. 이 명령은 Redis 내에 스토리지 스키마를 구성하고, S3 버킷 자체를 변경하지 않고 새 가상 파일 시스템에 고유한 UUID를 할당합니다.

`juicefs mount` 명령을 사용하여 가상 드라이브를 로컬 디렉터리 경로에 마운트합니다. 명령을 Redis 인스턴스와 원하는 로컬 폴더로 지정합니다. macOS 사용자는 사용자 지정 파일 시스템 지원을 활성화하기 위해 macFUSE가 필요하며, 이는 JuiceFS가 작동하는 데 필요한 커널 확장을 제공합니다.

`--free-space-ratio` 플래그를 사용하여 로컬 캐시 관리를 최적화합니다. 이 매개변수는 로컬 캐시 드라이브가 지정된 용량 비율 미만으로 떨어질 때 JuiceFS가 오래되고 덜 액세스된 캐시 블록을 적극적으로 제거하도록 지시하여 로컬 드라이브의 공간 부족을 방지합니다. 기본값은 20%이며, 이 비율을 조정하는 것은 효율적인 스크래치 공간 활용을 위한 핵심입니다.

이러한 성능 변화를 증명하려면, 새로 마운트된 JuiceFS 드라이브를 고전적인 `dd` 유틸리티를 사용하여 벤치마크합니다. 이 명령은 JuiceFS 마운트에서 큰 비디오 파일(예: `input.mp4`)을 읽고, 실제 복사를 방지하기 위해 출력을 `/dev/null`로 리디렉션하며, JuiceFS의 데이터 청킹과 일치하도록 블록 크기(`bs`)를 4메가바이트로 설정합니다. `time`을 앞에 붙여 실행 시간을 측정합니다.

이 `dd` 명령을 "콜드 읽기" 테스트를 위해 한 번 실행하십시오. 파일이 최근에 업로드되었고 아직 로컬에 캐시되지 않았기 때문에, JuiceFS는 인터넷을 통해 클라우드에서 모든 4MB 데이터 청크를 가져와야 합니다. 이 초기 실행은 원격 Amazon S3 - Cloud Object Storage에서 데이터가 스트리밍되므로 네트워크 제한 지연 시간을 보여주며, 상당히 더 긴 시간이 소요됩니다.

이제 정확히 동일한 `dd` 명령을 두 번째로 실행하십시오. 터미널 프롬프트는 거의 즉시 반환되며, 1초도 안 되는 시간에 완료됩니다. 이 "핫 읽기"는 JuiceFS의 효율성을 보여줍니다: 데이터는 이제 인터넷을 완전히 우회하여 하드웨어 라인 속도로 로컬 SSD 캐시에서 직접 제공됩니다.

이 극적인 속도 차이는 JuiceFS의 다단계 캐싱 엔진의 강력함을 강조합니다. 콜드 읽기 동안 JuiceFS는 다운로드된 청크를 로컬 NVMe 스크래치 디스크에 조용히 복사했습니다. 후속 요청은 이 캐시된 데이터에 액세스하여 기본 로컬 드라이브와 구별할 수 없는 성능을 제공합니다.

JuiceFS는 클라우드 네이티브 배포를 근본적으로 변화시키며, Kubernetes 클러스터 전반에 걸쳐 영구 스토리지를 위한 강력한 솔루션을 제공합니다. 이는 모든 노드에 값비싼 클라우드 블록 스토리지를 프로비저닝할 필요성을 없애고, 인프라 비용을 크게 절감하며 스토리지 관리를 단순화합니다. 클러스터는 대규모 S3 기반 데이터세트에 대한 공유 액세스를 얻어, 데이터 집약적인 애플리케이션 배포를 간소화하고 전반적인 리소스 효율성을 향상시킵니다.

AI 및 Machine Learning 파이프라인은 이 직접적인 클라우드 객체 스토리지 통합으로부터 엄청난 이점을 얻습니다. 훈련 스크립트는 이제 페타바이트 규모의 S3 데이터세트에 대해 즉시 실행되며, 모든 것을 먼저 로컬로 다운로드해야 하는 전통적이고 시간 소모적인 요구 사항을 우회합니다. 이 기능은 모델 개발을 극적으로 가속화하여, 데이터 집약적인 워크로드에 대한 더 빠른 반복과 컴퓨팅 리소스의 더 효율적인 활용을 가능하게 합니다.

내장된 관측 가능성은 스토리지 작업에 대한 심층적인 통찰력을 제공합니다. JuiceFS는 표준 Prometheus 엔드포인트를 노출하여 캐시 적중률, 읽기/쓰기 처리량 및 지연 시간과 같은 중요한 측면에 대한 세분화된 메트릭을 제공합니다. 사용자는 ngrok을 사용하여 이 엔드포인트를 쉽게 터널링하고 Better Stack과 같은 관측 가능성 플랫폼을 구성하여 이러한 메트릭을 스크랩할 수 있습니다. 이 설정은 실시간 성능 대시보드와 사전 예방적 경고를 가능하게 하여 최적의 스토리지 상태와 효율성을 보장합니다.

JuiceFS란 무엇인가요?

JuiceFS는 클라우드 객체 스토리지(예: AWS S3)를 로컬 드라이브로 마운트할 수 있게 해주는 오픈 소스 고성능 분산 파일 시스템으로, 클라우드 확장성과 로컬 성능을 결합합니다.

JuiceFS는 클라우드 스토리지로 어떻게 로컬 드라이브 속도를 달성하나요?

JuiceFS는 다단계 캐싱 엔진을 사용합니다. 메타데이터(파일 구조, 권한)를 Redis와 같은 빠른 데이터베이스에 분리하고 데이터 청크는 클라우드에 저장합니다. 파일에 액세스하면 로컬 SSD에 캐시되어 후속 읽기가 하드웨어 라인 속도로 이루어집니다.

JuiceFS를 시작하려면 무엇이 필요한가요?

세 가지 주요 구성 요소가 필요합니다: 클라우드 객체 스토리지 버킷(예: AWS S3), 메타데이터 데이터베이스(예: Redis), 그리고 머신에 설치된 JuiceFS 클라이언트. macOS의 경우 macFUSE도 설치해야 합니다.

여러 머신이 동일한 JuiceFS 볼륨을 마운트할 수 있나요?

Yes, JuiceFS is designed for concurrent access. Multiple clients or pods in a Kubernetes cluster can mount and share the same JuiceFS volume simultaneously, making it ideal for shared persistent storage.