DEPLOY IT / PIVOT · GPU Test Lab

GPU 추론 테스트 보고서

PIVOT 검증 환경 (샘플) · 정상 완료

기준 대비 현재 GPU 실측

항목MLPerf 공식 기준선택 LLM 예상치현재 GPU 실측 · 두 기준 대비
모델 / 조건일치하는 공식 결과 미등록Qwen/Qwen3-30B-A3B-Instruct-2507Q8_0 / 4096 contextQwen/Qwen3-30B-A3B-Instruct-2507Q8_0 / 4096 context
생성 속도 (tok/s)기준 미등록5896.77
MLPerf 대비공식 제출 ID·모델·시나리오 확인 필요해당 없음비교 불가 · 공식 기준 미등록현재 실행은 MLPerf가 아닌 Ollama 프로파일입니다.
LLM 예상치 대비해당 없음llmfit 계산값 · 성능 보장 아님166.84% 수준 · +66.84% 차이 (참고)
GPU 메모리 (GiB)자료 없음39.52권장/예상 필요량30.61측정 중 최대 사용량 · 예상 필요량과 정의가 다름
평균 GPU 전력 (W)공식 전력 결과 미등록예상치 미제공204.77
전력 설정 / 복원동일 전력 조건 필요전력 제한을 반영한 예상치 아님저전력 · 기본 한도 80%GPU 식별자 비공개: 260 → 208 W이전 한도 복원: 확인 완료일반 모드 결과와 동일 조건으로 비교하지 마세요.
에너지 (Wh / 1천 토큰)공식 전력 결과 미등록예상치 미제공0.6
출처 / 판정MLCommons 공식 결과출처 안내 링크이며 해당 GPU 결과 등록을 뜻하지 않습니다.backend_constant테스트 요청 당시 저장된 예상치정상 완료 · 합격/불합격 기준 미설정2026-09-19T01:40:18.362960+00:00

LLM 대비 비율은 계산값과 실측의 참고 차이입니다. 엔진·입력 조건이 다를 수 있어 성능 달성률이나 합격 판정이 아닙니다. MLPerf와 모델·GPU 수·시나리오·지표 정의가 다른 측정의 비율은 계산하지 않습니다.

테스트 환경 모니터링 · 정상 완료

측정을 완료했습니다. 동일 모델·양자화·컨텍스트 예상치와 비교하세요.

완료 추론 24 / 24회 · 온도 중단 87°C · 팬 61% (여러 GPU는 최고값)

종료된 테스트의 기록 · 실시간 값 아님

GPU 최고 온도 78 °C
10000s97.5s중단 87°C관측 최고 81 °C
GPU 합산 전력 129.1 W
30000s97.5s관측 최고 210.8 W
GPU 최고 사용률 0 %
10000s97.5s관측 최고 95 %
GPU 합산 VRAM 31,343 MiB
31,34300s97.5s관측 최고 31,343 MiB

그래프는 모델 로딩·예열·추론 구간입니다. 다운로드 중에는 GPU 그래프를 수집하지 않습니다. 사용률·팬 미지원은 미확인으로 표시합니다. GPU 전력은 서버 전체 전력이 아니며 CPU·흡기 온도는 이 화면의 측정 대상이 아닙니다.

작업 ID샘플 작업
모델Qwen/Qwen3-30B-A3B-Instruct-2507
양자화Q8_0
컨텍스트4,096
상태정상 완료
측정 시각2026-09-19T01:40:18.362960+00:00
모델 파일 식별자모델 파일 식별자 생략
실행 엔진 버전0.34.2
생성 속도 (tok/s)96.77
완료 횟수24
평균 GPU 전력 (W)204.77
1,000 토큰당 에너지 (Wh)0.6
최고 온도 (°C)82
최대 VRAM 사용 (GiB)30.61

예상치 · 현재 저장된 사이징

작업 당시 예상치가 아닐 수 있습니다. 모델·양자화·컨텍스트가 일치하는 현재 자료만 표시합니다.

예상 생성 속도 (tok/s)58
예상 산출 방식backend_constant
사이징 수집 시각2026-09-18T14:35:55.437101+00:00

측정 조건 및 해석

deployit-text-energy-v1 · 동시 요청 1 · 출력 제한 256 · Thinking OFF · 예열 제외. GPU 보드 전력이며 서버 전체 소비전력이 아닙니다. 모델 로딩 에너지는 포함하지 않습니다. 서로 다른 엔진·모델 파일·입력 조건의 결과를 성능 배수로 단정하지 마세요.

현재 저장된 하드웨어 · 측정 당시 정보와 구분

GPUQuadro RTX 8000
GPU 수1
VRAM (GiB)45
VM RAM (GiB)31.34
vCPU8

작업 메시지: 측정을 완료했습니다. 동일 모델·양자화·컨텍스트 예상치와 비교하세요.

보고서 생성 2026-09-19T01:40:42.438Z · 미측정 값은 0으로 대체하지 않습니다.