InferenceX MI325X 기준 기록을 넘어: DeepSeek 처리량 60% 증가
ProsGrow는 AMD MI325X GPU 2개에서 GPU당 초당 364.6개의 출력 토큰을 측정했습니다. DeepSeek V4.1 Flash의 공개 GPU 2개·세션 32개 기준 기록보다 60% 높은 수치입니다.
글 읽기 : InferenceX MI325X 기준 기록을 넘어: DeepSeek 처리량 60% 증가ProsGrow 엔지니어링
AI 모델과 추론 서빙 시스템의 발전을 기업 워크로드에 적용한 실측 결과를 성능, 품질, 비용 간의 절충 관계와 함께 소개합니다.
ProsGrow는 AMD MI325X GPU 2개에서 GPU당 초당 364.6개의 출력 토큰을 측정했습니다. DeepSeek V4.1 Flash의 공개 GPU 2개·세션 32개 기준 기록보다 60% 높은 수치입니다.
글 읽기 : InferenceX MI325X 기준 기록을 넘어: DeepSeek 처리량 60% 증가AMD MI325X GPU 4개로 동시 벤치마크 세션 1개에서 디코딩 응답 속도 중앙값 492.6 토큰/초/사용자를 기록했습니다. 공개된 H200 4개 기준 기록보다 48.3% 높은 수치입니다.
글 읽기 : ProsGrow가 DeepSeek에서 MI325X로 H200 기준 기록보다 48% 높은 성능을 낸 방법ProsGrow는 MI325X GPU 8개 서버의 동시 요청 4개 에이전트 벤치마크에서 GLM-5.2 출력 처리량을 199% 높였습니다. 기존 인프라에서 더 많은 성능을 얻을 수 있는 기회입니다.
글 읽기 : ProsGrow Managed Inference로 AMD GPU에서 GLM-5.2 처리량을 거의 3배로동일한 AMD MI325X GPU 8개에서 실험적 서빙 구성으로 입력 8K토큰·출력 256토큰 요청의 시간 중앙값을 9.57초에서 6.37초로 줄였습니다.
글 읽기 : ProsGrow가 AMD에서 Kimi K3 전체 요청 처리량을 50% 높인 방법ProsGrow는 세션 32개의 DeepSeek V4.1 Flash 벤치마크에서 평균 첫 토큰 도착 시간을 1.52초에서 0.80초로 줄이면서 출력 처리량을 16.7% 높였습니다.
글 읽기 : ProsGrow가 AMD MI300X GPU에서 DeepSeek의 첫 토큰 대기 시간을 47% 줄인 방법동일한 AMD MI325X GPU 8개에서 DeepSeek V4.1 Flash의 콜드 첫 토큰 지연 시간이 최대 32% 감소했으며, 원래 체크포인트 정밀도를 유지했습니다.
글 읽기 : ProsGrow가 DeepSeek v4 Flash 첫 토큰 지연 시간을 최대 32% 줄인 방법MiniMax-H3 서버 추론은 동일한 GPU 8개에서 19.392초에서 8.913초로 줄었습니다. 별도 Wan 시험은 준비 상태 지연 시간을 59.1% 줄였습니다.
글 읽기 : ProsGrow가 MiniMax-H3 영상 추론 지연 시간을 54% 개선하는 방법Whisper 벤치마크 처리량은 GPU 8개에서 실제 1시간당 원본 오디오 약 7,200시간으로 환산됩니다. 처리량이 2.63% 증가했고 정확도 테스트도 통과했습니다.
글 읽기 : ProsGrow가 Whisper로 시간당 7,200시간 분량의 오디오를 처리한 방법동일한 GPU에서 Qwen3 출력 처리량이 17,961에서 41,651토큰/초로 증가했습니다. 132% 향상은 ProsGrow 초기 구성을 기준으로 측정했습니다.
글 읽기 : ProsGrow가 Qwen3 배치 처리량을 132% 높인 방법단일 GPU 정밀도 변경으로 32.5% 향상한 뒤 GPU 8개 벤치마크에서 시간당 이미지 변형 59,881장을 달성했습니다. 노드 프로파일링으로 공유 자원이 결과 전달을 제한하는 지점을 확인했습니다.
글 읽기 : ProsGrow가 시간당 FLUX.2 이미지 변형 59,881장을 달성한 방법SciFact 기준 nDCG@10의 99.58%를 유지하면서 원시 벡터 저장 공간이 75% 줄었습니다. 별도의 정밀도 연구에서는 임베딩 처리량이 69.10% 증가했습니다.
글 읽기 : ProsGrow가 RAG 원시 벡터 저장 공간을 75% 줄인 방법문서 질의응답은 동일한 GPU 8개에서 시간당 45,978건을 달성했습니다. 프로파일링으로 숨은 작업량 불균형을 밝혀 3.07%의 추가 처리 능력을 확보했습니다.
글 읽기 : ProsGrow가 시간당 문서 질문 45,978건을 처리한 방법
ProsGrow AI는 프로덕션 배포, 최적화, GPU 운영을 위한 AI 추론 최적화 인프라를 구축합니다.
글 읽기 : ProsGrow AI, Microsoft·Google Cloud·AWS 스타트업 프로그램과 함께 AI 인프라 및 추론 시스템 확장
ProsGrow AI는 NVIDIA Inception 회원이 되어 배포, 최적화, GPU 운영을 위한 AI 추론 최적화 인프라를 구축하고 있습니다.
글 읽기 : ProsGrow AI, NVIDIA Inception 프로그램 합류