CANN SDK를 활용한 신경망 성능 최적화 교육 과정

CANN 최적화 기능 개요

• CANN에서 추론 성능 처리 방식
• 엣지 및 임베디드 AI 시스템의 최적화 목표
• AI 코어(AI Core) 사용률 및 메모리 할당 이해

그래프 엔진(Graph Engine)을 활용한 분석

• 그래프 엔진 및 실행 파이프라인 소개
• 연산자 그래프 및 런타임 지표 시각화
• 최적화를 위한 계산 그래프 수정

프로파일링 도구 및 성능 지표

• 워크로드 분석을 위한 CANN 프로파일링 도구(profiler) 사용
• 커널 실행 시간 및 병목 현상 분석
• 메모리 접근 프로파일링 및 타일링 전략

TIK를 활용한 커스텀 연산자 개발

• TIK 및 연산자 프로그래밍 모델 개요
• TIK DSL을 사용한 커스텀 연산자 구현
• 연산자 성능 테스트 및 벤치마킹

TVM을 활용한 고급 연산자 최적화

• CANN과 TVM 통합 소개
• 계산 그래프를 위한 오토튠링(Auto-tuning) 전략
• TVM과 TIK 간 전환 시점 및 방법

메모리 최적화 기법

• 메모리 레이아웃 및 버퍼 배치 관리
• 온칩(on-chip) 메모리 사용량 감소 기법
• 비동기 실행 및 재사용을 위한 모범 사례

실무 배포 및 사례 연구

• 사례 연구: 스마트시티 카메라 파이프라인의 성능 튜닝
• 사례 연구: 자율주행차 추론 스택 최적화
• 반복적 프로파일링 및 지속적 개선을 위한 지침

요약 및 다음 단계