search

Performance Evaluation

모델 변환 성능을 높이기 위한 모니터링 방법

Performance Evaluation 기능이 필요한 이유는 다음과 같습니다.

rknn으로 모델을 변환하거나, 경량화를 진행했을 때 성능이 형편없어졌다고 하면 (대부분 그렇지만) 우리는 어디가 문제인지 알아야 합니다.

예를 들어, 모델의 inference time이 너무 길 때 어느 레이어에서 시간과 자원을 많이 소모하고 있는지 layer by layer로 분석해야 할 필요가 있습니다.

hashtag
Performance Evaluation

Performance Evaluation 기능은 각각의 레이어에서 얼마만큼의 시간이 소요되었는지 알려줍니다. 이전 챕터에서 다뤘던 Depth Anything을 예시로 계속 진행해 보도록 하겠습니다.

하단의 코드 역시 rknn이 설치되어 있는 Ubuntu 컴퓨터에 adb 모드로 오렌지 파이를 연결하고 실행하는 것을 권장합니다. 

import numpy as np
import cv2
from rknn.api import RKNN

if __name__ == '__main__':

    # Create RKNN object
    rknn = RKNN(verbose=True)

    # Pre-process config
    print('--> Config model')
    rknn.config(
        mean_values=[[0.485*255, 0.456*255, 0.406*255]],  
        std_values=[[0.229*255, 0.224*255, 0.225*255]],
        quant_img_RGB2BGR=True, 
        target_platform='rk3588')
    print('done')

    # load rknn model
    print('--> Load rknn model')
    ret = rknn.load_rknn('depth_anything_vits_OP19.rknn')
    if ret != 0:
        print('Load rknn model failed!')
        exit(ret)
    print('done')

    # Set inputs
    img = cv2.imread('front.jpg')
    img = np.expand_dims(img, 0)

    print('--> List devices')
    rknn.list_devices()

    # Init runtime environment
    print('--> Init runtime environment')
    ret = rknn.init_runtime(target='rk3588', perf_debug=True, eval_mem=True, core_mask=RKNN.NPU_CORE_0_1_2)
    if ret != 0:
        print('Init runtime environment failed!')
        exit(ret)
    print('done')

    print('--> Get sdk version')
    sdk_version = rknn.get_sdk_version()
    print(sdk_version)

    # eval perf
    print('--> Eval perf')
    rknn.eval_perf()

    # eval perf
    print('--> Eval memory')
    rknn.eval_memory()

    # Inference
    print('--> Running model')
    outputs = rknn.inference(inputs=[img], data_format=['nhwc'])
    np.save('./depth_anything_eval_perf.npy', outputs[0])
    # show_outputs(outputs)
    print('done')

    rknn.release()

rknn.eval_perf() 함수를 실행하면 다음과 같은 txt 파일이 생성됩니다.

여기서 주의 깊게 보아야 할 항목들은 다음과 같습니다.

  • DDRCycles (Double Data Rate)

    • 메모리 접근에 필요한 사이클 수 (데이터를 DDR RAM에서 읽거나 쓰는 데 소요되는 사이클)

    • 높은 DDR 사이클은 메모리 병목 현상을 의미할 수 있음

  • NPUCycles

    • NPU에서 실제 연산을 수행하는 데 필요한 사이클 수

  • Time

  • MacUsage (MAC : Multiply-Accumulate)

    • a*b+c

    • NPU에서 제공하는 MAC 유닛의 사용률

    • 100%에 가까울 수록 해당 레이어가 NPU의 MAC 리소스를 효율적으로 사용하고 있다는 의미

    • 높은 MAC usage : 추가적인 최적화 필요 없음

    • 낮은 MAC usage : 추가적인 최적화 여지 있음

  • WorkLoad

  • RW

따라서 DDR 사이클이 높은 레이어는 메모리를 최적화하고, NPU 사이클이 높은 레이어는 연산을 최적화하거나 Quantization을 할 필요가 있습니다. Total Cycle이 높은 레이어가 주요한 관찰 대상입니다.

eval_perf로 생성되는 텍스트 파일 하단에 레이어 순위가 적혀 있으니 이를 참고하시면 좋을 것 같습니다.

Previous모델 경량화 : PruningNextAccuracy Analysis

Last updated