XFI Performance

Jetson AGX Orin Jetpack 36.4.4 에서 HDMI 모니터를 연결했을 때/안 했을 때
10GbE(XFI) 대역폭(iperf3 throughput)이 유의미하게 차이 나는 현상을 확인하고,

• 단순 재현인지
• 특정 방향(TX/RX)만 영향인지
• CPU/IRQ/softirq/GUI 부하와 연관인지

를 정량적으로 검증하는 것이 목적.

https://forums.developer.nvidia.com/t/gui-hdmi-setting-affect-xfi-performance/288388

GUI HDMI setting affect XFI performance

 

상기 포럼에 의하면 JETPACK 36.4.4에서 Issue Fixed 되었다고 함

테스트 환경

• JETPACK: 36.4.4
• 장비: Jetson AGX Orin 32GB 2대
  • SERVER 보드1: AGX Orin (Native 10G 동작안함) + Intel 10G PCIe NIC + jetson_clock 사용
  • CLIENT 보드2: AGX Orin + Native 10G Port(XFI)

 

Test ID	HDMI 연결	jetson_clocks	방향	Avr (Gbps)	CPU0 (%)	IRQ	비고
T1	OFF	OFF	TX (Client→Server)	4.7 Gbits	58%	CPU0	중간중간 속도가 올라가는 증상 있음
T2	OFF	OFF	RX (-R, Server→Client)	9.4 Gbits	100%	CPU0
T3	ON	OFF	TX (Client→Server)	7.5 Gbits	88%	CPU0	중간중간 속도가 내려가는 증상 있음
T4	ON	OFF	RX (-R, Server→Client)	9.4 Gbits	100%	CPU0
T5	OFF	ON	TX (Client→Server)	9.4 Gbits	63%	CPU0	중간중간 속도가 내려가는 증상 있음
T6	OFF	ON	RX (-R, Server→Client)	9.4 Gbits	88%	CPU0
T7	ON	ON	TX (Client→Server)	7.8 Gbits	87%	CPU0	중간중간 속도가 내려가는 증상 있음
T8	ON	ON	RX (-R, Server→Client)	9.4 Gbits	90%	CPU0

이전 포럼 사례들은 테스트 조건이 일정하지 않아, 본 검증에서는 HDMI 연결 유무 및 jetson_clocks 적용 여부를 분리하여 10GbE(XFI) throughput을 측정하였다.

 

측정 결과, RX(-R) 방향은 HDMI 연결 유무 및 jetson_clocks 적용 여부와 관계없이 약 9.4Gbps로 안정적으로 유지되었으며, HDMI 유무에 따른 유의미한 차이는 확인되지 않았다.

반면 TX 방향은 테스트 조건에 따라 throughput 변동이 관측되었고, 특히 jetson_clocks OFF 조건에서 상대적으로 큰 성능 저하가 발생하였다.

 

따라서 본 검증 기준으로, JetPack 36.4.4 환경에서 HDMI 연결 유무만으로 10GbE(XFI) throughput 차이가 결정된다고 보기 어렵고, 성능 변동은 HDMI 연결 자체보다는 DVFS 기반 클럭 정책(특히 EMC/CPU 클럭 변화)의 영향이 더 큰 것으로 판단된다.

 

또한 NVIDIA 포럼에 따르면 Jetson 플랫폼은 기본적으로 **DVFS(Dynamic Voltage and Frequency Scaling)**가 활성화되어 있으며, HDMI 출력이 없는(headless) 상태에서는 디스플레이 부하가 감소함에 따라 EMC(External Memory Controller) clock이 낮아질 수 있다.

이 경우 10GbE와 같이 메모리 대역폭 의존도가 높은 워크로드에서 throughput 저하가 발생할 수 있으므로, 클럭을 최대치로 유지하기 위해 sudo jetson_clocks 사용을 권장하고 있다.
(참고 포럼: https://forums.developer.nvidia.com/t/35-4-1-lan-tx-performace-is-getting-lower-when-hdmi-is-plug-out-ee/269294/21 )

[35.4.1] LAN Tx performace is getting lower when HDMI is plug out -EE

 

EMC 동작과 관련하여 NVIDIA 공식 문서의 Memory Power Management 가이드는 다음과 같은 흐름으로 이해할 수 있다.

HDMI 출력이 존재하는 경우

• GPU/디스플레이 하드웨어가 활성화됨
• 메모리 대역폭 요구가 증가함
• SoC가 EMC clock을 상대적으로 높은 수준으로 유지할 가능성이 있음

HDMI 출력이 없는(headless) 경우

• 디스플레이 부하가 감소함
• DVFS 정책에 따라 EMC clock이 낮아질 수 있음
• 메모리 대역폭 변화에 따라 10GbE throughput 저하가 발생할 수 있음

(참고 문서: https://docs.nvidia.com/jetson/archives/r36.4.4/DeveloperGuide/SD/PlatformPowerAndPerformance/JetsonOrinNanoSeriesJetsonOrinNxSeriesAndJetsonAgxOrinSeries.html#memory-power-management )

Jetson Orin Nano Series, Jetson Orin NX Series and Jetson AGX Orin Series — NVIDIA Jetson Linux Developer Guide