gst로 야누스 webrtc를 사용하기 위해 기록함

• jetson 성능 최대화

  sudo nvpmodel -m 0 #최대 성능 모드
  sudo jetson_clocks #모든 CPU 코어와 GPU가 최대 클럭으로 설정
  

• cuda 사용을 위한 opencv 빌드

  • 아래 사이트 참고하여 빌드하였으나, 최종적으로는 CUDA를 사용하지 못함, 아니 CUDA가 필요 없었음

  https://qengineering.eu/install-opencv-on-jetson-nano.html

• gstreamer 빌드

  • 아래 페이지를 참고하여 gst 빌드

  https://developer.ridgerun.com/wiki/index.php/Compile_gstreamer_on_Jetson_TX1_and_TX2

  • gst를 빌드해서 그런 것이었는지, 아니면 위 cuda 를 위한 opencv 빌드 때문인지 모르겠지만 nvdec를 사용하게 됨 → 이건 원래 제트팩에 들어가 있었는지 확인이 더 필요함

• 2개의 빌드를 통해서 webRTC를 사용하려고 했으나, 아래 파이썬 코드에서 GstWebRTC를 호출하지 못함

  from gi.repository import Gst
  gi.require_version('GstWebRTC', '1.0')
  

• 여러가지 해 봤는데, 그냥 gst 라이브러리를 설치 해 보기로 함

  • 아래 사이트에 나온 것 처럼 gst 라이브러리를 설치해서 GstWebRTC를 import할 수 있도록 함

  https://gstreamer.freedesktop.org/documentation/installing/on-linux.html?gi-language=c

  • 라이브러리를 순서대로 설치해 봤는데, bad 플러그인 설치할 때 OpenCV를 덮어 써서 CUDA를 사용하지 못하게 됨. 그런데, bad 플러그인 안에 webRTC 플러그인이 있음…

  apt-get install libgstreamer1.0-dev \\
  libgstreamer-plugins-base1.0-dev \\
  libgstreamer-plugins-bad1.0-dev \\ --> 이게 설치 되면서 opencv를 덮어 쓴다..
  gstreamer1.0-plugins-base \\
  gstreamer1.0-plugins-good \\
  gstreamer1.0-plugins-bad \\
  gstreamer1.0-plugins-ugly \\
  gstreamer1.0-libav \\
  gstreamer1.0-tools \\
  gstreamer1.0-x \\
  gstreamer1.0-alsa \\
  gstreamer1.0-gl \\
  gstreamer1.0-gtk3 \\
  gstreamer1.0-qt5 \\
  gstreamer1.0-pulseaudio
  

  • 시간이 더 있다면, 저렇게 한 후에 다시 OpenCV를 빌드해서 CUDA 사용 및 webRTC도 사용 가능한지 해 보고 싶은데, 결정적으로 우리 프로젝트에 CUDA를 사용할 일이 없을 것 같음.

• gst 파이프 라인은 다음과 같음.

  • 파이프 라인을 보면 rtsp 소스에서 h264 코덱으로 nvv4l2decoder를 사용해서 nvdec 하드웨어 엔진을 사용하고, 그걸 nvvidconv (vic 하드웨어 엔진)을 사용해서 다시 vp8enc에 넘겨 줌.
  • Orin nano의 경우 nvenc가 없다는 치명적인 단점으로 인해서 vp8enc를 썼는데, h264enc 보다 nano 리소스를 거의 잡아 먹지 않아서 vp8로 사용.
  • 아직 이슈가 많아서 상용화 하기엔 더 가야할 길이 많음...

  webrtcbin name=sendrecv bundle-policy=max-bundle
  rtspsrc location=rtsp_url ! queue ! rtph264depay ! 
  video/x-h264 ! nvv4l2decoder ! queue ! nvvidconv !
  queue ! vp8enc deadline=1 ! rtpvp8pay ! 
  queue ! application/x-rtp,media=video,encoding-name=VP8,payload=97 ! sendrecv.