docker - 각종 트러블슈팅

[이미지가 삭제되지 않는 문제]

what I did

docker rmi a42

what I expected

이미지가 삭제됨

 

error
>> Error response from daemon: conflict: unable to delete a427a50f1301 (must be forced) - image is being used by stopped container c650817e060a

 

solution

docker ps -a # exit한 컨테이너까지 모두 확인
docker rm 921 # 관련 컨테이너 삭제

 

 

[nvcc fatal : Value 'sm_86' is not defined for option 'gpu-architecture']

what I did & what I expected

stylegan2의 Dockerfile 활용, 이미지 빌드하고 컨테이너 실행함

python project_images.py /disk1/zzalgun_psp/raws /disk1/zzalgun_psp/projection/ --network-pkl=/disk1/zzalgun_psp/pretrained_models/ffhq-256-config-e-003810.pkl
# input image optimization

 

error
>> nvcc fatal : Value 'sm_86' is not defined for option 'gpu-architecture'

 

what I tried

nvcc --help

sm_86이 없음

 

solution

pull 하는 이미지를 tensorflow/tensorflow 에서 nvcr.io/nvidia/tensorflow로 수정

(참고 : https://issueexplorer.com/issue/NVlabs/stylegan2-ada/10 )

 

# 수정 전
FROM tensorflow/tensorflow:1.15.0-gpu-py3-jupyter

# 수정 후
FROM nvcr.io/nvidia/tensorflow:20.10-tf1-py3

 

 

[RuntimeError: DataLoader worker (pid 2619) is killed by signal: Bus error. (공유 메모리)]

what I did & what I expected

pixel2style2pixel train 코드 실행

 

error

>> RuntimeError: DataLoader worker (pid 2619) is killed by signal: Bus error.

docker container의 shared memory 문제라고 함.

 

what I tried

train 파라미터에서 worker, batch 축소 → 동일 에러 발생

df -h

 

shm(shared memory)가 64MB 밖에 안 되는 것 확인

 

solution

container에 할당된 공유 메모리의 default 크기가 64MB

docker container를 새로 생성하되 공유 메모리 크기 옵션을 따로 설정 --shm-size 4G

NV_GPU=1 nvidia-docker run --name bernice-psp --shm-size 4G -it -v $(pwd):/workspace -v $(readlink -f disk1):/disk1 nvcr.io/nvidia/pytorch:21.09-py3 /bin/bash