CURATING CURIOSITY

다음과 같이 도커에 이름을 정하고 실행했다가 종료해도 컨테이너를 지우지 않다가 낭패본 경험이 많다. docker run --name [내가 사용하고 싶은 컨테이너 이름] ..... docker ps 를 입력하면 현재 실행되고 있는 컨테이너 이름이 나오고 docker ps -a를 입력하면 실행되었던 이력이 있는 컨테이너 이름들이 나오게 된다. 지저분해서 정리하려고 찾아보니 다음과 같이 상태에 따라서 모아서 컨테이너를 지우는 명령어가 있다. docker ps -a를 입력해 보면 status를 가지고 실행중인지 아니면 종료된 것인지를 알 수 있다. 대략 지워야 할 status는 'created','dead','exited' 세가지로 보인다. docker rm $(docker ps --all -q -f stat..

도커기반 개발을 하면서 사용하면서 이런 저런 도커 이미지를 생성하면서 아무 생각 없이 쓰다가 보면 저장공간이 급속히 줄어들어 결국 디스크가 모자라는 현상이 벌어진다. 도커 설치시에 저장공간을 지정하는 수도 있는데 이런 현상을 미리 예상하지 못하면 결국 기본(default) 디렉토리인 /var/lib/docker 안에 하나하나 쌓이게 된다. 개인적으로 256GB SSD와 외장하드를 쓰는데 SSD에 우분투 운영체제를 설치하고서 생각없이 도커를 사용하다보니 100GB이상을 쉽게 도커 이미지 관련한 파일 때문에 쓰는 것을 확인할 수 있었다. 이미 사용하던 중에 만들어 놓은 도커 이미지들 손상 없이 새로운 저장공간(개인적으론 하드디스크)으로 옮기는 방법을 고민하게 되었다. 다음 글의 내용은 바탕으로 시도해서 성공..

문제 docker에 pytorch 개발 환경을 구축하여 실행 시키고 컨테이너 안에서 관련 코드는 돌리니 다음과 같은 에러 메시지가 발생하였다. ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm) RuntimeError: DataLoader worker (pid 65) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit. 메모리 관련 크기가 작다는 것인데 다음 링크..

GPU를 활용가능한 도커 컨테이너들을 관리하기 위해 nvidia가 만든 nvidia-docker가 명령어가 기존의 docker 커맨드에 통합되는 듯 하다. 기존에 cpu 버전은 docker 명령어로 gpu버전은 nvidia-docker 명령어를 사용했는데 최근 (2019년 11월 현재 기준) 다시 서버를 세팅하면서 보니 docker 버전에 따라 다르지만 점차 docker 명령어의 태그 표현으로 사용할 수 있게 바뀌었다. docker를 설치하고 나서 nvidia-docker를 설치하고 나서 보니 nvidia-docker 명령어가 아예 없어서 처음엔 설치가 잘못된 것을 의심했는데 그게 아니었다. https://github.com/NVIDIA/nvidia-docker NVIDIA/nvidia-docker Bu..

다음 URL에 Dockerfile 기반 설치 방법이 잘 나와 있다. (추후에 필요한 부분만 따로 정리하자) http://www.science.smith.edu/dftwiki/index.php/Tutorial:_Docker_Anaconda_Python_--_4 Tutorial: Docker Anaconda Python -- 4 - dftwiki Tutorial: Docker Anaconda Python --D. Thiebaut (talk) 17:46, 16 July 2018 (EDT) This is Part 4 of a tutorial on using Docker. In this tutorial we explore the creation of containers containing all the envir..

도커 컨테이너와 호스트 컴퓨터 간에 디스플레이 연결을 위해 먼저 호스트 컴퓨터에 다음 명령을 입력한다. $ xhost +local:docker 도커 컨테이너에서 윈도우 같은 결과를 보고 싶을 때 다음과 같이 부가 옵션을 넣어 실행하면 된다. nvidia-docker run -it -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=$DISPLAY -e QT_X11_NO_MITSHM=1 -p 5000:5000 -p 8888:8888 -v $(pwd):/workspace [패키지 이름] /bin/bash 컨테이너에서 실행한 GUI(ex. 윈도우)를 호스트에서 볼 수 있기 위한 옵션은 다음을 추가하면 된다. -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLA..

도커를 실행 시키고 외부의 IDE 개발툴에서 개발하고 소스와 실행은 도커에서 실행시켜보고 싶을 때 필요한 방법 중 하나로 Visual Studio Code의 강력한 원격 개발 확장 플러그인(Remote Development)을 사용하여 도커에 접속하여 개발하는 방법을 다루고자 한다. Extension 설치(Remote Development) 다음 그림과 같이 마이크로 소프트에서 remote development로 검색하고 설치 버튼을 누르면 도커(컨테이너)에 원격 접속하는 기능 이외에 SSH로 접속하는 모듈까지 한꺼번에 설치할 수 있다. 도커 실행 도커로 필요한 컨테이너를 실행한다. 마침 pytorch를 공부하고 있던 참이므로 다음과 같이 입력하여 도커를 띄운다. 자신이 필요한 이미지 파일을 실행시키면 ..

[problem] docker로 실행 중 그래프나 이미지를 결과로 보고 싶을 때 [solution] 도커 세팅에 디스플레이 관련한 옵션을 추가한다. 우분투 18.04환경에서 파이썬(텐서플로우) 환경에서 돌려보았다. nvidia-docker run --rm -it -v /run/user/1000:/run/user/1000 -v /dev:/dev -v /tmp/.X11-unix:/tmp/.X11-unix:ro --privileged --ipc=host --shm-size=256m --net=host -e DISPLAY=$DISPLAY -e XDG_RUNTIME_DIR=/run/user/1000 -v $(pwd):/workspace [도커 컨테이너 명] [연결이 안되는 경우] 호스트에 다음과 같은 코드를 실행..