본문 바로가기

Evicted난 Pod 한번에 지우기 kubectl get pods -A | grep Evicted | awk '{print $1" "$2}' | xargs kubectl delete pods -n
ceph 상태가 Long heartbeat ping time ~ 일 때 갑자기 잘 되던 ceph가 안된다고 연락을 받았다. ceph 상태를 보니 다음과 같았다. [root@rook-ceph-tools /]# ceph -s cluster: id: - health: HEALTH_WARN Long heartbeat ping times on back interface seen, longest is 1394.570 msec Long heartbeat ping times on front interface seen, longest is 1395.070 msec services: mon: 1 daemons, quorum a (age 12m) mgr: a(active, since 45s) mds: myfs:1 {0=myfs-b=up:active} 1 up:standby-replay osd:..
ssh - Permission denied (publickey,gssapi-keyex,gssapi-with-mic). server에서 vm으로 ssh 접속을 시도하면 Permission denied (publickey,gssapi-keyex,gssapi-with-mic). 이런 에러가 나타나며 접근이 불가하다고 튕긴다. 이전에도 봤던 이슈인데 그 때에는 vm에 직접 붙지 못해 새로 만들어줬는데 지금은 기술이 발전하여 붙어서 볼 수 있으니 해결해볼까 한다. 먼저 ssh -v 옵션을 통해 디버그를 해봤다. 잘 된 경우를 먼저 본다. root@test:~# ssh [IP] -v OpenSSH_7.6p1 Ubuntu-4ubuntu0.3, OpenSSL 1.0.2n 7 Dec 2017 debug1: Reading configuration data /etc/ssh/ssh_config debug1: /etc/ssh/ssh_confi..
Tomcat 로그 EFK로 수집해보기 - 전제조건 : EFK는 이미 Kubernetes Cluster에 배포되어 있는 상태 쿠버네티스 로깅 아키텍처는 여러가지가 있는데 그 중 sidecar 방식을 택했다. 자꾸 키바나를 키아나라고 부르는 내 처지가 가슴이 웅장해진다... 적당히 정리하는 쪽으로 가겠다. EFK는 Elasticsearch + Fluted + Kibana 3개를 뜻한다. 예전인 ELK가 근본이였는데 Kube 환경과 CNCF 재단덕에 Fluted가 더 많이 쓰인다. Fluted가 로그를 elasticsearch로 보내고 수집된 로그들은 kibana를 통해 시각화 된다. 나는 tomcat 로그를 수집해보기로 했다. docker pull tomcat 톰캣 이미지를 끌어오고, 디플로이먼트를 만들어줬다. 파드로 만들어도 되긴 하는데 관리..
apt install error (/var/lib/dpkg/lock-frontend) 한 노드에서 패키지를 다운받으려고 할 때 아래와 같은 에러가 나타났다. ㅠ_ㅠ:~# apt install sysstat E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable) E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is another process using it? 다른 프로세스의 업데이트와 겹쳐 두 프로세스가 내용을 동시에 교체하지 못하게 하려고 이런 현상이 나타난다는데, 며칠동안 상황이 똑같아서 임의로 해결해주기로 하였다. ㅠ_ㅠ:/var/lib/apt/lists# ps -ef | grep a..