오류 메시지는 파일 시스템이 읽기 전용으로 마운트된 Linux 시스템에서 cgroup을 수정하려고 할 때 문제가 있음을 나타냅니다. 이 문제는 컨테이너 및 컨테이너화되지 않은 애플리케이션을 오케스트레이션하는 클러스터 관리자 및 스케줄러인 Nomad가 관리하는 환경에서 발생할 수 있습니다.

Error log

...
Apr 25 11:27:31 raspberrypi nomad[20120]:     2024-04-25T11:27:31.007+0100 [INFO]  client.proclib.cg1: initializing nomad cgroups: cores=0-3
Apr 25 11:27:31 raspberrypi nomad[20120]:     2024-04-25T11:27:31.008+0100 [ERROR] agent: error starting agent: error="client setup failed: failed to initialize process manager: failed to create nomad cgroup memory: mkdir /sys/fs/cgroup/memory: read-only file system"
Apr 25 11:27:31 raspberrypi systemd[1]: nomad.service: Service RestartSec=100ms expired, scheduling restart.

참고 : https://discuss.hashicorp.com/t/escape-characters-recognized-as-a-variable-in-template-stanza/40525

Nomad를 통해 Ops작업을 수행할 때 sysbatch 타입의 Job에 Ansible을 raw_exec로 실행하면 전체 노드에서 일괄로 작업을 수행할 수 있다.

HCL로 작성된 Job의 경우 Nomad CLI 또는 UI 접속이 가능하다면 바로 적용 가능하다.

job "2048-game" {
  datacenters = ["dc1"]
  type        = "service"
  group "game" {
    count = 1 # number of instances

    network {
      port "http" {
        static = 80
      }
    }

    task "2048" {
      driver = "docker"

      config {
        image = "alexwhen/docker-2048"

        ports = [
          "http"
        ]

      }

      resources {
        cpu    = 500 # 500 MHz
        memory = 256 # 256MB
      }
    }
  }
}

GitHub 리소스 : https://github.com/Great-Stone/nomad-springboot-graceful-shutdown

테스트 환경

• Gradle 7.4.2
• Java 11
• Spring Boot 2.7.7
• Nomad 1.4.3

• vs-code를 local이 아닌 환경에서 사용할 수 있도록 도와주는 code-server의 예시입니다.
• 이 code의 변수는 nomad variable를 활용해서 배포합니다.

변수 선언

• web ui 접근 password와 code-server terminal에서 사용 할 sudo의 password 를 변수로 선언했습니다.

# nomad var put {path기반의 varialbes} key=vaule
$ nomad var put code/config password=password

Nomad

• Java Driver : https://developer.hashicorp.com/nomad/docs/drivers/java
• Schecuduler Config : https://developer.hashicorp.com/nomad/api-docs/operator/scheduler

• Nomad autoscaler 배포 후 사용할 수 있는 기능 중에 하나
• Dynamic application sizing(DAS)의 기능이 설정되어 있는 job을 배포 한 이후 autoscaler job에서 resource의 권고를 받아올 수 있음
• 권고 받은 값을 사용자가 확인 후 허용할 경우 job의 resource의 변화가 정상적으로 적용됨

autoscaler job은 기존에 사용하던 job을 사용

• AutoScaler job

• AWS에 EFS를 Nomad CSI로 활용
• full code는 아래 github를 참고
  • 참고 github: https://github.com/Great-Stone/nomad-demo-with-ecs
    • branches: ung

https://www.nomadproject.io/docs/configuration/ui

Nomad ui 설정에 다음과 같이 Consul과 Vault의 링크를 추가할 수 있습니다.

ui {
  enabled =  true

  consul {
    ui_url = "https://consul.example.com:8500/ui"
  }

  vault {
    ui_url = "https://vault.example.com:8200/ui"
  }
}

Nomad를 Windows환경에 구성하고 실행을위해 서비스로 등록하는 방법을 알아봅니다. 솔루션 실행 환경 또는 운영/개발자의 익숙함 정도에 따라 다양한 OS를 선택하여 애플리케이션을 배포하게 됩니다. Nomad를 통해 배포를 위한 오케스트레이터를 Windows 환경에 적용하고 서비스에 등록하여 상시적으로 실행될 수 있도록하는 구성을 안내합니다.

Port 구성

참고 url : Port used