Запуск заданий с использованием GridWay.
- Предварительные действия
- Создание файла описания задания (Job Template)
- Запуск задания
- Доступные ресурсы
- Статус задания
- История выполнения задания
- Результаты выполнения
- Дополнительная информация
Этот практикум демонстрирует как запускать простые задания, используя метапланировщик GridWay. Прежде чем начать практикум, убедитесь, что у вас уже создан прокси-сертификат. Как создать прокси и проверить его наличие можно посмотреть здесь.
Предварительные действия
Прежде чем выполнять какие-либо действия необходимо получить прокси-сертификат для того чтобы получить доступ к грид-ресурсам.
$ voms-proxy-init -voms gilda Enter GRID pass phrase: Your identity: /DC=es/DC=irisgrid/O=ucm/CN=joseluis.vazquez Cannot find file or dir: /home/jlvazquez/.glite/vomses Creating temporary proxy ................................................. Done Contacting voms.ct.infn.it:15001 [/C=IT/O=INFN/OU=Host/L=Catania/CN=voms.ct.infn.it] "gilda" Done Creating proxy ...................................... Done Your proxy is valid until Tue Jun 3 08:22:47 2008
Создание файла описания задания (Job Template)
Для запуска задания прежде всего необходимо создать файл описания задания (Job Template). Простейший файл описания задания для GridWay выглядит так:
EXECUTABLE=/bin/ls
Сохраним его с именем jt в поддиректории example.
Запуск задания
Используя команду gwsubmit запустим задание на выполнение.
$ gwsubmit -t example/jt -v JOB ID: 26
- Использованные опции команды:
-t- путь к файлу описания задания относительно текущей директории-v- вывод на экран идентификатора задания (JOB ID)
Доступные ресурсы
Для того чтобы получить список всех вычислительных ресурсов Грид, доступных в настоящий момент, используется команда gwhost.
$ gwhost HID PRIO OS ARCH MHZ %CPU MEM(F/T) DISK(F/T) N(U/F/T) LRMS HOSTNAME 0 1 Scientific Linu i686 1800 0 4096/4096 0/0 0/42/56 jobmanager-lcgpbs iceage-ce-01.ct.infn.it 1 1 Scientific Linu i686 2800 0 513/513 0/0 0/10/10 jobmanager-lcgpbs grid011f.cnaf.infn.it 2 1 Scientific Linu i686 800 0 256/256 0/0 0/7/8 jobmanager-lcgpbs grid004.iucc.ac.il 3 1 Scientific Linu i686 1400 0 2048/2048 0/0 0/55/56 jobmanager-lcgpbs grid010.ct.infn.it 4 1 Scientific Linu i686 1001 0 513/513 0/0 0/14/14 jobmanager-lcgpbs gilda-01.pd.infn.it 5 1 `lsb_release -i i686 2400 0 1025/1025 0/0 0/10/11 jobmanager-lcglsf grid-ce.bio.dist.unige.i 6 1 ScientificSLBer i686 3000 0 1024/1024 0/0 0/5/16 jobmanager-lcgpbs gn0.hpcc.sztaki.hu
Если вы хотите получить более подробную информацию об определённом ресурсе, используйте команду gwhost с указанием идентификатора ресурса (HID).
$ gwhost 0 HID PRIO OS ARCH MHZ %CPU MEM(F/T) DISK(F/T) N(U/F/T) LRMS HOSTNAME 0 1 Scientific Linu i686 1800 0 4096/4096 0/0 0/42/56 jobmanager-lcgpbs iceage-ce-01.ct.infn.it QUEUENAME SL(F/T) WALLT CPUT COUNT MAXR MAXQ STATUS DISPATCH PRIORITY short 42/56 4320 2880 0 0 0 Producti batch 1 long 42/56 4320 2880 0 0 0 Producti batch 1 infinite 42/56 4320 2880 0 0 0 Producti batch 1
Можно также получить список ресурсов, которые удовлетворяют требованиям конкретного задания (REQUIREMENTS),
указав опцию -m и идентификатор задания.
gwhost -m 26 HID QNAME RANK PRIO SLOTS HOSTNAME 0 short 0 1 42 iceage-ce-01.ct.infn.it 0 long 0 1 42 iceage-ce-01.ct.infn.it 0 infinite 0 1 42 iceage-ce-01.ct.infn.it 1 gilda 0 1 10 grid011f.cnaf.infn.it 2 short 0 1 7 grid004.iucc.ac.il 2 long 0 1 7 grid004.iucc.ac.il 2 infinite 0 1 7 grid004.iucc.ac.il 3 infinite 0 1 55 grid010.ct.infn.it 3 long 0 1 55 grid010.ct.infn.it 3 short 0 1 55 grid010.ct.infn.it 4 gilda 0 1 14 gilda-01.pd.infn.it 5 gilda 0 1 10 grid-ce.bio.dist.unige.i 6 gilda 0 1 5 gn0.hpcc.sztaki.hu
Статус задания
После запуска можно проверить ход выполнения задания при помощи команды gwps.
USER JID DM EM START END EXEC XFER EXIT NAME HOST jlvazquez 26 pend ---- 20:40:53 --:--:-- 0:00:00 0:00:00 -- jt -- USER JID DM EM START END EXEC XFER EXIT NAME HOST jlvazquez 26 wrap ---- 20:40:53 --:--:-- 0:00:04 0:00:00 -- jt iceage-ce-01.ct.infn.it/jobmanager-lcgpbs USER JID DM EM START END EXEC XFER EXIT NAME HOST jlvazquez 26 wrap pend 20:40:53 --:--:-- 0:00:32 0:00:00 -- jt iceage-ce-01.ct.infn.it/jobmanager-lcgpbs USER JID DM EM START END EXEC XFER EXIT NAME HOST jlvazquez 26 wrap actv 20:40:53 20:43:09 0:01:49 0:00:00 0 jt iceage-ce-01.ct.infn.it/jobmanager-lcgpbs USER JID DM EM START END EXEC XFER EXIT NAME HOST jlvazquez 26 done ---- 20:40:53 20:43:09 0:01:49 0:00:00 0 jt iceage-ce-01.ct.infn.it/jobmanager-lcgpbs
Вначале задание находится в состоянии pending и ему не назначен никакой ресурс.
Затем задание пересылается на iceage-ce-01.ct.infn.it/jobmanager-lcgpbs, ожидает в его очереди (состояние wrapper pending),
выполняется (состояние wrapper active) и затем завершается (состояние done). Для мониторирования состояния
(обновления вывода без повторного вызова команды) необходимо запустить команду gwps с опцией -c,
указав временной интервал обновления.
История выполнения задания
Для вывода полной истории выполнения задания используется команда gwhistory.
$ gwhistory 26 HID START END PROLOG WRAPPER EPILOG MIGR REASON QUEUE HOST 0 20:41:20 20:43:09 0:00:00 0:01:49 0:00:00 0:00:00 ---- short iceage-ce-01.ct.infn.it/jobmanager-lcgpbs
Результаты выполнения
Пришло время получить результаты выполнения задания. По умолчанию выходной файл с результатами выполнения помещается в ту же директорию где находится файл описания задания под именем sdtout_file.$JOB_ID.
$ ls -lt example total 8 -rw------- 1 jlvazquez users 0 Jun 2 20:43 stderr.26 -rw------- 1 jlvazquez users 42 Jun 2 20:43 stdout.26 -rw-r--r-- 1 jlvazquez users 19 Jun 2 20:42 jt $ cat example/stdout.26 job.env stderr.execution stdout.execution
Поздравляем! Вы выполнили первое задание в Грид с использованием GridWay.
Дополнительная информация
Для получения дополнительной информации посетите сайт документации по GridWay .
Статистика сайта