Операційний центр

Операційна діяльність

Регіональні чергові оператори

Технічна документація

Користувачам

Налаштування клієнтів ARC1, ARC2

Розбіжності

Тут показані розбіжності між вибраною ревізією та поточною версією сторінки.

Посилання на цей список змін

--- tech:arcce [2013/08/06 11:43]
Andrii Salnikov [Інформаційна система]
+++ tech:arcce [2013/08/06 13:55] (поточний)
Борецький Олександр [... приорітетність елементів зберігання при наявності декількох реплік файла?]
@@ Рядок 7: / Рядок 7: @@
 Після запуску базового обчислювального елементу, наполегливо рекомендую прочитати посібник адміністратора [[http://www.nordugrid.org/documents/arc-ce-sysadm-guide.pdf|ARC Computing Element System Administrator Guide]] та іншу документацію, що можна знайти на офіційному сайті [[http://www.nordugrid.org/documents/|Nordugrid]] для найбільш ефективного персоналізованого налаштування вашого обчислювальнгого елементу.
-Інструкція орієнтована на останню версію програмного забезпечення Nordugrid ARC (13.02.3) та оновлюється у випадку виходу нових версій.
+Інструкція орієнтована на останню версію програмного забезпечення Nordugrid ARC (13.02.3) та оновлюється у випадку виходу нових версій((попередня інструкція знахидиться [[tech:arc1|тут]].)).
 ===== Підготовка до інсталяції ARC CE =====
@@ Рядок 20: / Рядок 20: @@
 Пакети Nordugrid ARC доступні з [[tech:repos|репозиторіїв Nordugrid, EMI, UMD та навіть Fedora/EPEL]]. Ви можете обрати будь-який з репозиторіїв на свій смак, враховуючи необхідність в іншому програмному забезпеченні, що наявне в репозиторіях. Незалежно від встановлення грід-специфічних репозиторіїв інсталяція [[tech:repos#EPEL|EPEL]] є обов'язковою.
-Окрім пакетів Nordugrid ARC необхідно встановити [[tech:repos#egi_trustanchors|репозиторій EGI Trustanchors]] (у випадку використання UMD - все підключений) для встановлення сертифікатів довірених центрів сертифікації (в тому числі [[https://ca.ugrid.org|UGRID CA]]).
+Окрім пакетів Nordugrid ARC необхідно встановити [[tech:repos#egi_trustanchors|репозиторій EGI Trustanchors]] (у випадку використання UMD - вже підключений) для встановлення сертифікатів довірених центрів сертифікації (в тому числі [[https://ca.ugrid.org|UGRID CA]]).
 Для спрощення конфігурації програмного забезпечення грід, для дистрибутивів Scientific Linux 6.x розроблено [[tech:repos#blackjack|репозиторій Blackjack]], що насамперед містить пакети специфічні для роботи в УНГ. Так, наприклад, для підключення [[tech:sl_mirror|дзеркала Scientific Linux]] достатньо виконати команду:
@@ Рядок 36: / Рядок 36: @@
 === Синхронізація часу ===
 Переконайтесь, що на машині встановлено правильний час. Без правильно встановленого часу, захищений зв'язок через мережу неможливий.
-Якщо ви не використовуєте локальні джерела синхронізації часу на обчислювальному кластері, набульш раціональним варіантом синхронізації є використання NTP((якщо ARC запущений на віртуальній машині, будь-ласка зверніться до документації вашого гіпервізора щодо особливостей використання NTP. Наприклад для KVM, NTP слід налаштовувати на машині з гіпервізором, а в віртуальній машині використовувати синхронізацію по системному годиннику)).
+Якщо ви не використовуєте локальні джерела синхронізації часу на обчислювальному кластері, найбільш раціональним варіантом синхронізації є використання NTP((якщо ARC запущений на віртуальній машині, будь-ласка зверніться до документації вашого гіпервізора щодо особливостей використання NTP. Наприклад для KVM, NTP слід налаштовувати на машині з гіпервізором, а в віртуальній машині використовувати синхронізацію по системному годиннику)).
 В UA-IX джерелом точного часу є сервери http://time.in.ua
@@ Рядок 51: / Рядок 51: @@
 === SELinux ===
-Пакети Nordugrid ARC розповсюджуються з базовим набором правил SELinux, проте через невелику кількість людей, що залишають SELinux включеним даних щодо коректності роботи правил на реально працюючій системі немає. Більш-того, якщо ви будете налаштовувати інші грід-сервіси, які не сумісні з SELinux на тій самій машині (наприклад [[tech:site-bdii|Site BDII]]) вам доведеться його відключити.
+Пакети Nordugrid ARC розповсюджуються з базовим набором правил SELinux, проте через невелику кількість людей, що залишають SELinux ввімкненим даних щодо коректності роботи правил на реально працюючій системі немає. Більш-того, якщо ви будете налаштовувати інші грід-сервіси, які не сумісні з SELinux на тій самій машині (наприклад [[tech:site-bdii|Site BDII]]) вам доведеться його вимкнути.
 Насьогодні найбільш безпечним та рекомендованим варіантом є переведення SELinux в стан Permissive або його повне вимкнення.
@@ Рядок 118: / Рядок 118: @@
   * ''nordugrid-arc-datadelivery-service'' - сервіс, до дозволяє керувати інфраструктурою передачі файлів (для інсталяцій з багатьма staging-серверами для балансування навантаження).
+===== Конфігурація ARC CE за 5 хвилин =====
+  - Для //**базової**// конфігурації ARC CE [[http://grid.org.ua/examples/arc.conf.basic|завантажте приклад файлу конфігурації]] та збережіть його як ''/etc/arc.conf''.
+  - Відредагуйте файл, замінюючи коментарі вигляду ''___E_MAIL_ADDRESS_TO_SEND_MAIL_FROM___'' значеннями, що відповідають вашій інсталяції.
+  - Приклад містить конфігурацію для надання ресурсів ВО ung.infrastructure, medgrid та moldyngrid. Внесіть відповідні зміни, щоб вказати актуальний список ВО, що будете підтримувати сами ви.
+  - Приклад містить конфігурацію для PBS, якщо ви використовуєте інший LRMS - змініть відповідні параметри.
 ===== Конфігурація ARC CE =====
@@ Рядок 132: / Рядок 138: @@
 Розглянемо основні параметри конфігурації всіх необхідних механізмів.
 ==== Загальні налаштування ====
 Налаштування, що впливають на всі основні сервіси (A-REX, GridFTP та інформаційну систему) винесені в окрему секцію [common] конфігураційного файлу ''arc.conf''.
@@ Рядок 155: / Рядок 160: @@
   nodememory="8000"
-Параметр ''nodememory'' не є обов'язковим, проте його доцільно визначити для виключення задач, що потребують більше пам'яті аніж є на нодах (така задача буде очыкувати вічно).
+Параметр ''nodememory'' не є обов'язковим, проте його доцільно визначити для виключення задач, що потребують більше пам'яті аніж є на  робочих вузлах (така задача буде очікувати вічно).
 ==== Базові налаштування A-REX ====
 Конфігурація базових параметрів A-REX відбувається в секції ''[grid-manager]''. Тут встановлюються параметри обробки задач (ліміти, часові інтервали, тощо), шляхи до необхідних файлів та директорій, параметри передачі файлів, журналів а також конфігуруються плагіни.
@@ Рядок 199: / Рядок 204: @@
   allownew="yes"
-В наведеному прикладі визначено порт для роботи (2811) та динамічні порти для передачі даних (9000-9300). Вказані значення є значеннями за замовчуванням, але їх явна присутність в конфігураційному файлі зменшує імовірність забути відкрити такі порти в фаерволі :-)
+В наведеному прикладі визначено порт для роботи (2811) та динамічні порти для передачі даних (9000-9300). Вказані значення є значеннями за замовчуванням, але їх явна присутність в конфігураційному файлі зменшує імовірність забути відкрити такі порти в фаєрволі :-)
 Параметр ''allowunknown'' визначає можливість авторизації користувачів, які відсутні в файлі відповідності (grid-mapfile). За базовою авторизацією виключно за файлом відповідності, інші користувачі не повинні буди авторизовані.
@@ Рядок 245: / Рядок 250: @@
 Таким чином необхідним елементом роботи є співставлення грід-ідентифікації (сертифікату користувача) та локального облікового запису - відображення користувачів.
-Найбільш простим варіантом є статичне відображення за так званим файлом відповідності (grid-mapfile), де кожному DN сертифікату користувача ставиться у відповідність локальне ім'я акаунту.
+Найбільш простим варіантом є статичне відображення за так званим файлом відповідності (grid-mapfile), де кожному DN сертифіката користувача ставиться у відповідність локальне ім'я акаунту.
 Самий простий спосіб - використовувати єдиний акаунт для всіх грід-користувачів, проте за такого варіанту контроль доступу фактично відсутній. Один грід-користувач може отримати доступ до даних чи завадити роботі завдання іншого грід-користувача (можливо і ненавмисне), адже в межах операційної системи вони працюють під одним і тим самим акаунтом.
@@ Рядок 359: / Рядок 364: @@
   resource_latitude="50.382906"
   resource_longitude="30.470279"
-  cpu_scaling_reference_si00="1600"
+  cpu_scaling_reference_si00="16750"
-  processor_other_description="Cores=4,Benchmark=8.2-HEP-SPEC06"
+  processor_other_description="Cores=2,Benchmark=67-HEP-SPEC06"
   glue_site_web="http://cluster.kiev.ua"
   glue_site_unique_id="UA-KNU"
   provide_glue_site_info="false"
   [infosys/admindomain]
   name="UA-KNU"
@@ Рядок 373: / Рядок 378: @@
 Після активації схем Glue, інформаційну систему ARC, як інформаційну систему ресурсу, можна прозоро додати до [[tech:site-bdii|Site-BDII]].
 ==== Реєстрація в індекси ====
+Для роботи клієнтів необхідна загальна множина ресурсів з якої можна обрати обчислювальний елемент, що відповідає вимогам задачі. Роль такої множини виконуються індески інформаційних систем, наявність яких виключає необхідність постановки задача на кожен кластер "вручну".
 === GIIS ===
+Історично першим та базовим індексом для Nordugrid ARC є індекс Grid Resource Information Index (GIIS)((сучасну останню версію GIIS, що працює на основі BDII називають EGIIS - Enhanced GIIS)).
+В Україні функціонує два GIIS сервіси - на ресурсах КНУ та ІТФ. Для реєстрації необхідно додати наступну конфігурацію:
+  [infosys/cluster/registration/KNU]
+  targethostname="giis.grid.org.ua"
+  targetport="2135"
+  targetsuffix="mds-vo-name=ukraine,o=grid"
+  regperiod="300"
+  [infosys/cluster/registration/BITP]
+  targethostname="lcg.bitp.kiev.ua"
+  targetport="2135"
+  targetsuffix="mds-vo-name=ukraine,o=grid"
+  regperiod="300"
 === EMIR ===
+Індексом нового покоління, що спирається на Glue2 і дозволяє прозоро працювати з WS-інтерфейсами є EMI Registry (EMIR). Для реєстрації в EMIR необхідно [[tech:emir|додатково налаштувати сервіс EMIR-SERP]], активувавши Glue2 схему.
+===== Запуск сервісів =====
+Перед запуском сервісів доцільно перевірити синтаксис конфігураційного файлу виконавши:
+  /etc/init.d/a-rex validate
+Після успішної валідації запустіть сервіси:
+  service gridftpd start
+  service a-rex start
+  service nordugrid-arc-slapd start
+  service nordugrid-arc-bdii start
+  service nordugrid-arc-inforeg start
 ===== Як налаштувати... =====
 ==== ... прив'язку задач ВО до певної черги? ====
+При наявності декількох черг виникає необхідність прив'язки задач певних ВО саме до певної черги.
+Особливо таке питання актуальне для приорітезації тестових завдань системи Nagios, щоб запезпечити їх приорітетне виконання в певній черзі LRMS.
+Щоб налаштувати таку прив'язку необхідно:
+. Активувати плагін ''arc-vomsac-check'' в секції ''[grid-manager]'':
+  authplugin="ACCEPTED 60 /usr/libexec/arc/arc-vomsac-check -L %C/job.%I.local -P %C/job.%I.proxy"
+. Додати параметри доступу за участю в ВО до конфігурації черг:
+    [queue/grid_rt]
+    ac_policy="VOMS: UATest"
+    ac_policy="VOMS: ops"
+    ac_policy="VOMS: dteam"
+    [queue/grid]
+    ac_policy="VOMS: moldyngrid"
+    ac_policy="VOMS: ung.infrastructure"
 ==== ... приорітетність елементів зберігання при наявності декількох реплік файла? ====
@@ Рядок 384: / Рядок 438: @@
   preferredpattern="storage.immsp.kiev.ua|.ua$"
-При такій конфігурації, при найявності файлу на storage.immsp.kiev.ua він буде отриманий саме з цього серверу, потім з будь-якого серверу ім'я якого закінчується на .ua а вже потім з усіх інших серверів.
+При такій конфігурації, при найявності файлу на storage.immsp.kiev.ua він буде отриманий саме з цього сховища даних, потім з будь-якого серверу ім'я якого закінчується на .ua а вже потім з усіх інших серверів.

tech/arcce.1375789434.txt.bz2 · В останнє змінено: 2013/08/06 11:43 Andrii Salnikov

Показати сторінку Старі ревізії

Media Manager Повернутися наверх