Тут показані розбіжності між вибраною ревізією та поточною версією сторінки.
tech:arcce [2013/08/06 10:43] Andrii Salnikov [Інформаційна система] |
tech:arcce [2013/08/06 13:55] (поточний) Борецький Олександр [... приорітетність елементів зберігання при наявності декількох реплік файла?] |
||
---|---|---|---|
Рядок 7: | Рядок 7: | ||
Після запуску базового обчислювального елементу, наполегливо рекомендую прочитати посібник адміністратора [[http://www.nordugrid.org/documents/arc-ce-sysadm-guide.pdf|ARC Computing Element System Administrator Guide]] та іншу документацію, що можна знайти на офіційному сайті [[http://www.nordugrid.org/documents/|Nordugrid]] для найбільш ефективного персоналізованого налаштування вашого обчислювальнгого елементу. | Після запуску базового обчислювального елементу, наполегливо рекомендую прочитати посібник адміністратора [[http://www.nordugrid.org/documents/arc-ce-sysadm-guide.pdf|ARC Computing Element System Administrator Guide]] та іншу документацію, що можна знайти на офіційному сайті [[http://www.nordugrid.org/documents/|Nordugrid]] для найбільш ефективного персоналізованого налаштування вашого обчислювальнгого елементу. | ||
- | Інструкція орієнтована на останню версію програмного забезпечення Nordugrid ARC (13.02.3) та оновлюється у випадку виходу нових версій. | + | Інструкція орієнтована на останню версію програмного забезпечення Nordugrid ARC (13.02.3) та оновлюється у випадку виходу нових версій((попередня інструкція знахидиться [[tech:arc1|тут]].)). |
===== Підготовка до інсталяції ARC CE ===== | ===== Підготовка до інсталяції ARC CE ===== | ||
Рядок 20: | Рядок 20: | ||
Пакети Nordugrid ARC доступні з [[tech:repos|репозиторіїв Nordugrid, EMI, UMD та навіть Fedora/EPEL]]. Ви можете обрати будь-який з репозиторіїв на свій смак, враховуючи необхідність в іншому програмному забезпеченні, що наявне в репозиторіях. Незалежно від встановлення грід-специфічних репозиторіїв інсталяція [[tech:repos#EPEL|EPEL]] є обов'язковою. | Пакети Nordugrid ARC доступні з [[tech:repos|репозиторіїв Nordugrid, EMI, UMD та навіть Fedora/EPEL]]. Ви можете обрати будь-який з репозиторіїв на свій смак, враховуючи необхідність в іншому програмному забезпеченні, що наявне в репозиторіях. Незалежно від встановлення грід-специфічних репозиторіїв інсталяція [[tech:repos#EPEL|EPEL]] є обов'язковою. | ||
- | Окрім пакетів Nordugrid ARC необхідно встановити [[tech:repos#egi_trustanchors|репозиторій EGI Trustanchors]] (у випадку використання UMD - все підключений) для встановлення сертифікатів довірених центрів сертифікації (в тому числі [[https://ca.ugrid.org|UGRID CA]]). | + | Окрім пакетів Nordugrid ARC необхідно встановити [[tech:repos#egi_trustanchors|репозиторій EGI Trustanchors]] (у випадку використання UMD - вже підключений) для встановлення сертифікатів довірених центрів сертифікації (в тому числі [[https://ca.ugrid.org|UGRID CA]]). |
Для спрощення конфігурації програмного забезпечення грід, для дистрибутивів Scientific Linux 6.x розроблено [[tech:repos#blackjack|репозиторій Blackjack]], що насамперед містить пакети специфічні для роботи в УНГ. Так, наприклад, для підключення [[tech:sl_mirror|дзеркала Scientific Linux]] достатньо виконати команду: | Для спрощення конфігурації програмного забезпечення грід, для дистрибутивів Scientific Linux 6.x розроблено [[tech:repos#blackjack|репозиторій Blackjack]], що насамперед містить пакети специфічні для роботи в УНГ. Так, наприклад, для підключення [[tech:sl_mirror|дзеркала Scientific Linux]] достатньо виконати команду: | ||
Рядок 36: | Рядок 36: | ||
=== Синхронізація часу === | === Синхронізація часу === | ||
Переконайтесь, що на машині встановлено правильний час. Без правильно встановленого часу, захищений зв'язок через мережу неможливий. | Переконайтесь, що на машині встановлено правильний час. Без правильно встановленого часу, захищений зв'язок через мережу неможливий. | ||
- | Якщо ви не використовуєте локальні джерела синхронізації часу на обчислювальному кластері, набульш раціональним варіантом синхронізації є використання NTP((якщо ARC запущений на віртуальній машині, будь-ласка зверніться до документації вашого гіпервізора щодо особливостей використання NTP. Наприклад для KVM, NTP слід налаштовувати на машині з гіпервізором, а в віртуальній машині використовувати синхронізацію по системному годиннику)). | + | Якщо ви не використовуєте локальні джерела синхронізації часу на обчислювальному кластері, найбільш раціональним варіантом синхронізації є використання NTP((якщо ARC запущений на віртуальній машині, будь-ласка зверніться до документації вашого гіпервізора щодо особливостей використання NTP. Наприклад для KVM, NTP слід налаштовувати на машині з гіпервізором, а в віртуальній машині використовувати синхронізацію по системному годиннику)). |
В UA-IX джерелом точного часу є сервери http://time.in.ua | В UA-IX джерелом точного часу є сервери http://time.in.ua | ||
Рядок 51: | Рядок 51: | ||
=== SELinux === | === SELinux === | ||
- | Пакети Nordugrid ARC розповсюджуються з базовим набором правил SELinux, проте через невелику кількість людей, що залишають SELinux включеним даних щодо коректності роботи правил на реально працюючій системі немає. Більш-того, якщо ви будете налаштовувати інші грід-сервіси, які не сумісні з SELinux на тій самій машині (наприклад [[tech:site-bdii|Site BDII]]) вам доведеться його відключити. | + | Пакети Nordugrid ARC розповсюджуються з базовим набором правил SELinux, проте через невелику кількість людей, що залишають SELinux ввімкненим даних щодо коректності роботи правил на реально працюючій системі немає. Більш-того, якщо ви будете налаштовувати інші грід-сервіси, які не сумісні з SELinux на тій самій машині (наприклад [[tech:site-bdii|Site BDII]]) вам доведеться його вимкнути. |
Насьогодні найбільш безпечним та рекомендованим варіантом є переведення SELinux в стан Permissive або його повне вимкнення. | Насьогодні найбільш безпечним та рекомендованим варіантом є переведення SELinux в стан Permissive або його повне вимкнення. | ||
Рядок 118: | Рядок 118: | ||
* ''nordugrid-arc-datadelivery-service'' - сервіс, до дозволяє керувати інфраструктурою передачі файлів (для інсталяцій з багатьма staging-серверами для балансування навантаження). | * ''nordugrid-arc-datadelivery-service'' - сервіс, до дозволяє керувати інфраструктурою передачі файлів (для інсталяцій з багатьма staging-серверами для балансування навантаження). | ||
+ | ===== Конфігурація ARC CE за 5 хвилин ===== | ||
+ | |||
+ | - Для //**базової**// конфігурації ARC CE [[http://grid.org.ua/examples/arc.conf.basic|завантажте приклад файлу конфігурації]] та збережіть його як ''/etc/arc.conf''. | ||
+ | - Відредагуйте файл, замінюючи коментарі вигляду ''___E_MAIL_ADDRESS_TO_SEND_MAIL_FROM___'' значеннями, що відповідають вашій інсталяції. | ||
+ | - Приклад містить конфігурацію для надання ресурсів ВО ung.infrastructure, medgrid та moldyngrid. Внесіть відповідні зміни, щоб вказати актуальний список ВО, що будете підтримувати сами ви. | ||
+ | - Приклад містить конфігурацію для PBS, якщо ви використовуєте інший LRMS - змініть відповідні параметри. | ||
===== Конфігурація ARC CE ===== | ===== Конфігурація ARC CE ===== | ||
Рядок 132: | Рядок 138: | ||
Розглянемо основні параметри конфігурації всіх необхідних механізмів. | Розглянемо основні параметри конфігурації всіх необхідних механізмів. | ||
- | |||
==== Загальні налаштування ==== | ==== Загальні налаштування ==== | ||
Налаштування, що впливають на всі основні сервіси (A-REX, GridFTP та інформаційну систему) винесені в окрему секцію [common] конфігураційного файлу ''arc.conf''. | Налаштування, що впливають на всі основні сервіси (A-REX, GridFTP та інформаційну систему) винесені в окрему секцію [common] конфігураційного файлу ''arc.conf''. | ||
Рядок 155: | Рядок 160: | ||
nodememory="8000" | nodememory="8000" | ||
| | ||
- | Параметр ''nodememory'' не є обов'язковим, проте його доцільно визначити для виключення задач, що потребують більше пам'яті аніж є на нодах (така задача буде очыкувати вічно). | + | Параметр ''nodememory'' не є обов'язковим, проте його доцільно визначити для виключення задач, що потребують більше пам'яті аніж є на робочих вузлах (така задача буде очікувати вічно). |
==== Базові налаштування A-REX ==== | ==== Базові налаштування A-REX ==== | ||
Конфігурація базових параметрів A-REX відбувається в секції ''[grid-manager]''. Тут встановлюються параметри обробки задач (ліміти, часові інтервали, тощо), шляхи до необхідних файлів та директорій, параметри передачі файлів, журналів а також конфігуруються плагіни. | Конфігурація базових параметрів A-REX відбувається в секції ''[grid-manager]''. Тут встановлюються параметри обробки задач (ліміти, часові інтервали, тощо), шляхи до необхідних файлів та директорій, параметри передачі файлів, журналів а також конфігуруються плагіни. | ||
Рядок 199: | Рядок 204: | ||
allownew="yes" | allownew="yes" | ||
| | ||
- | В наведеному прикладі визначено порт для роботи (2811) та динамічні порти для передачі даних (9000-9300). Вказані значення є значеннями за замовчуванням, але їх явна присутність в конфігураційному файлі зменшує імовірність забути відкрити такі порти в фаерволі :-) | + | В наведеному прикладі визначено порт для роботи (2811) та динамічні порти для передачі даних (9000-9300). Вказані значення є значеннями за замовчуванням, але їх явна присутність в конфігураційному файлі зменшує імовірність забути відкрити такі порти в фаєрволі :-) |
Параметр ''allowunknown'' визначає можливість авторизації користувачів, які відсутні в файлі відповідності (grid-mapfile). За базовою авторизацією виключно за файлом відповідності, інші користувачі не повинні буди авторизовані. | Параметр ''allowunknown'' визначає можливість авторизації користувачів, які відсутні в файлі відповідності (grid-mapfile). За базовою авторизацією виключно за файлом відповідності, інші користувачі не повинні буди авторизовані. | ||
Рядок 245: | Рядок 250: | ||
Таким чином необхідним елементом роботи є співставлення грід-ідентифікації (сертифікату користувача) та локального облікового запису - відображення користувачів. | Таким чином необхідним елементом роботи є співставлення грід-ідентифікації (сертифікату користувача) та локального облікового запису - відображення користувачів. | ||
- | Найбільш простим варіантом є статичне відображення за так званим файлом відповідності (grid-mapfile), де кожному DN сертифікату користувача ставиться у відповідність локальне ім'я акаунту. | + | Найбільш простим варіантом є статичне відображення за так званим файлом відповідності (grid-mapfile), де кожному DN сертифіката користувача ставиться у відповідність локальне ім'я акаунту. |
Самий простий спосіб - використовувати єдиний акаунт для всіх грід-користувачів, проте за такого варіанту контроль доступу фактично відсутній. Один грід-користувач може отримати доступ до даних чи завадити роботі завдання іншого грід-користувача (можливо і ненавмисне), адже в межах операційної системи вони працюють під одним і тим самим акаунтом. | Самий простий спосіб - використовувати єдиний акаунт для всіх грід-користувачів, проте за такого варіанту контроль доступу фактично відсутній. Один грід-користувач може отримати доступ до даних чи завадити роботі завдання іншого грід-користувача (можливо і ненавмисне), адже в межах операційної системи вони працюють під одним і тим самим акаунтом. | ||
Рядок 340: | Рядок 345: | ||
timelimit="3600" | timelimit="3600" | ||
- | Для роботи ARIS достатньо параметрів за замовчуванням, але можна кастомізувати певні параметри, такі як кількість потоків чи обмеження часу на збір інформації. Збільшення таймліміту особливо важливе при довготривалій взаємодії з LRMS (велика кількість задач). | + | Для роботи ARIS достатньо параметрів за замовчуванням, але інколи доцільно змінити деякі з них. Наприклад значення кількості потоків серверу та обмеження часу на збір інформації. Збільшення таймліміту особливо важливе при довготривалій взаємодії з LRMS (велика кількість задач). |
=== Glue1.2 та Glue2.0 схеми для Site-BDII ==== | === Glue1.2 та Glue2.0 схеми для Site-BDII ==== | ||
+ | |||
+ | За замовчуванням інформація в LDAP публікується тільки з використанням схими інформації Nordugrid - власної схеми, яку розуміють тільки ARC клієнти та сервіси. | ||
+ | |||
+ | Для роботи в EGI, та публікації інформації в Site-BDII необхідною умовою є публікація даних згідно схеми Glue1.2((насьогодні остання ревізія Glue схеми 1.3 проте в конфігураційному файлі використовується номер версії 1.2, відповідно до ревізії на час створення трансляторів)) та нової схеми Glue2.0 яка повинна витіснити Glue1.2. Насьогодні під час перехідного періоду необхідно публікувати дані в усіх схемах. | ||
+ | |||
+ | Активується публікація даних за схемами Glue1.2 та Glue2.0 параметрами: | ||
+ | [infosys] | ||
+ | infosys_glue12="enable" | ||
+ | infosys_glue2_ldap="enable" | ||
+ | |||
+ | Але кожна зі схем потребує додаткових даних, що відсутні вNordugrid схемі. Ці дані визначають додатково, в відповідних блоках конфігурації: | ||
+ | |||
+ | [infosys/glue12] | ||
+ | resource_location="Kyiv, Ukraine" | ||
+ | resource_latitude="50.382906" | ||
+ | resource_longitude="30.470279" | ||
+ | cpu_scaling_reference_si00="16750" | ||
+ | processor_other_description="Cores=2,Benchmark=67-HEP-SPEC06" | ||
+ | glue_site_web="http://cluster.kiev.ua" | ||
+ | glue_site_unique_id="UA-KNU" | ||
+ | provide_glue_site_info="false" | ||
+ | | ||
+ | [infosys/admindomain] | ||
+ | name="UA-KNU" | ||
+ | description="National Taras Shevchenko University of Kyiv" | ||
+ | www="http://cluster.kiev.ua" | ||
+ | distributed="no" | ||
+ | |||
+ | Після активації схем Glue, інформаційну систему ARC, як інформаційну систему ресурсу, можна прозоро додати до [[tech:site-bdii|Site-BDII]]. | ||
==== Реєстрація в індекси ==== | ==== Реєстрація в індекси ==== | ||
+ | Для роботи клієнтів необхідна загальна множина ресурсів з якої можна обрати обчислювальний елемент, що відповідає вимогам задачі. Роль такої множини виконуються індески інформаційних систем, наявність яких виключає необхідність постановки задача на кожен кластер "вручну". | ||
+ | |||
=== GIIS === | === GIIS === | ||
+ | Історично першим та базовим індексом для Nordugrid ARC є індекс Grid Resource Information Index (GIIS)((сучасну останню версію GIIS, що працює на основі BDII називають EGIIS - Enhanced GIIS)). | ||
+ | |||
+ | В Україні функціонує два GIIS сервіси - на ресурсах КНУ та ІТФ. Для реєстрації необхідно додати наступну конфігурацію: | ||
+ | |||
+ | [infosys/cluster/registration/KNU] | ||
+ | targethostname="giis.grid.org.ua" | ||
+ | targetport="2135" | ||
+ | targetsuffix="mds-vo-name=ukraine,o=grid" | ||
+ | regperiod="300" | ||
+ | | ||
+ | [infosys/cluster/registration/BITP] | ||
+ | targethostname="lcg.bitp.kiev.ua" | ||
+ | targetport="2135" | ||
+ | targetsuffix="mds-vo-name=ukraine,o=grid" | ||
+ | regperiod="300" | ||
+ | |||
=== EMIR === | === EMIR === | ||
+ | Індексом нового покоління, що спирається на Glue2 і дозволяє прозоро працювати з WS-інтерфейсами є EMI Registry (EMIR). Для реєстрації в EMIR необхідно [[tech:emir|додатково налаштувати сервіс EMIR-SERP]], активувавши Glue2 схему. | ||
+ | |||
+ | ===== Запуск сервісів ===== | ||
+ | |||
+ | Перед запуском сервісів доцільно перевірити синтаксис конфігураційного файлу виконавши: | ||
+ | /etc/init.d/a-rex validate | ||
+ | | ||
+ | Після успішної валідації запустіть сервіси: | ||
+ | service gridftpd start | ||
+ | service a-rex start | ||
+ | service nordugrid-arc-slapd start | ||
+ | service nordugrid-arc-bdii start | ||
+ | service nordugrid-arc-inforeg start | ||
===== Як налаштувати... ===== | ===== Як налаштувати... ===== | ||
==== ... прив'язку задач ВО до певної черги? ==== | ==== ... прив'язку задач ВО до певної черги? ==== | ||
+ | При наявності декількох черг виникає необхідність прив'язки задач певних ВО саме до певної черги. | ||
+ | Особливо таке питання актуальне для приорітезації тестових завдань системи Nagios, щоб запезпечити їх приорітетне виконання в певній черзі LRMS. | ||
+ | |||
+ | Щоб налаштувати таку прив'язку необхідно: | ||
+ | |||
+ | 1. Активувати плагін ''arc-vomsac-check'' в секції ''[grid-manager]'': | ||
+ | authplugin="ACCEPTED 60 /usr/libexec/arc/arc-vomsac-check -L %C/job.%I.local -P %C/job.%I.proxy" | ||
+ | 2. Додати параметри доступу за участю в ВО до конфігурації черг: | ||
+ | [queue/grid_rt] | ||
+ | ac_policy="VOMS: UATest" | ||
+ | ac_policy="VOMS: ops" | ||
+ | ac_policy="VOMS: dteam" | ||
+ | | ||
+ | [queue/grid] | ||
+ | ac_policy="VOMS: moldyngrid" | ||
+ | ac_policy="VOMS: ung.infrastructure" | ||
+ | | ||
+ | | ||
==== ... приорітетність елементів зберігання при наявності декількох реплік файла? ==== | ==== ... приорітетність елементів зберігання при наявності декількох реплік файла? ==== | ||
Рядок 356: | Рядок 438: | ||
preferredpattern="storage.immsp.kiev.ua|.ua$" | preferredpattern="storage.immsp.kiev.ua|.ua$" | ||
| | ||
- | При такій конфігурації, при найявності файлу на storage.immsp.kiev.ua він буде отриманий саме з цього серверу, потім з будь-якого серверу ім'я якого закінчується на .ua а вже потім з усіх інших серверів. | + | При такій конфігурації, при найявності файлу на storage.immsp.kiev.ua він буде отриманий саме з цього сховища даних, потім з будь-якого серверу ім'я якого закінчується на .ua а вже потім з усіх інших серверів. |