README ------ В этом каталоге собраны свободно распространяемые базовые системы и программы, для организации высокопроизводительных вычислительных кластеров для решения больших расчетных задач на базе технологий GRID. Представленные пакеты составляют необходимый минимум для участия в обработке данных в современных экспериментах по физике высоких энергий. Они будут полезны также и во многих других приложениях, где требуется использование большой вычислительной мощности. Краткое описание пакетов: - пакеты прикладных программ ROOT и CERNlib, разработанные прежде всего для использования в физике высоких энергий, хотя они могут также использоваться и в других областях науки. (см. http://cernlib.web.cern.ch/cernlib, http://root.cern.ch) - пакетная система управления заданиями общего назначения 'Sun Grid Engine'. (см. http://gridengine.sunsource.net) - система Globus Toolkit для построения инфрастуктуры распределённых вычислительных сетей типа grid и создания приложений для распределённых систем типа grid (см. http://www.globus.org/). Sun Grid Engine 5.3p6 (sge-5.3p6-2.src.rpm) --------------------- В файле sge-5.3p6-2.i386.rpm находится сетевая распределенная пакетная система Sun Grid Engine (SGE) версии 5.3p6. Она позволяет запускать пакетные и интерактивные задания различного типа, в том числе и параллельные, на вычислительном кластере. Анализирует все доступные ресурсы, включая CPU, RAM, дисковую память, допустимую загрузку, количество разрешенных заданий и т.д. Для установки SGE 5.3p6 требуется /bin/ksh, который есть в пакете pdksh. После установки необходимо задать переменную окружения $SGE_ROOT, равной установочной директории /usr/gridengine-5.3p6. Эту переменную надо установить в профайлах. Затем необходимо выполнить окончательную установку и конфигурирование SGE для конкретного кластера в соответствии с INSTALL и другими документами, которые расположены в директории $SGE_ROOT/doc. При установке sge-5.3p6-2.i386.rpm, полученного из sge-5.3p6-2.src.rpm, можно задать другую установочную директорию. CERNLIB (cernlib-2004-1.src.rpm) ------- В файле cernlib-2004-1.src.rpm записаны библиотеки общего назначения и модули, разработанные в основном в ЦЕРН для нужд физических лабораторий, т.е. общая математика, анализ данных, симуляция детекторов, обработка данных и т.д. Общая структура CERNlib может быть представлена примерно так: KERNLIB - базовые подпрограммы и функции MATHLIB - математические подпрограммы, включая генераторы случайных чисел PACKLIB - библиотека пакетов, включая HEPDB, HBOOK, ZEBRA и т.д. GRAFLIBS - графические библиотеки, включая HIGZ, HPLOT и т.д. PAWLIB - библиотека PAW, включая COMIS, PAW и SIGMA Monte Carlo libraries - различные генераторы Монте Карло Modules - модули такие, как PAW, FATMEN GEANT - программа дает графическое представление установки и траектории частиц Для установки CERNlib требуется /bin/ksh, который есть в пакете pdksh. После установки надо задать переменную окружения $CERN, равную установочной директории, по умолчанию /usr/cernlib. Необходимо добавить $CERN/2004/bin к $PATH и $CERN/2004/lib к $LD_LIBRARY_PATH. Эти переменные надо установить в профайлах. Чтобы протестировать некоторые библиотеки, packlib и geant321, надо установить переменные CERN, CERN_LEVEL=2004, CVSCOSRC=$CERN/$CERN_LEVEL/src, CERN_ROOT=$CERN/$CERN_LEVEL, добавить $CERN_ROOT/bin к $PATH и выполнить такие действия: cd $CERN/$CERN_LEVEL/build/packlib gmake test cd $CERN/$CERN_LEVEL/build/geant321 gmake test При установке cernlib-2004-1.i386.rpm, полученного из cernlib-2004-1.src.rpm, можно задать другую установочную директорию. ROOT 4.02.00 (root-4.02.00-1.src.rpm) ------------ В файле root-4.02.00-1.i386.rpm находится ROOT 4.02.00. Система ROOT основана на об'ектно-ориентированной модели, что дает возможность обрабатывать и анализировать большие об'емы данных очень эффективным образом. ROOT можно рассматривать как дальнейшее развитие PAW. ROOT 4.02.00 устанавливается в стандартные директории Linux /usr/bin, /usr/lib/root, /usr/share/man/man1 и т.д. Для корректной работы пакету ROOT нужен стандартный набор шрифтов. Его можно установить при помощи пакета root-fonts (root-fonts-1-1.noarch.rpm), который устанавливает соответствия между шрифтами, необходимыми ROOT и свободно распространяемыми шрифтами (freefont-ttf-1-5sl303.noarch.rpm), присутствующими в системе. Кроме этого, вы можете воспользоваться шрифтами Windows, просто поместив их в каталог /usr/share/root/fonts. ROOT использует некоторые библиотеки CERNlib и при установке ROOT предполагается, что библиотеки CERNlib находятся в директории $CERN/2004/lib, поэтому перед установкой ROOT из root-4.02.00-1.i386.rpm надо установить переменную $CERN равную /usr/cernlib или другому значению, если CERNlib была установлена в другую директорию. Если переменную $CERN не установить, то по умолчанию $CERN=/usr/cernlib. Для тестирования ROOT нужно выполнить следующие действия: $ cd /usr/share/doc/root-4.02.00/tutorials $ root root [0] .x benchmarks.C -- this will run all tutorials and will benchmark your machine. -- For a rating of your machine check: -- http://root.cern.ch/root/html/examples/benchmarks_v100.html. -- If your machine is not in the list please mail the results to: -- rootdev@root.cern.ch. root [1] .x demos.C -- Click on any button you like to run the corresponding tutorial. -- Move the objects on the canvas around using the mouse. root [2] .q Globus Toolkit 3.2.1 (globus-3.2.1-2.src.rpm) -------------------- В файл globus-3.2.1-2.src.rpm включены все компоненты GT 3.2.1, а также Globus Simple CA пакет для установки сертификационного центра (Certificate Authority), который предназначен для пользователей маленьких тестовых гридов или пользователей, не являющихся частью большого грида. Кроме того сюда включен также пакет для интеграции Sun Grid Engine с Globus Toolkit 3.2. Globus Toolkit используется для построения Grid и разработки приложений Grid и представляет собой набор служб и программных библиотек. Grid это инфраструктура, которая позволяет совместное использование высокопроизводительных компьютеров, сетей, баз данных и научных инструментов, которыми владеют и управляют разные организации. Перед установкой GT 3.2.1 необходимо установить вначале j2sdk 1.4.2 (j2sdk-1_4_2_06-linux-i586-rpm.bin), задать переменную JAVA_HOME=/usr/java/j2sdk1.4.2_06 и добавить к переменной PATH $JAVA_HOME/bin Надо выполнить j2sdk-1_4_2_06-linux-i586-rpm.bin, предварительно выполнив команду chmod +x j2sdk-1_4_2_06-linux-i586-rpm.bin, в результате получится файл j2sdk-1_4_2_06-linux-586.rpm, который и нужно установить. Для 64-х разрядной архитектуры взять файл j2sdk-1_4_2_06-linux-ia64-rpm.bin. Затем установить apache-ant 1.6.1(apache-ant-1.6.1-1.src.rpm), задать переменную ANT_HOME=/usr/local/apache-ant-1.6.1 и добавить $ANT_HOME/bin к PATH. Замечание. Перед установкой apache-ant удалить все предыдущие версии ant. Компонента GT 3.2.1 Replica Location Service (RLS) требует RDBMS, поддерживающую ODBC interface, в качестве примера можно назвать PostgreSQL. Для нее нужен ODBC драйвер psqlODBC и пакет iODBC для интерфейса к ODBC слою RDBMS. Поэтому, чтобы RLS была включена, перед установкой GT 3.2.1 необходимо задать переменную GLOBUS_IODBC_PATH, указывающую положение iODBC и odbc.ini Компонента Reliable File Transfer (RFT) требует RDBMS, поддерживающую JDBC интерфейс. В дистрибутив GT 3.2.1 уже включен JDBC драйвер для PostgreSQL. Установка GT 3.2.1 выполняется под аккаунтом globus, поэтому создается аккаунтс именем globus и владельцем установочной директории /usr/local/globus-3.2.1 и всех ее файлов является globus. После установки необходимо задать переменную окружения $GLOBUS_LOCATION, равную установочной директории /usr/local/globus-3.2.1 Добавить в профайлы следующие строки: (для csh или tcsh) setenv GLOBUS_LOCATION /usr/local/globus-3.2.1 source $GLOBUS_LOCATION/etc/globus-user-env.csh (для sh или bash) export GLOBUS_LOCATION=/usr/local/globus-3.2.1 . $GLOBUS_LOCATION/etc/globus-user-env.sh Выполнить такие скрипты: source $GLOBUS_LOCATION/etc/globus-user-env.csh для csh или tcsh . $GLOBUS_LOCATION/etc/globus-user-env.sh для sh или bash После установки необходимо конфигурировать, получить сертификаты и протестировать работоспособность Globus, смотрите файл README-FC3-globus-3.2.1.txt Документация по установке и тестированию Globus 3.2.1 находится на http://www-unix.globus.org/toolkit/docs/3.2/index.html Об интеграции Sun Grid Engine с Globus 3.2 можно посмотреть на странице http://www.lesc.ic.ac.uk/projects/epic-gt3-sge.htm