Побудова кластеру, який складається з двох комп'ютерів, об'єднаних інтерфейсом Ethernet

 

Міністерство освіти і науки України

Національний гірничий університет

Інститут електроенергетики

Кафедра електроніки та обчислювальної техніки

ПОЯСНЮВАЛЬНА ЗАПИСКА

курсового проекту

напрям підготовки: 6.170101 Безпека інформаційних і комунікаційних систем

на тему: Побудова кластеру, який складається з двох комп'ютерів, об'єднаних інтерфейсом Ethernet

Дніпропетровськ

р.

ЗАВДАННЯ

на курсовий проект

напрям підготовки: 6.170101 Безпека інформаційних і комунікаційних систем

Тема курсового проекту Побудувати кластер який складається з двох комп'ютерів об'єднаних інтерфейсом Ethernet

Варіант завдання № 3

Загальна кількість компютерів у мережі: 2

РозділЗміст завданняТермін виконанняТеоретична частина Розглядається процедура побудови кластеру. Попередній аналіз необхідного обладнання та програмного забезпечення. Аналіз характеру робіт. Вибір дистрибутива з ОС.__.__.20__ р.Проектування кластераВибір обладнання, встановлення. Фізична побудова мережі. Підготовка до встановлення ОС і ПЗ. Покрокове встановлення ОС та налаштування кластеру. Тестування кластеру.__.__.20__ р.

Список умовних скорочень

кластер комп'ютер інтерфейс система

ПЗ - Програмне забезпечення.

ОС - Операційна система.

ОР - Обчислювальний ресурс

ПК - Персональний комп'ютер

HDD - Жорсткий диск

ОЗП - Оперативно запам'ятовуючий пристрій.

ДБЖ - Джерело безперебійного живлення.

ЕМ - Електрична мережа.

НДР - Науково-дослідна робота

ЗМІСТ

Вступ

Теоретична частина

Побудова кластера

Висновки

Перелік посилань

Додатки

Вступ

Необхідно побудувати кластер який складається з двох комп'ютерів об'єднаних інтерфейсом Ethernet.

Обидва комп'ютери приблизно однакові за потужністю, один буде головним, а другий додатковим обчислювальним ресурсом. Для зменшення споживаної енергії у ОР буде відключений монітор. Кластер складається всього з двох комп'ютерів, отже «супєр» завдань він вирішувати не буде.

Мережа буде побудована на витій парі (рисунок 1.1) з топологією «Зірка». Швидкість передачі інформації між комп'ютерів -100 мб/с.

Рисунок 1.1 - Неекранований кабель вита пара

Теоретична частина

Кластер (англ. cluster скупчення) - об'єднання декількох однорідних елементів, який може розглядатися як самостійна одиниця, що володіє певними властивостями. [1]

Іншими словами кластер - це набір обчислювальних вузлів (цілком самостійних комп'ютерів), пов'язаних високошвидкісним каналом зв'язку (інтерконектом) і об'єднаних в логічне ціле спеціальним програмним забезпеченням.

Кластерні системи виникли як більш дешеве рішення проблеми нестачі обчислювальних ресурсів, і ґрунтуються на використанні у своїй архітектурі широко поширених і відносно дешевих технологій, апаратних і програмних засобів, таких як PC, Ethernet, Linux та інш.

Отже одним з основних плюсів кластеру є економія грошей. А основним мінусом те, скільки електроенергії він споживає.

Більшість кластерів зібрано на базі ОС Linux. У наукових організаціях і університетах, де і розробляється більшість кластерних систем, як правило, є фахівці з ОС Linux.

Об'єднання ПК в кластери широко використовується в НДР сфері високопродуктивних обчислень. Високошвидкісні З'єднання в поєднанні з двопроцесорним системами, що володіють прекрасними показниками продуктивності при виконанні операцій з цілими числами і плаваючою комою, роблять можливим створення дуже великих кластерів для вирішення таких завдань, як моделювання катастроф, обчислення в області гідроаеродинаміки та фінансове моделювання. Ряд комерційних і наукових організацій (таких як CERN і TeraGrid) вже використовують кластери з двопроцесорних серверів на базі процесора Intel Itanium 2 для вирішення завдань, що вимагають високої продуктивності.

Наступний етап розвитку високопродуктивних обчислень - так звані матричні обчислення. Ця технологія дозволяє поєднувати вільні ресурси процесора і пристроїв зберігання даних і використовувати їх спільно в глобальній мережі серверів, забезпечуючи розподілену паралельну обробку даних.

Професійні кластери складаються з безлічі ОР, які встановлені у спеціальних «шафах». У ОР входять не всі компоненти необхідні звичайному ПК. ОР досить материнської плати, процесора, вбудованої відеокарти, ОЗП, мережева карта, блок живлення.

Стандартна система побудови кластеру виглядає наступним чином - вибирається найпотужніша система, вона стане головною ланкою в кластері, інші комп'ютери підбираються максимально однаковою обчислювальної потужності, в кластері вони будуть грати роль ОР.

Бажано на всіх комп'ютерах встановити одну ОС. Установка на всіх комп'ютерах необхідна, якщо ви не збираєтеся побудувати бездисковий кластер.

У бездисковому кластері всі комп'ютери крім головного не мають жорсткого диска і завантажують ОС по мережі від головного ПК. Такий варіант складніше в організації та подальшому обслуговуванні.

Потім необхідно фізично об'єднати комп'ютери в мережу. Налаштувати її на всіх ПК.

Далі необхідно встановити на головний ПК спеціальне програмне забезпечення (патч) і додати всі ОР в кластер.

Після, необхідно провести декілька тестів і все, кластер готовий до роботи.

У Кластері будуть об'єднані два комп'ютери. Відключати HDD у обчислювального ресурсу не принесе значної вигоди, а тільки ускладнить налаштування системи завантаження ОС в кластері та навантажить головний комп'ютер додатковою роботою.

Так, як комп'ютерів всього два, їх можливо підключити до мережі на пряму один до одного, але більш раціонально буде придбати недорогий світч який візьме на себе маршрутизацію пакетів і трохи розвантажить мережеві карти комп'ютерів. Також надалі буде легше доповнити кластер новими ОР.

У не дуже дорогих комп'ютерах вбудовані мережеві карти підтримують швидкість до 100 Мб/с, для цієї швидкості буде досить з'єднати комп'ютери витою парою категорії 5.

Далі необхідно визначиться з вибором ОС. Для даних цілей більш раціональним вибором ОС є UNIX система.

Вибір Linux систем дуже великий, кожен фахівець радить ту, з якою йому легше працювати. У кожної є свої переваги. Вибір кластерних патчей для ОС Linux ще більше ніж самих ОС.

Приклад побудови кластера такого формату описаний у статті «Кластери в Linux» [2].

Але є особливий клас дистрибутивів, їх розробляють різні підприємства та компанії. Відмінною особливостей є те, що на інсталяційному диску міститься вже налаштована, оновлена і пропатчена ОС Linux, відразу після якої, або під час установки якої налаштовується кластер. Робота з такою системою легше, швидше і зазвичай вигідніше ніж інші варіанти.

Таких «готових» систем значно менше і визначитися значно легше.

З усіх варіантів був обраний пакет Rocks, що розробляється командою Каліфорнійського університету (University of California, San Diego) при грантової підтримки Національного наукового фонду США (National Science Foundation).визначається як пакет розгортання, управління та підтримки кластера. З його допомогою можливо встановити кластер на місці, маючи в наявності одно лише апаратне забезпечення. Пакет містить засоби для запуску паралельних програм і програми для підтримки і розширення кластера після його первісної установки.

Дистрибутив розповсюджується абсолютно безкоштовно, завантажити його можливо в образі ISO з офіційного сайту Rocks [3].

Побудова кластера

Вибір обладнання

Продуктивність і стабільна робота кластеру вище, якщо в кластер входять ОР приблизно однакові за потужністю та архітектурним особливостям комп'ютери. Найпотужніший комп'ютер використовується, як головний, управляючий елемент кластеру.

Так, як даний кластер буде складатися з двох комп'ютерів більш потужний буде головним, а слабший - ОР.

Фізичні характеристики комп'ютера, який стане головним елементом у кластері наведено у таблиці 1.

Фізичні характеристики комп'ютера, який стане ОР в кластері наведено у таблиці 2.

Таблиця 1 Фізичні характеристики головного комп'ютера

№Найменування1MB Asus P5KC, Socket775, iP35, 1333MHz, ATX2Intel C2D E4600, 2.4 GHz, 2 Mb, LGA775, 800MHz, 64bit3DDR-II SDRAM 2 GB, 800MHz, Kingston4ATI Radeon Asus EAH3870, 512 MB, DDR-5, PCI-E 16x5HDD 500GB Samsung, 32Mb cash,6DVD +/- RW Asus7Корпус ATX 500W

У кожного з ПК є інтегрована мережева карта, для того, що б розвантажити мережеві карти від задач маршрутизації встановимо swich [4]. Вбудовані мережеві карти не підтримують швидкість вище 100 Мб/с і обмежені технологією Fast Ethernet. Так як мережеві карти не підтримують велику швидкість і кластер складається з двох комп'ютерів вирішено використовувати недороге обладнання фірми D-Link. Обрано комутатор DES-1005D з 5 портами 10/100Base-TX (рисунок 3.1).

Таблиця 2 Фізичні характеристики ОР

№Найменування1MB Asus P4P800, Socket478, i865PE, 800MHz, ATX2Intel P4, 2.4 GHz, 1 Mb, Socket478, 533MHz, 32bit3DDR-I SDRAM 1 GB, PC-400, PQI4ATI Radeon GigaCube 9600XT, 128 MB, DDR, AGP5HDD 160GB Samsung, 8Mb cash,6CD +/- RW/DVD Combo LG7Корпус ATX 300W

Комп'ютери будуть розташовані в межах десяти метрів, для їх зв'язку буде достатньо двох шести метрових кабелів неекранованої витої пари категорії 5, обтисненної коннектором RJ-45.

Рисунок 3.1 - D -link Switch DES-1005D 5 Ports 10/100 Mb

Фізичне побудова мережі

Тепер необхідно об'єднати комп'ютери в єдину мережу за допомогою обраного раніше обладнання.

На рисунку 3.2 показана схема мережі простого обчислювального кластеру.

Рисунок 3.2 - Топологія мережі обчислювального кластера

Встановимо комп'ютери на робочі місця, протягнемо кабелі від кожного комп'ютера до комутатора. Підключимо кабелі в роз'єми на кожному комп'ютері і на комутаторі.

Бажано оновити версію і налаштувати кожну систему BIOS. Потрібно підвести годинник BIOS, щоб вони показували один і той же час (похибку в 5 хвилин можна вважати нормальною). Більшість кластерних систем підтримують синхронний хід внутрішнього годинника автоматично, але для цього необхідно, щоб на самому початку вони йшли більш-менш однаково

На кожному комп'ютері необхідно провести низькорівневе налаштування мережі за допомогою програми BIOS. Для того, що б включити інтегрований мережний контролер необхідно при запуску комп'ютера увійти в систему BIOS, на більшості комп'ютерів для цього необхідно натиснути кнопку Delete або F2. В BIOS-і необхідно перейти на вкладку «Onboard», у пункті «Onboard LAN» треба поставити значення «Enabled» - включено. (рисунок 3.3) Після потрібно зберегти внесені зміни (F10).

Апаратна частина комп'ютерів налаштована і готова до подальшого налаштування кластеру.

Рисунок 3.3 - BIOS / Onboard

Підготовка до встановлення ОС і ПЗ

Налаштувати мережу і безпеку кластеру можливо і вручну, однак є більш прості способи які дають результати швидше і вимагають менших витрат часу та знань, один з них - це скористатися якою-небудь системою установки й настроювання кластера. На даний момент однією з найбільш популярних систем подібного роду є пакет Rocks.

Як вже було зазначено Rocks визначається - пакет розгортання, управління та підтримки кластера. З його допомогою можна встановити кластер на місці, маючи в наявності одно лише апаратне забезпечення. Пакет містить засоби для запуску паралельних програм і програми для підтримки і розширення кластера після його первісної установки.

Пакет розповсюджується абсолютно безкоштовно у вигляді набору ISO-образів, які потрібно записати на кілька CD або один DVD диск. Потім необхідно запустити DVD чи CD на комп'ютері, який стане головним вузлом. Подальші дії схожі зі стандартною установкою Linux [5], майстер установки ні чим не відрізняється. Після відповіді на мінімальну кількість питань, майстер почне встановлювати все необхідне для роботи головного вузла. Останнім кроком перед перезавантаженням буде процедура insert-ethers, яка додає інші комп'ютери в якості обчислювальних вузлів. Щоб додати обчислювальний вузол, потрібно завантажити його з мережі, і він буде доданий у кластер і налаштований автоматично. Після додавання останнього вузла, вийде функціонуючий кластер, придатний для запуску паралельних програм.

У даному випадки нумерація ОР не складна і не так важлива через те, що кластер складається з двох комп'ютерів, але необхідно знати, що при підключенні обчислювальних вузлів, система Rocks нумерує їх у вигляді compute-XY, де X - номер стійки, а Y - номер ПК усередині даної стійки. Наприклад, кластер складається з 32 вузла в 4 стійках. Тоді, якщо слідувати угодою іменування Rocks, спочатку піде стійка 0. Вона містить головний вузол, тому нумерація обчислювальних вузлів в стійці буде від compute-0-0 до compute-0-6. Наступна стійка 1 буде містити вузли від compute-1-0 до compute-1-7, стійка 2 - від compute-2-0 до compute-2-7 і так далі.

Але є ще один спосіб - можна вважати, що всі компютери розташовані в одній стійці, тоді нумерація обчислювальних вузлів буде від compute-0-0 і до compute-0-31.

Далі необхідно завантажити образ дистрибутиву Rocks, який найкращим чином підходить до комп'ютерів вашого майбутнього кластеру. Прямуємо на веб-сайт Rocks (www.rocksclusters.org), далі у вкладку Download вгорі сторінки - там зберігаються різні версії дистрибутива. На момент написання цього курсового проекту останньою версією була 5.4. У моєму випадку був обраний образ x86-64 Jumbo DVD. Потім потрібно записати його на чистий DVD. На тому ж сайті можна знайти і документацію.

Покрокове встановлення ОС та налаштування кластеру

Тепер, коли все готово розглянемо покрокову установку і настройку кластеру.

Необхідно завантажити комп'ютер який надалі стане головним вузлом в кластері і вибрати джерело встановлення - оптичний привід, помістіть туди записаний DVD-диск дистрибутив Rocks.

Після того як на екрані з'явиться фраза «Press any key to from CD ...», натисніть будь-яку клавішу на клавіатурі, після чого на екрані повинно з'явиться початкове меню установки Rocks (рисунок 3.4).

Рисунок 3.4 - Вітальний екран Rocks

Для початку установки необхідно у полі boot: ввести рядок build, тоді запуститься майстер установки ОС. Система почне завантажуватися як звичайний Linux, після чого користувач побачить екран початкового налаштування Rocks (рисунок 3.5).

Рисунок 3.5 - Екран налаштування Rocks

Пакет Rocks складається з набору "ролів" (rolls). Деякі роли є невід'ємними центральними частинами (Base Roll, OS Roll, Kernel Roll і Web Server Roll). Інші забезпечують кластерні функції (SGE Roll, Java Roll, HPC Roll і Ganglia ). Нарешті, роли можуть містити прикладні програми (наприклад, Bio Roll). Кожен такий рол задокументований, і ви самі для себе можете вирішити, чи потрібен він у вашому майбутньому кластері чи ні. Комерційна версія пакету Rocks - Rocks від компанії Clustercorp, містить додатковий інструментарій, в тому числі комерційні компілятори від Absoft, Intel і Portland Group, а також відладчик TotalView.

У дистрибутиві Jumbo DVD всі компоненти вже є на диску, тому потрібно в наступному віконці натиснути кнопку CD / DVD-Based Roll. Після цього з'явиться список окремих компонентів, які можна встановити з DVD (рисунок 3.6).

Рисунок 3.6 - Екран вибору ролів

Для неспеціалізованого кластера необхідно вибрати всі компоненти, крім біологічних програм (Bio) і засобів віртуалізації (Xen). Якщо потрібна мінімальна установка, то необхідно встановити - Base, Web Server, Kernel і OS. Після вибору, потрібно натиснути кнопку Submit.

Ще раз з'явиться попередній екран, на якому вже буде відображений останній вибір конфігурації. Якщо вибір остаточний, натискайте Next для переходу до перших адміністративних етапів установки. Якщо необхідно внести зміни і до встановити будь-який компонент, натискайте знову CD/DVD-Based Roll і робіть вибір.

У процесі проходження всіх етапів, процедура установки збирає невелику базу даних MySQL, в яку записує всі докладні налаштування вашого кластеру. Багато системні файли (наприклад, / etc / hosts) створюються як результат SQL-запитів з цієї бази даних. Якщо згодом буде потрібно змінити налаштування системи, необхідно буде скористатися спеціальними засобами Rocks, які спочатку змінюють базу даних, а потім виконують процедури оновлення системних файлів. Це значно зменшує ймовірність помилитися при налаштуванні кластеру. Хоча і можна редагувати ці автоматично створені системні файли, але цього робити не рекомендується, тому що під час наступної відпрацюванні засобів настроювання Rocks ваші зміни будуть перезаписані.

На наступному екрані (рисунок 3.7) можна ввести інформацію про свій кластері. Якщо кластер з'єднаний з корпоративною мережею, необхідно ввести повне доменне ім'я головного вузла. Назва кластера, яке потрібно ввести в поле Cluster Name, буде фігурувати на екранах управління кластером в процесі його роботи. Коли ви переконаєтеся, що все запровадили вірно, натисніть Next. Далі йде настройка з'єднання з мережею головного вузла (eth0).

Рисунок 3.7 - Інформація про кластері

На наступному кроці (рисунок 3.8) потрібно налаштувати внутрішню мережу кластеру. У процесі установки інтерфейсу eth0 головного вузла автоматично призначається IP-адреса 10.1.1.1. Ця підмережа належить до діапазону приватних адрес, тому навряд чи доведеться її міняти. Однак якщо в мережі вже є підмережа виду 10.1.XX, то потрібно змінити запропоноване налаштування на що-небудь інше, що не буде конфліктувати з існуючою мережею. Натисніть Next, щоб перейти до екрана налаштування публічної мережі головного вузла.

Рисунок 3.8 - Налаштування мережі

На рисунку 3.9 показана настройка "публічного" з'єднання головного вузла - це його з'єднання з іншими комп'ютерами корпоративної мережі. Публічному з'єднанню повинен бути підтверджено статичною IP-адресою. У цьому випадку публічна мережа має вигляд 192.168.0.X з маскою 255.255.255.0. Треба переконатися, що публічна IP-адреса, яка призначається головному вузлу, не буде конфліктувати з іншими серверами і робочими станціями. На наступному екрані (рисунок 3.10) вказані IP-адреси шлюзу за замовчуванням і DNS-сервера для головного вузла.

Рисунок 3.9 - Налаштування публічної мережі головного вузла

Рисунок 3.10 - Шлюз головного вузла і налаштування DNS

На наступному екрані (рисунок 3.11) потрібно буде ввести пароль користувача root, вибрати часову зону (рисунок 3.12) і вказати NTP-сервер, з яким буде синхронізуватися головний вузол.

Рисунок 3.11 - Пароль користувача root

Рисунок 3.12 - Часова зона і NTP-сервер

Годинники всіх комп'ютерів кластеру повинні бути синхронізовані як можна більш точно. Цю проблему повністю вирішує протокол NTP (Network Time Protocol). Головний вузол синхронізує свій час з одним з публічних NTP-серверів, і в той же час служить сервером часу для ПК в локальній мережі кластеру. Якщо час на ПК йде занадто повільно або, навпаки, занадто швидко, демон NTP злегка прискорить або сповільнить хід годинника, таким чином на всіх машинах кластеру забезпечується однаковий системний час.

Останнім екраном процесу установки буде екран розбиття диска на розділи. Можна розбити диск автоматично, або вручну. Якщо вибрати автоматичне розбиття, процедура встановлення розіб'є диск наступним чином:

Таблиця 3 Розмітка диска

РозділРозмір/16 Гб/var 4 ГбswapСкільки ОЗУ на головному вузлі/export (aka /state/partition1) Весь залишившийся диск

Якщо на головному вузлі декілька дисків, і потрібно перерозбити диск по-іншому, вибирайте Manual Partitioning. Відкриється стандартний (Red Hat) екран розбиття диска, де можливо розбити диск як необхідно (але як мінімум потрібно 16 Гб на кореневий розділ «/», а також потрібно створити розділ «/ export»). При натисканні Next, розпочнеться автоматична частина установки (рисунок 3.13). По завершенні установки головний вузол перезавантажується, і система відобразить на екрані вітання користувача (рисунок 3.14).

Рисунок 3.13 - Установка Rocks

Рисунок 3.14 - Вхід в систему

Необхідно виконати вхід в систему під обліковим записом root і почекати дві-три хвилини. Цей час потрібний для завершення фонових процедур, доналаштовують кластер. Потім запустіть сесію терміналу (рисунок 3.15), далі потрібно приступити до додавання вузлів у кластер.

Рисунок 3.15 - Термінал користувача root

Тепер все готово до процедури додавання вузлів у кластер. У Rocks для цього є команда insert-ethers. У неї чимало опцій, але в даному випадки просто потрібно скористатися основною функцією додавання вузлів у кластер. Після виклику команди з'явиться екран, як на рисунку 3.16.

Рисунок 3.16 - Працює програма insert-ethers

Все, що може бути підключено до мережі, Rocks визначає як "пристрій" (appliance). Якщо щось відповідає на мережеву команду, то це пристрій.

У нашому випадку з пристроїв будуть тільки обчислювальний вузол. На попередньому екрані (рисунок 3.16) вже вибрано Compute, тому вибирайте кнопку OK і натискайте Enter. З'явиться порожній список, заповнений іменами і MAC-адресами вузлів, список буде поповнюватися в міру їх додавання.

Настав час запустити перший обчислювальний вузол. Після очищення диска, в більшості випадків система буде виробляти PXE-завантаження з мережі. Якщо у вас є KVM-перемикач, можна зайти на консоль цього вузла і своїми очима побачити процес мережевий завантаження. Коли обчислювальний вузол запитує IP-адресу для свого інтерфейсу eth0, його MAC-адресу відобразиться у списку Inserted Appliances головного вузла (рисунок 3.17).

Рисунок 3.17 - Список встановлених пристроїв (розміщений перший вузол)

Процедура insert-ethers виводить прийняті MAC-адреси і відповідні імена вузлів. Коли вузол почне викачувати свій образ (рисунок 3.18), пусте місце «()» заповниться зірочкою «(*)».

Рисунок 3.18 - Запуск першого вузла

Аналогічним чином потрібно запустити всі інші обчислювальні вузли.

Коли останній вузол кластера перезавантажиться в кінці процесу завантаження, потрібно натиснути клавішу F8 на головному вузлі, і установка буде закінчена.

Тестування кластеру

Тепер кластер встановлений і готовий до роботи. Далі необхідно швидко перевірити працездатності кластеру. Насамперед потрібно скористатися функції cluster-fork. Вона дозволяє запускати один і той же додаток на всіх вузлах або підмножині вузлів кластера. На рисунку 3.19 показаний результат виконання команди uname з допомогу cluster-fork.

Рисунок 3.19 - Запуск uname через cluster-fork

При першому виклику система додає вузли кластера в списки дозволених хостів. У наступні рази виклик буде просто виконувати необхідну програму. Як видно з рисунка, всі вузли кластера «живі» і готові до роботи.

Висновки

Коли робоча станція не справляється, одним з можливих рішень є створення кластеру. Правильно налаштований кластер забезпечує необхідну обчислювальну потужність. Хоча можливо налаштувати кластер вручну, але набагато зручніше скористатися спеціалізованим пакетом, який допоможе швидко розгорнути і настроїти кластерну систему.

Один з найпопулярніших пакетів для розгортання та адміністрування кластера є Rocks 5.4 яким скористався я при проектуванні кластеру.

Даний кластер щодо існуючих систем дуже малий, він складається всього з двох комп'ютерів, але не дивлячись на це обчислювальна потужність значно зросла в порівнянні з тими результатами, коли завдання комп'ютери виконували окремо.

Витрати на створення подібного кластеру не великі і дане рішення дуже вигідно.

У кластер об'єднані комп'ютери різні за потужністю, більш потужний комп'ютер зразка 2009 року є головним вузлом, а менш потужний комп'ютер зразка 2005 року є ОР.

ПК об'єднані в мережу. Мережа построєна на основі вітої парі, Що на сьогоднішній день оптимально! Для побудови мережі, використовувалася устаткування фірмі D-link. У мережі використовується технологія Fast Ethernet.

Перелік посилань

Електронні документи в Internet

[1] - Вікіпедія - вільна енциклопедія / Спосіб доступу: URL: #"justify">ДОДАТОК А.

Відомість матеріалів курсового проекту

№Фор- матПозначенняНайменуванняКількість листівПриміткиДокументація1А4ЕОТ.ПК.10.03.УС.ПЗСписок умовних скорочень12А4ЕОТ.ПК.10.03.З.ПЗЗміст13А4ЕОТ.ПК.10.03.ВС.ПЗВступ14А4ЕОТ.ПК.10.03.01.ПЗТеоретична частина35А4ЕОТ.ПК.10.03.02.ПЗПобудова кластера166А4ЕОТ.ПК.10.03.В.ПЗВисновки17А4ЕОТ.ПК.10.03.ПП.Перелік посилань18А4ПЗЕОТ.ПК.10.03.ДА.ПЗДодаток А1

Міністерство освіти і науки України Національний гірничий університет Інститут електроенергетики Кафедра електроніки та обчислювальної техніки

Больше работ по теме: