სასარგებლო რჩევები

ქსელები სუპერკომპიუტერებისთვის

Pin
Send
Share
Send
Send


განაწილებული გამოთვლა არის საინტერესო გზა რამდენიმე საინტერესო პროექტში მონაწილეობის მისაღებად. როდესაც თქვენი კომპიუტერი უსაქმურია, გაზიარეთ მისი ძალაუფლება SETI პროექტთან, რომელიც ეძებს ექსტრაორდინალურ ცივილიზაციას. ამ შემთხვევაში, თქვენი კომპიუტერი გაანალიზებს სატელიტურ მონაცემებს და ტელესკოპებიდან მიღებულ ინფორმაციას.

ეს სტატია დაგეხმარებათ გაწევრიანდეთ პროექტებში (მაგალითად, SETI), რომელიც მოიცავს განაწილებულ გამოთვლებს. სტატიაში ასევე გაცნობთ BOINC– ს, განაწილებულ გამოთვლილ პროგრამას.

თქვენ გჭირდებათ კომპიუტერი. თუ ეს უკვე გაქვთ, გადადით წყაროები და ბმულები განყოფილებაში და დააინსტალირეთ BOINC პროგრამა. თუ არ ხართ დაინტერესებული SETI პროექტით, ქვემოთ მოცემულია სხვა პროექტების ჩამონათვალი.

თუ ბევრი ფული

ცალკე, ჩვენ აღვნიშნავთ პროცესორების ძალიან ძვირი, მაგრამ პროდუქტიული ხაზის Intel Xeon LGA1567 სოკეტზე.
ამ სერიის ყველაზე მთავარი პროცესორია E7-8870, ათი 2.4 გჰც ბირთვით. მისი ფასი 4616 დოლარია. ასეთი პროცესორებისთვის HP და Supermicro ავრცელებენ! რვა პროცესორი! სერვერის შასი. რვა ბირთვიანი Xeon E7-8870 2.4 GHz პროცესორი HyperThreading მხარდაჭერით 8 * 10 * 2 = 160 თემა, რომელიც ნაჩვენებია Windows Task Manager– ში, როგორც პროცესორის დატვირთვის ასი სამოცი გრაფიკი, მატრიცა 10x16.

იმისათვის, რომ რვა პროცესორი მოერგოს საქმეს, ისინი დაუყოვნებლივ არ იდება დედაპლატზე, არამედ ცალკეულ დაფებზე, რომლებიც დევს დედაპლატში. ფოტოზე ნაჩვენებია დედაპლატის დამონტაჟებული ოთხი დედაპლატა (თითოეულზე ორი). ეს არის Supermicro გადაწყვეტა. HP გადაწყვეტაში, თითოეულ პროცესორს აქვს საკუთარი დაფა. HP- ის ხსნარის ღირებულება ორიდან სამ მილიონამდეა, რაც დამოკიდებულია პროცესორების რაოდენობაზე, მეხსიერებაზე და სხვაზე. Supermicro შასის ფასი $ 10,000 ღირს, რაც უფრო მიმზიდველია. გარდა ამისა, Supermicro– ს შეუძლია PCI-Express x16 პორტებში დააყენოს ოთხი კოპროცესორული გამაფართოებელი ბარათი (სხვათა შორის, Infiniband გადამყვანისთვის მაინც იქნება ადგილი, რომ ამ კასეტური შეიკრიბოს), მაგრამ HP– ში მხოლოდ ორია. ამრიგად, სუპერკომპიუტერის შესაქმნელად, Supermicro– დან რვა პროცესორიანი პლატფორმა უფრო მიმზიდველია. შემდეგი ფოტო გამოფენიდან ჩანს სრული სუპერკომპიუტერი ოთხი GPU დაფებით.

თუმცა, ეს ძალიან ძვირია.

საკომუნიკაციო ქსელები

სუპერკომპიუტერის ეფექტურობა მრავალ აპლიკაციაში დიდწილად განისაზღვრება მეხსიერებასთან და ქსელთან მუშაობის პროფილის მიხედვით. მეხსიერებასთან მუშაობის პროფილის აღწერილობა, როგორც წესი, აღწერილია ზარების სპორტი-დროებითი ლოკალიზაციით - ზარების ზომისა და მათი მისამართების გაფანტვის მიხედვით, ხოლო ქსელთან მუშაობის პროფილის აღწერა აღწერილია კვანძების განაწილებით, რომლებთანაც ხდება შეტყობინებების გაცვლა, გაცვლითი კურსი და შეტყობინებების ზომები.

კვანძებს შორის ინტენსიური მონაცემთა გაცვლის დავალებებზე სუპერკომპიუტერის შესრულება (მოდელის პრობლემები, გრაფიკებზე არსებული პრობლემები და არარეგულარული ბადეები, იშვიათი მატრიცების გამოყენებით გამოთვლები) ძირითადად განისაზღვრება ქსელის მუშაობით, ამიტომ ჩვეულებრივი კომერციული გადაწყვეტილებების გამოყენება (მაგალითად, გიგაბიტი Ethernet) უკიდურესად არაეფექტურია. ამასთან, რეალური ქსელი ყოველთვის არის კომპრომისული გამოსავალი, რომლის განვითარებაშიც პრიორიტეტულია ფასები, შესრულება, ენერგიის მოხმარება და სხვა მოთხოვნები, რომლებიც მეტწილად საპირისპიროა: ერთი მახასიათებლის გაუმჯობესების მცდელობებმა შეიძლება გამოიწვიოს სხვის გაუარესება.

საკომუნიკაციო ქსელი შედგება კვანძებისაგან, რომელთაგან თითოეულს აქვს ქსელის ადაპტერი, რომელიც დაკავშირებულია ერთ ან მეტ მარშრუტიზატორთან, რომლებიც, თავის მხრივ, ერთმანეთთან ურთიერთკავშირშია მაღალსიჩქარიანი საკომუნიკაციო არხებით (ბმულები).

სურ. 1. ტოპოლოგია 4D-torus (3x3x3x3)

ქსელის სტრუქტურა, რომელიც განსაზღვრავს, თუ როგორ ხდება სისტემის კვანძების ერთმანეთთან ურთიერთმიმართება, განისაზღვრება ქსელის ტოპოლოგია (ჩვეულებრივ ლატი, ტორუსი ან სქელი ხე) და სტრუქტურული პარამეტრების ერთობლიობა: გაზომვების რაოდენობა, ხის დონის რაოდენობა, ტოუსის მხარეების ზომები, ხეების დონეზე გადაადგილების რაოდენობა, ქსელის კვანძების რაოდენობა პორტები მარშრუტიზატორებზე და ა.შ. სურათი 1 გვიჩვენებს ოთხგანზომილებიანი ტორუსის ტოპოლოგიის მაგალითს 3x3x3x3.

როუტერის არქიტექტურა განსაზღვრავს ბლოკების სტრუქტურასა და ფუნქციონირებას, რომლებიც პასუხისმგებელნი არიან მონაცემთა გადაცემა ქსელურ კვანძებს შორის, აგრეთვე არხის, ქსელის და სატრანსპორტო ფენების ოქმების აუცილებელი თვისებები, მათ შორის, მარშრუტიზაცია, საარბიტრაჟო და მონაცემთა ნაკადის კონტროლის ალგორითმები. ქსელის ადაპტერის არქიტექტურა განსაზღვრავს ბლოკების სტრუქტურასა და ფუნქციონირებას, რომლებიც პასუხისმგებელნი არიან პროცესორის, მეხსიერებისა და ქსელის ურთიერთქმედებაზე, კერძოდ, MPI ოპერაციების მხარდაჭერა ხდება ამ დონეზე, RDMA (Remote Direct Memory Access - სხვა კვანძის მეხსიერებაზე პირდაპირი დაშვება მისი პროცესორის მონაწილეობის გარეშე), პაკეტის კიდევ ერთი კვანძის მიერ მიღების დადასტურება, განსაკუთრებული სიტუაციების მართვა, პაკეტების ერთობლიობა.

საკომუნიკაციო ქსელის მუშაობის შესაფასებლად, ხშირად გამოიყენება სამი მახასიათებელი: გამტარობა (მონაცემთა ერთეულზე გადაცემული მონაცემების რაოდენობა), კომუნიკაციის შეფერხება (მონაცემთა გადაცემის დრო ქსელში), შეტყობინებების ტემპი (ჩვეულებრივ, ისინი როუტერის შიდა ერთეულებს შორის პაკეტების გაგზავნის, მიღებისა და გადაცემისას ცალკე თვლიან მიწოდების სიჩქარეს).

სისრულისთვის, ეს მახასიათებლები იზომება სხვადასხვა ტიპის ტრაფიკის მხრივ, მაგალითად, როდესაც ერთი კვანძი ყველა სხვა პირს უგზავნის მონაცემებს, ან, პირიქით, ყველა კვანძს უგზავნის მონაცემებს ერთზე, ან როდესაც ყველა კვანძი მონაცემებს უგზავნის შემთხვევით მიმართულებებს. ფუნქციონალური მოთხოვნები დაწესებულია თანამედროვე ქსელებზე:

  • Shmem ბიბლიოთეკის ეფექტური განხორციელება, როგორც ცალმხრივი საკომუნიკაციო მოდელის მხარდასაჭერად და GASNet, რომელზეც დაფუძნებულია მრავალი PGAS ენების განხორციელება,
  • MPI– ს ეფექტურად განხორციელება (ჩვეულებრივ, ეს მოითხოვს ბეჭედი ბუფერის მექანიზმის ეფექტურ მხარდაჭერას და მიღებული პაკეტების დადასტურებას),
  • კოლექტიური ოპერაციების ეფექტური მხარდაჭერა: მაუწყებლობა (იგივე მონაცემების ერთდროულად გაგზავნა ბევრ კვანძზე), შემცირება (ბინარული ოპერაციის გამოყენება, მაგალითად, სხვადასხვა კვანძებიდან მიღებული მნიშვნელობების სიმრავლეზე), მასივების ელემენტების განაწილება კვანძების ნაკრებებზე (სკატერი), ელემენტების შეკრება და ა.შ. მდებარეობს სხვადასხვა კვანძებში (შეკრება),
  • ინტერაქტიური კვანძების სინქრონიზაციის ოპერაციების ეფექტური მხარდაჭერა (მინიმუმ ბარიერის სინქრონიზაცია), ეფექტური ურთიერთქმედება კვანძზე დიდი რაოდენობის პროცესების ქსელთან, და პაკეტის საიმედო მიწოდების უზრუნველყოფა.

ასევე მნიშვნელოვანია ადაპტერის მუშაობის ეფექტური მხარდაჭერა მასპინძელ მეხსიერებასთან უშუალოდ პროცესორის ჩართვის გარეშე.

უცხოური მაღალსიჩქარიანი ქსელები

ყველა საკომუნიკაციო ქსელი შეიძლება დაიყოს ორ კლასად: კომერციული და საბაჟო, განვითარებულია როგორც კომპიუტერული სისტემების ნაწილი და ხელმისაწვდომია მხოლოდ მათთან. კომერციულ ქსელებს შორის, ბაზარი იყოფა InfiniBand- სა და Ethernet- ს შორის - Top500 სიაში (2011 წლის ივნისი), სისტემების 42% იყენებს InfiniBand- ს, ხოლო 45% -ს იყენებს Gigabit Ethernet- ს. ამავდროულად, თუ InfiniBand ორიენტირებულია მაღალი დონის სისტემების სეგმენტზე, რომელიც განკუთვნილია კომუნიკაციის დიდი რაოდენობის კომუნიკაბელური კომპლექსური დავალებებისთვის, მაშინ Ethernet ტრადიციულად იკავებს ნიშას, სადაც კვანძებს შორის მონაცემების გაცვლა არ არის კრიტიკული. სუპერკომპიუტერებში, Ethernet ქსელი, მისი დაბალი ღირებულებისა და ხელმისაწვდომობის გამო, ხშირად გამოიყენება როგორც დამხმარე მომსახურების ქსელი, რათა შეამცირონ საკონტროლო ტრაფიკისა და დავალების ტრაფიკის ჩარევა.

Inifiniband ქსელი თავდაპირველად ფოკუსირებული იყო ცხიმოვანი ტოპოლოგიის კონფიგურაციებზე, მაგრამ კონცენტრატორებისა და მარშრუტიზატორების უახლესი ვერსიები (ძირითადად, QLogic- ის მიერ წარმოებული) მხარს უჭერს მრავალგანზომილებიან ტორუსის ტოპოლოგიას (Torus-2QoS მარშრუტირების ძრავის გამოყენებით), ისევე როგორც ჰიბრიდული ტოპოლოგია 3D ტორუსისგან და ცხიმიანი ხე. Sandia RedSky სუპერკომპიუტერი, რომელიც შეიკრიბა 2010 წლის დასაწყისში და ახლა Top500– ში მე –16 ადგილზეა, InfiniBand ქსელისა და ტოპოლოგიის 3D ტოროუს (6x6x8) მასშტაბური პროექტია. ასევე, ახლა დიდი ყურადღება ეთმობა RDMA ოპერაციების და Shmem ბიბლიოთეკის (კერძოდ, Qlogic Shmem) ეფექტურ მხარდაჭერას.

InfiniBand– ის პოპულარობა განპირობებულია მისი შედარებით დაბალი ღირებულებით, პროგრამული უზრუნველყოფის შემუშავებული ეკოსისტემით და MPI– ით ეფექტური მხარდაჭერით. ამასთან, InfiniBand– ს აქვს თავისი ნაკლოვანებები: შეტყობინებების მიწოდების დაბალი მაჩვენებელი (40 მილიონი გაგზავნა წამში უახლესი გადაწყვეტილებებით Mellanox– დან), მოკლე პაკეტების დაბალი გადაცემის ეფექტურობა, შედარებით დიდი შეფერხება (1.5 μs – ზე მეტი გადაცემის კვანძზე გადასასვლელად და დამატებითი 0.1– 0.5 μs თითო სატრანზიტო კვანძზე), სუსტი მხარდაჭერა ტოროიდული ტოპოლოგიისთვის. ზოგადად, შეიძლება ითქვას, რომ InfiniBand არის პროდუქტი მასობრივი მომხმარებლისთვის, ხოლო მისი განვითარების დროს შეიქმნა კომპრომისი ეფექტურობასა და მრავალფეროვნებას შორის.

ასევე შეგვიძლია აღვნიშნოთ ქსელი Extoll, რომელიც ბაზარზე გამოსაშვებად ემზადება - ჰაიდელბერგის უნივერსიტეტის განვითარება პროფესორ ულრიხ ბრუინგის ხელმძღვანელობით. ამ ქსელის განვითარებაში მთავარი აქცენტია შეფერხებების შემცირება და მიწოდების სიჩქარის გაზრდა ცალმხრივ კომუნიკაციებში. დაგეგმილია, რომ ექსტოლს ექნება 3D ტორუსის ტოპოლოგია და გამოიყენოს ოპტიკური ბმულები სიჩქარესთან 10 გბ / წმ სიჩქარეს (ხაზის შიგნით სერიული მონაცემთა გადაცემის არხი) და ბმულით 12 ხაზი. ახლა არსებობს FollA– ს ექსტოლის ქსელის პროტოტიპები: R1 - Virtex4– ზე, R2 Ventoux– ზე დაყრდნობით - Virtex6– ზე დაფუძნებული ორ – კვანძის განლაგება. ცალმხრივი სიჩქარეს თითო ბმული არის 600 მბ / წმ (R1- სთვის). ასევე დამუშავდება ორი ინტერფეისი (HyperTransport 3.0 და PCI Express gen3) პროცესორთან, რაც საშუალებას მისცემს ამ ქსელის ინტეგრირებას Intel და AMD პლატფორმებში. Extoll მხარს უჭერს ცალმხრივი ჩანაწერების ორგანიზების რამდენიმე გზას, საკუთარ MMU- ს (მეხსიერების მართვის განყოფილება, ვირტუალური მისამართების ფიზიკურ მისამართებზე თარგმნის ბლოკი) და ატომურ ოპერაციებს.

კომერციული ქსელებისგან განსხვავებით, საბაჟო ქსელები იკავებენ ბაზრის გაცილებით მცირე წილს, თუმცა ისინი გამოიყენება ყველაზე ძლიერი სუპერკომპიუტერებში Cray, IBM, SGI, Fujitsu, NEC და Bull. პერსონალური ქსელების დიზაინის შექმნისას, დეველოპერებს აქვთ მეტი თავისუფლება და ცდილობენ უფრო პროგრესული მიდგომები გამოიყენონ საბოლოო პროდუქტის საბაზრო მიმზიდველობა უფრო მნიშვნელოვანი მნიშვნელობის გამო, რაც პირველ რიგში გადაჭრის ამოცანების კონკრეტულ კლასზე მაქსიმალური შესრულების მოპოვების პრობლემას.

K Computer სუპერკომპიუტერი იყენებს კომერციული Tofu (TOrus FUsion) საკომუნიკაციო ქსელს, რომელიც არის მასშტაბური 3D ტორუსი, რომლის კვანძები შეიცავს 12 კვანძის ჯგუფებს (კვანძების ჯგუფები უკავშირდება 12 ქსელს 3D ტორუსით და ამ ჯგუფიდან თითოეულ კვანძს აქვს საკუთარი გამოსავალი) 3D torus ქსელი). თითოეული ჯგუფის კვანძები ერთმანეთთან ერთმანეთთან არის დაკავშირებული ერთმანეთთან 3D ტორუსით, მხარეები 2x3x4 დუბლიკატური კავშირების გარეშე, რაც ეკვივალენტურია 2D torus- ით ერთად მხარეები 3x4 (ასე რომ, ჩვენ ვიღებთ 5D torus- ს ფიქსირებული ორი განზომილებით). ამრიგად, Tofu ქსელის კვანძს აქვს 10 კავშირი ცალმხრიანი გამტარუნარიანობით 40 გბ / წმ თითოეული. კვანძების ბარიერი სინქრონიზაცია და შემცირება (მთელი და მცურავი წერტილი) უზრუნველყოფილია ტექნიკა.

Tianhe-1A სუპერკომპიუტერის შემუშავების მთავარი მიზნები იყო ენერგიის მაღალი ეფექტურობის მიღწევა, საკუთარი პროცესორის და ქსელის უპირატესობის შემუშავება InfiniBand QDR– ზე. სუპერკომპიუტერი შედგება 7168 გამოთვლითი კვანძისგან, რომელიც დაკავშირებულია Arch- ის ქსელის მიერ საკუთარი დიზაინის სქელ ხის ტოპოლოგიასთან. ქსელი აშენებულია 16 – პორტის მარშრუტიზატორისგან, ცალმხრივი ბმული გამტარობა - 8 GB / წმ, შეფერხება - 1.57 μs. RDMA ოპერაციების მხარდაჭერა და კოლექტიური ოპერაციების ოპტიმიზაცია მოხდა.

კომპიუტერული სისტემების კლასიკური წარმომადგენლები, რომლებიც იყენებენ ტეროიდულ ტოპოლოგიას, გამოთვლითი კვანძების შესაქმნელად, IBM Blue Gene სერიის სისტემებია, რომელთა პირველ ორ თაობაში - Blue Gene / L (2004) და Blue Gene / P (2007) - გამოიყენეს 3D torus ტოპოლოგია. Blue Gene / P ქსელში ქსელს აქვს შედარებით სუსტი კავშირები ცალმხრივი სიჩქარის 0.425 გბ / წმ სიჩქარით, რაც მისი თანამედროვე InfiniBand QDR ბმულის სიჩქარესთან შედარებით დაბალი სიდიდის სიგანეა, თუმცა, ტექნიკის დაფუძნებული მხარდაჭერა ბარიერის სინქრონიზაციისა და კოლექტიური ოპერაციების დროს (ცალკე ხის მსგავსი ქსელებით) რეალური პროგრამები. გარდა ამისა, ყველა ინტერფეისი და მარშრუტიზაციის ერთეული გაერთიანებულია BPC მიკროპროცესორში (Blue Gene / P Chip), რაც მნიშვნელოვნად ამცირებს შეტყობინებების გადაცემის შეფერხებებს. შემდეგი თაობის საკომუნიკაციო ქსელს Blue Gene / Q აქვს 5D- tor ტოპოლოგია და განსხვავებით მისი წინამორბედებისა, მას არ აქვს ცალკეული ქსელები ბარიერული სინქრონიზაციისა და კოლექტიური ოპერაციების შესასრულებლად. ცისფერი გენის / Q ჩიპი პირველად გახდა მრავალ ბირთვიანი მრავალნაირი ძაფი - ოთხი აპარატის ძაფი თითო ბირთვით 16 ბირთვით, რაც საშუალებას იძლევა ქსელის მოთხოვნების შესუსტება და შეფერხების შემწყნარებლობის უზრუნველყოფა. ბმულის გამტარუნარიანობა გაიზარდა 2 გბ / წმ-მდე, მაგრამ მაინც მცირეა, ვიდრე Cray Gemini ან Extoll. ამ სისტემებში დაბალი გამტარუნარიანობა დგინდება ტორუსის დიდი განზომილებით (ბმულების დიდი რაოდენობა) და, შედეგად, ქსელის მცირე დიამეტრით (მნიშვნელოვნად უფრო მცირეა ვიდრე ქსელებთან შედარებით 3D ტოროუს ტოპოლოგიით, იმავე რაოდენობის კვანძებით). ხელმისაწვდომი წყაროები იუწყებიან ორი ლურჯი გენის / Q ტრანსპლანტოლოპური სუპერკომპიუტერის შექმნის შესახებ: Sequoia, რომელსაც აქვს 20 PFLOPS და მირა - 10 PFLOPS. შეგვიძლია დავასკვნათ, რომ Blue Gene / Q ორიენტირებულია ამოცანებზე, რომლებიც ათეულობით და ასობით ათასი გამოთვლითი კვანძის გამოყენებას მოიცავს "ყველადან" ყველა ტიპის ქსელურ ტრაფიკთან.

ტოროიდული ტოპოლოგიით საკომუნიკაციო ქსელების მშენებლობისადმი მიდგომის კიდევ ერთი მიმზიდველია კრეი, რომელიც განაგრძობს 3D ტორ ტოპოლოგიის გამოყენებას, ამასთან იზრდება გამტარუნარიანობა და მეზობელ კვანძებთან დამაკავშირებელი ბმულების რაოდენობა. Cray toroidal ქსელის ამჟამინდელი თაობა არის Cray Gemini ქსელი. ერთი ტყუპების როუტერი შეესაბამება წინა SeaStar2 + თაობის ორ მარშრუტიზატორს, ანუ, ფაქტობრივად, ორ ქსელურ კვანძზეა, ამიტომ ტყუპებში 6 ბმულის ნაცვლად 10 გამოიყენება მეზობელ კვანძებთან დასაკავშირებლად (2 ემსახურება ორი ადაპტერის ერთმანეთთან დაკავშირებას).

სუპერკომპიუტერისათვის ქსელის კომპონენტები (ქსელური გადამყვანები, კონცენტრატორები, მარშრუტიზატორები), განსხვავებით პროცესორებისა, ხშირად უფრო ძვირია, ხოლო მათზე წვდომა უფრო შეზღუდულია. მაგალითად, ახლა InfiniBand ქსელის კონცენტრატორები, რომლებიც მთავარი კომერციული ქსელია სუპერკომპიუტერებისთვის, აწარმოებენ მხოლოდ ორ კომპანიას, რომელთაგან ორივე კონტროლდება შეერთებული შტატების მიერ. ეს ნიშნავს, რომ მაღალსიჩქარიანი ქსელების სფეროში საკუთარი მოვლენების არარსებობის პირობებში, ადვილად კონტროლირდება ნებისმიერ ქვეყანაში თანამედროვე სუპერკომპიუტერების შექმნა, გარდა აშშ, ჩინეთი ან იაპონია.

შიდა ქსელები

საკომუნიკაციო ქსელების განვითარება სუპერკომპიუტერებში გამოყენებისთვის ხორციელდება არაერთი ადგილობრივი ორგანიზაციის მიერ: RFNC VNIIEF (ღია წყაროებში ამ მოვლენების შესახებ ინფორმაცია ძალიან ცოტაა), რუსეთის მეცნიერებათა აკადემიის პროგრამული სისტემების ინსტიტუტი და RSK SKIF, IPM RAS და კვლევითი ინსტიტუტი Kvant (MVS-Express ქსელი ”).

3D tor საკომუნიკაციო ქსელი რუსეთ-იტალიის სუპერკომპიუტერის SKIF-Aurora– ისთვის მთლიანად აშენებულია Altera Stratix IV FPGA გამოყენებით, რომელიც განმარტავს საკმაოდ მცირე სიჩქარეს თითო ბმულზე - 1.25 GB / s (FPGA რესურსები ძალიან შეზღუდულია).

MVS-Express ქსელში PCI Express 2.0 გამოიყენება კომპიუტერული კვანძების ინტეგრაციისთვის, ხოლო კვანძები უკავშირდება 24 – პორტის კონცენტრატორს. ქსელს აქვს ტოპოლოგია ცხიმთან ახლოს. საანგარიშო კვანძში ქსელის ადაპტერს აქვს ერთი პორტი, რომლის სიგანე 4 ზოლია, რის შედეგადაც ცალმხრივი პიკი გამტარუნარიანობა თითო ბმულზე არის 20 გბიტ / წმ სიჩქარის დაშიფვრის გარეშე. PCI Express- ის MVS-Express- ში გამოყენების უპირატესობა არის საერთო მეხსიერების ეფექტური მხარდაჭერა ცალმხრივი კომუნიკაციის შესაძლებლობით. შედეგად, ქსელი მოსახერხებელია Shmem ბიბლიოთეკის და PGAS ენების განსახორციელებლად (UPC, CAF).

რუსეთის ფედერაციის ინდუსტრიისა და ვაჭრობის სამინისტროს მხარდაჭერით, NICEVT OJSC მუშაობს Angara საკომუნიკაციო ქსელის განვითარებაზე 4D tor torology- ით, რაც შეიძლება გახდეს სუპერკომპიუტერების განვითარებისათვის საშინაო ტექნოლოგიების შექმნის საფუძველი.

ქსელი "ანგარა"

ანგარას ქსელის განვითარების ძირითადი მიზნებია:

  • ცალმხრივი კომუნიკაციების (დააყენა / მიღება) და PGAS ენების ეფექტური მხარდაჭერა (როგორც პარალელური პროგრამირების ძირითადი საშუალება),
  • ეფექტური MPI მხარდაჭერა
  • საკუთარი ბროლის გათავისუფლება (მონაცემთა გადაცემის მაღალი ტემპებისა და დაბალი შეფერხებების მისაღწევად),
  • ადაპტური ვერტიკალური პაკეტის გადაცემა,
  • ეფექტური მუშაობა თანამედროვე პროცესორებთან და ჩიპსეტებთან.

ამ ქსელის განვითარების პირველ ეტაპზე (2006) ჩატარდა ქსელის სხვადასხვა ვარიანტების სიმულაცია და მიღებულ იქნა მთავარი გადაწყვეტილებები ტოპოლოგიის, როუტერის არქიტექტურის, მარშრუტიზაციის ალგორითმების და არბიტრაჟის შესახებ. ტოროიდული ტოპოლოგიის გარდა, განიხილეს კეილის ქსელები და "სქელი ხე". ოთხგანზომილებიანი ტორუსი შეირჩა მისი მარტივი მარშრუტიზაციის, კარგი მასშტაბურობისა და მცირე კავშირის გამო მცირე თორთან შედარებით. ქსელის მოდელირებამ შესაძლებელი გახადა დეტალურად შეესწავლა ქსელის არქიტექტურის სხვადასხვა პარამეტრების გავლენა ძირითადი შესრულების მახასიათებლებზე, გაითვალისწინოს დავალებების ტრეფიკის მეხსიერებაზე ინტენსიური არარეგულარული დაშვება მეხსიერებაში. შედეგად, შეირჩა ბუფერული ოპტიმალური ზომები, ვირტუალური არხების რაოდენობა, და ანალიზებული იქნა პოტენციური სირთულეები.

2008 წელს გამოჩნდა FPGA როუტერის პირველი პროტოტიპი - ქსელის განლაგება ექვსი კვანძის შესახებ Virtex4- ზე, რომელიც დაკავშირებულია 2x3 torus- ით, რომელზედაც დართული იყო როუტერის ძირითადი ფუნქციონირება, დამუშავდა შეცდომების შემწყნარებელი მონაცემთა გადაცემა, დამუშავდა დრაივერი და დაბალი დონის ბიბლიოთეკა, დაიწერა და დარეგულირდა, Shmem ბიბლიოთეკები იყო პორტირებული და MPI ახლავე დაიწყო მესამე თაობის განლაგება, რომელიც შედგება ცხრა კვანძისგან, რომლებიც დაკავშირებულია ორგანზომილებიანი ტორუსის 3x3-ით. Собран стенд с двумя узлами для тестирования новых разъемов и каналов передачи данных, предполагаемых к использованию с будущими кристаллами маршрутизатора ВКС. При разработке принципов работы сети ряд деталей был позаимствован из работ и , а также в том или ином виде из архитектур IBM Blue Gene и Cray SeaStar.

Сеть «Ангара» имеет топологию 4D-тор. Поддерживается детерминированная маршрутизация, сохраняющая порядок передачи пакетов и предотвращающая появление дедлоков (взаимных блокировок), а также адаптивная маршрутизация, позволяющая одновременно использовать множество путей между узлами и обходить перегруженные и вышедшие из строя участки сети. განსაკუთრებული ყურადღება გამახვილდა ვირტუალური ქვეტექსტის გამოყენებით განხორციელებული კოლექტიური ოპერაციების (მაუწყებლობისა და შემცირების) მხარდაჭერაზე, რომელთაც აქვთ ტოპოლოგია მრავალგანზომილებიანი ტორუსზე. ტექნიკის დონეზე ქსელი მხარს უჭერს დისტანციური წერის, წაკითხვის და ატომური ოპერაციების ორ ტიპს (დამატებით და ექსკლუზიურ OR). დისტანციური მოსმენით შესრულების სქემა (მოთხოვნის გაგზავნა და პასუხის მიღება) ნაჩვენებია ნახ. 2 (დისტანციური ჩაწერა და ატომური ოპერაციები ანალოგიურად ხორციელდება). ცალკეულ ბლოკში, ლოგიკა ხორციელდება ქსელისგან მიღებული შეტყობინებების საერთო ჯამში, იმისათვის, რომ გაიზარდოს სასარგებლო მონაცემების წილი თითოეულ ტრანზაქციაზე მასპინძელთან ინტერფეისით გადაცემისას (მასპინძელი არის პროცესორის მეხსიერება-ხიდის ხიდი).

სურ. 2. დისტანციური კითხვის სქემა ანგარას ქსელში

მონაცემთა ბმული ფენის დროს, უშეცდომო პაკეტის გადაცემა მხარდაჭერილია. ასევე არსებობს მექანიზმი, რომ არ მოხდეს კომუნიკაციის არხები და კვანძები გვერდის ავლით, მარშრუტიზაციის ცხრილების აღდგენით. სხვადასხვა სერვისული ოპერაციების შესასრულებლად (კერძოდ, მარშრუტიზაციის ცხრილების კონფიგურაცია / აღდგენა) და გარკვეული გამოთვლების შესასრულებლად, გამოიყენება მომსახურების პროცესორი. მასპინძელი ინტერფეისი იყენებს PCI Express.

სურ. 3. გამოთვლითი კვანძის სტრუქტურა ქსელური ადაპტერი / როუტერი "ანგარა"

როუტერის ძირითადი ბლოკები:

  • ინტერფეისი მასპინძელ სისტემასთან, პასუხისმგებელია მასპინძელ ინტერფეზე პაკეტების მიღებისა და გაგზავნისთვის
  • ინექციისა და განდევნის განყოფილება, რომელიც ქმნის პაკეტებს, რომლებიც ქსელში უნდა გაიგზავნოს და წყვეტს ქსელიდან შემავალი პაკეტების თავსატეხებს,
  • მოთხოვნის დამუშავების განყოფილება, რომელიც ამუშავებს პაკეტებს, რომლებიც საჭიროებენ ინფორმაციას მასპინძელი სისტემის მეხსიერებიდან (მაგალითად, წაკითხული ან ატომური ოპერაციები),
  • კოლექტიური ოპერაციების ქსელის განყოფილება, რომელიც ამუშავებს კოლექტიურ ოპერაციებთან დაკავშირებულ პაკეტებს, კერძოდ, შემცირების ოპერაციების შესრულებას, მაუწყებლობის მოთხოვნის პაკეტის წარმოქმნას,
  • მომსახურების ოპერაციების განყოფილება, რომელიც ამუშავებს პაკეტებს, რომლებიც მიდიან და მიდიან მომსახურების კოპროცესორში,
  • შეცვლა, რომელიც აკავშირებს სხვადასხვა ვირტუალურ არხებთან და ინჟექტორებთან ერთად სხვადასხვა მიმართულებებთან და ინჟექტორებთან,
  • საკომუნიკაციო არხები მონაცემების გარკვეული მიმართულებით გადასაადგილებლად და მისაღებად,
  • მონაცემთა გადაცემის განყოფილება ამ მიმართულებით პაკეტების გაგზავნისთვის, ხოლო მიმღები და მარშრუტიზაციის განყოფილება პაკეტების მისაღებად და მათი მომავალი ბედის შესახებ გადაწყვეტილების მისაღებად.

მასპინძელთან ურთიერთქმედება (ცენტრალურ პროცესორზე შესრულებული კოდი) როუტერთან ხორციელდება მეხსიერების მისამართებზე ჩაწერის გზით, როუტერის რესურსების რეგიონების მისამართებზე (მეხსიერების რუქა შეყვანის / გამომავალი) საშუალებით. ეს საშუალებას აძლევს განაცხადს როუტერთან ურთიერთობა ბირთვის მონაწილეობის გარეშე, რაც ამცირებს პაკეტების გაგზავნის ოვერჰედის, რადგან ბირთვის კონტექსტზე გადასვლა და უკან ასზე საათის ციკლი ხდება. პაკეტების გასაგზავნად გამოიყენება მეხსიერების ერთ – ერთი რეგიონი, რომელიც ითვლება ბეჭდის ბუფერად. ასევე არსებობს ცალკე რეგიონი ოპერაციების შესასრულებლად მეხსიერება-მეხსიერების კოპირების გარეშე (მონაცემები იკითხება მეხსიერებიდან და იწერება საკომუნიკაციო ქსელის ადაპტერის საშუალებით DMA ოპერაციების საშუალებით) და მაკონტროლებელი რეგისტრების მქონე რეგიონი. როუტერის გარკვეულ რესურსებზე წვდომა კონტროლდება ბირთვული მოდულის საშუალებით.

უფრო მეტი ეფექტურობის მისაღწევად, გადაწყდა, რომ მხოლოდ ერთი კვანძის შესრულება უნდა განხორციელებულიყო მხოლოდ ერთი საანგარიშო დავალებით, ამით გამოირიცხა ოვერჰედის გამოყენება, რომელიც დაკავშირებულია ვირტუალური მეხსიერების გამოყენებასთან, ამოცანის ჩარევისგან თავის არიდებით, რულეტის არქიტექტურის გამარტივებას სრული MMU არარსებობის გამო და თავიდან აიცილა ყველა მისი კომუნიკაციური შეფერხებები, ასევე ქსელის უსაფრთხოების მოდელის გამარტივება, მისგან აღმოფხვრის სხვადასხვა კადრების პროცესების უსაფრთხოებას ერთ კვანძზე. ეს გამოსავალი არ იმოქმედებს ქსელის ფუნქციონირებაზე, რაც ძირითადად მიზნად ისახავს ფართომასშტაბიანი ამოცანებისთვის (განსხვავებით, რომ InfiniBand– ია, უნივერსალური ქსელი სხვადასხვა ზომის დავალებებისთვის). ანალოგიური გადაწყვეტილება მიიღეს IBM Blue Gene- ში, სადაც განისაზღვრა დავალების უნიკალურობის შეზღუდვა.

აპარატურის დონეზე, ერთდროული მუშაობა მრავალი ამოცანის / პროცესის როუტერთან ერთდროული მუშაობით არის მხარდაჭერილი - ის ხორციელდება რამდენიმე ინექციური არხის სახით, რომელიც შესაძლებელია პროცესების გამოყენებისთვის, რამდენიმე რგოლური ბუფერის საშუალებით, პაკეტის ჩაწერისთვის. ამ ბუფერების რაოდენობა და ზომა შეიძლება დინამიურად შეიცვალოს.

Angara ქსელის მთავარი პროგრამირების რეჟიმი არის MPI, OpenMP და Shmem, ასევე GASNet და UPC ერთობლივი გამოყენება.

ქსელის გადამოწმებისა და პროტოტიპის დასრულების შემდეგ, იგეგმება VLSI ჩიპის გამოშვება. VLSI პროტოტიპი შეიქმნება ძირითადი ტექნოლოგიური გადაწყვეტილებების გამართვისთვის, ტექნოლოგიური პროცესისა და სიმულაციის შედეგების ექსპერიმენტული გადამოწმებისთვის. პროტოტიპი შეიცავს ყველა ძირითად ფუნქციონირებას, იმუშავებს PCI Express gen2 x16 ინტერფეისით და კავშირებს 75 გბ / წმ გამტარუნარიანობასთან.

დაგეგმილია Angara ქსელის ბაზარზე ორი ვერსიით პოპულარიზაცია: როგორც ცალკეული კომერციული ქსელი PCI Express ბარათების სახით, კლასტერული სისტემებისთვის სტანდარტული პროცესორებითა და ჩიპსეტებით, და ასევე, როგორც ოთხფეხა ბლადი სისტემის ნაწილი, რომელიც ემყარება AMD პროცესორებს, რომლებიც მუშავდება NICEVT- ში.

Pin
Send
Share
Send
Send