FTP.Chg.RU - Опыт создания и поддержки крупнейшего в России архива свободно распространяемого программного обеспечения

С.А. Крашаков, Л.Н. Щур

Труды Всероссийской научной конференции "Научный сервис в сети Интернет '2001" (Новороссийск, 24-29 сентября 2001), c. 170-171

Power Point Presentation

1. Введение

Концепция развития свободного программного обеспечения восходит к ранним годам становления и развития компьютерной науки и индустрии. На сегодняшний день, во всем мире создано огромное количество программного обеспечения, распространяемого бесплатно (или за символическую плату, состоящую из стоимости копирования программ на CD-ROM и стоимости печати сопутствующей документации) или на принципах shareware (пользователь платит автору небольшую сумму, если сочтет это необходимым). В первую очередь, это программы, создаваемые в рамках проекта GNU фонда свободного программного обеспечения (Free Software Foudation); операционные системы FreeBSD/OpenBSD/NetBSD, различные версии ОС Linux; оконные интерфейсы X11R6, XFree86, KDE, GNOME; издательская системы TeX; языки и системы программирования GNU C/C++, GNU Fortran, GNU Pascal, Perl, Python и многие другие; множество системных утилит и пользовательских приложений для Unix, FreeBSD/OpenBSD/NetBSD, Linux; огромное количество бесплатных программ для DOS, Windows 3.11/9x/NT/2000 и многое многое другое.

Более того, правительства Китая и ряда европейских стран принимают программы по использованию в госучреждениях преимущественно свободного программного обеспечения. По их мнению, это позволит уменьшить технологическую зависимость экономики этих стран от США и прежде всего, от корпорации Microsoft.

Практически во всех странах имеется один или несколько крупных архивов бесплатного программного обеспечения. Крупнейший на сегодня архив бесплатного ПО в России - сервер ftp.chg.ru. 

2. История

Сервер ftp.chg.ru начал создаваться в Научном центре РАН в Черноголовке коллективом сотрудников ИТФ им. Ландау РАН на средства проектов РФФИ 93-07-22858 (впоследствии также - 96-07-89226 и 99-07-90084) для обеспечения интересов научного центра, имевшего в те годы канал в Москву пропускной способностью в 19.2 кбит/с. Уже в конце 1995 его объем насчитывал около 5 Гб. После ввода в ксплуатацию 2 Мбит/с канала Черноголовка-Москва во второй половине 1997 г. он стал доступен широкой общественности, и с тех пор по данным поисковой системы www.filesearch.ru вот уже почти 4 года он является крупнейшим ftp-архивом в России.

Объем информации на сервере ежегодно удваивается:

в декабре 1997 г. он насчитывал около 40 Гб, декабрь 1998 - около 80 Гб,

ноябрь 1999 - модернизация аппаратной части, объем архива около 160 Гб,

май 2000 г. - 230-240 Гбайт,

ноябрь 2000 (после переезда в Москву) - около 350 Гб,

июнь 2001 - 450-460 Гбайт.

Начиная с 1998 г. он доступен для пользователей также и как http://ftp.chg.ru/, а с 1998-99 г. возможен поиск файлов на сервере через интерфейс http://ftpsearch.chg.ru/

В конце ноября 2000 года ftp.chg.ru переехал в центр управления ЮМОС и имеет 10 Мбит/сек подключение к ЮМОС.

С конца 1997 г. он зарегистрирован как официальное зеркало архива ftp.freebsd.org (ftp3.ru.freebsd.org), в 1998 - как зеркало архива NetBSD (ftp2.ru.netbsd.org) и OpenBSD (ftp.openbsd.org). С 1998-1999 он является зеркалом основных дистрибутивов Linux - Slackware, RedHat, Debian, SuSE, Caldera OpenLinux, Mandrake, Mandrake RE, ALTLinux, ASPLinux, BlackCat  Linux, KSI, Stampede, TurboLinux, Jurix и др., зеркалом GNU, X11, XFree86, KDE, GNOME, CTAN (архива TeX), CPAN (архива Perl), SimTelNet (архива программ для DOS/Windows), WinSite (архива программ для Windows 3.11/9x/NT), Netscape, Mozilla и многих других.

3. Статистика (на примере марта 2001).

На 1 апреля 2001 объем архива составлял 432 Gb. Основные разделы: Linux - 182.1 Gb, FreeBSD - 46.48 Gb, games - 31.42 Gb, NetBSD - 24.53 Gb, winsite - 22.11 Gb, simtelnet - 17.26 Gb, WWW -
15.82 Gb, X11 - 14.99 Gb, pc - 14.94 Gb, OpenBSD - 12.97 Gb, lang - 6.97 Gb, networking - 5.47 Gb, prog - 5.41 Gb, Solaris - 4.61 Gb, TeX - 3.58 Gb, sourceware - 3.48 Gb, multimedia - 3.47 Gb, unix - 3.19 Gb, security -
2.65 Gb, databases - 2.33 Gb, XFree86 - 2.31 Gb, gnu - 2.27 Gb, science - 1.84 Gb, emacs - 1.73 Gb, math - 1.55 Gb, doc - 1.1 Gb, BeOS - 0.50 Gb.

Общее число запросов в марте 2001 - 986364 файлов, из них -Linux - 360793 (36.58%), NetBSD - 267033 (27.07%), FreeBSD - 168800 (17.11%), lang - 46015 (4.67%), X11 - 21675 (2.20%), games - 16737
(1.70%), sourceware - 12991 (1.32%), pc - 12491 (1.27%), TeX - 12241 (1.24%), doc - 12159 (1.23%), OpenBSD - 10724 (1.04%). Каждый из оставшихся - менее 10000 (1%).

Месячный трафик в марте 2001 составил 528 Гбайт (до 35 Гб в день). Из них: Linux - 334 Gb (63.33%), FreeBSD - 49.6 Gb (9.40%), NetBSD - 30.0 Gb (5.69%), X11 - 28.36 Gb (5.38%), games - 13.80Gb (2.62%),
sourceware - 11.95 Gb (2.27%), pc - 9.57Gb (1.81%), OpenBSD - 9.43Gb (1.79%), lang - 7.06Gb (1.34%), simtelnet - 6.42Gb (1.22%), TeX - 4.28Gb (0.81%), WWW - 4.06Gb (0.77%), XFree86 - 3.36Gb (0.64%), все остальные - менее 3Gb (0.5%) каждый. Из Linux наиболее популярны - MandrakeRE, redhat, mandrake, ALTLinux, ASPLinux, debian, SuSE и Slackware.

Как и следовало ожидать, основное количество запросов исходит из России - доменов RU (67% файлов и 57% Gb), unresolved (машин, не зарегистрированных в DNS) - 14% файлов и 25%Gb, SU - 12% файлов и 7.8%GB. Наряду с этим довольно высоко число запросов из доменов NET (3.4% файлов и 5.6% Gb), COM (3.1% файлов и 3.7% Gb), UA (2.1% файлов и 1.3% Gb), EDU (0.5% файлов и 1.07% Gb), EE (0.41% файлов и 0.56% Gb), JP (0.42% файлов и 0.44% GB), FR (0.17% файлов и 0.40% Gb), CA (0.12% файлов и 0.52% Gb), KZ (0.38% файлов и 0.37% Gb), DE (0.34% файлов и 0.23% Gb), BY (0.19% файлов и 0.23% Gb), а также LT, NL, ES, AU, BE, IT и др.

То, что сервер популярен не только в России, по-видимому, следут объяснить его уникальным наполнением, известном по всему миру (сервер индексируется большинством поисковых систем), а также тем, что для многих зарубежных научных сетей он хорошо доступен через относительно мало загруженный канал MIRnet.

Число одновременно работающих пользователей - в среднем около 200-250, максимум - до 300-350 (ограничено настройкой в конфигурации).

Кроме того, имеется следующая статистика:

мониторинг загрузки канала

мониторинг трафика по ftp и http- протоколам,

мониторинг числа одновременно работающих пользователей

статистика числа запросов по более мелким уровням иерархии

(как внутри разделов архива, так и по источнику запросов - домены и хосты)

средняя скорость перекачки файлов

при необходимости, можно строить функции распределения по всем интересующим параметрам.

По большинству перечисленных параметров статистика имеется с 1996 года.

4. Планы развития

На сегодняшний день основным фактором, сдерживающим дальнейшее развитие существущего архива бесплатного ПО ftp.chg.ru является относительно низкая пропускная способность существующего канала в ЮМОС.

Согласно статистике (Кузнецов А.Ю., Таруса), трафик ЮМОС в 1м квартале 2001 года составлял 22 ТБ в ЮМОС и 25 ТБ из ЮМОС (т.е. примерно 7 и 8 Тб в месяц, соответственно), средняя загрузка - 25 Mbps. При этом траффик ftp.chg.ru в течение нескольких дней в январе составлал по 75-80 Мб в день. На фоне общего трафика ЮМОС трафик, создаваемый ftp.chg.ru составляет в среднем около 10% (10 Mbps против 100Mbps всего ЮМОС).

Пока возможности FDDI-кольца ЮМОС не исчерпаны, было бы естественно организовать 100 Мб/с подключение ftp.chg.ru к ЮМОС, что уже запланировано на июль 2001 г. Однако уже к концу 2002 (или раньше) ЮМОС будет перегружен и нужно готовить альтернативные варианты скоростного подключения.

На конец 2001 г. запланировано экспериментальное включение сервера ftp.chg.ru по протоколу IPv6 в экспериментальную сеть 6BONE.

Кроме того, необходима постоянная модернизация аппаратной части сервера, состоящая прежде всего в увеличении его отказоустойчивости, производительности (с учетом увеличения числа запросов в результате увеличении пропускной способности канала и как следствие, его доступности для пользователей) и возможностей для наращивания дискового пространства, которое, как уже отмечалось, имеет тенденцию к удвоению каждый год.