FTP.Chg.RU - Опыт создания и поддержки
крупнейшего в России архива свободно распространяемого
программного обеспечения.
С.А. Крашаков, Л.Н. Щур
Институт теоретической физики им. Л.Д.Ландау
142432, Черноголовка, Московская обл.
1. Введение
-----------
Концепция развития свободного программного обеспечения восходит к
ранним годам становления и развития компьютерной науки и индустрии.
На сегодняшний день, во всем мире создано огромное количество программного
обеспечения, распространяемого бесплатно (или за символическую плату,
состоящую из стоимости копирования программ на CD-ROM и стоимости печати
сопутствующей документации) или на принципах shareware (пользователь
платит автору небольшую сумму, если сочтет это необходимым).
В первую очередь, это программы, создаваемые в рамках проекта GNU фонда
свободного программного обеспечения (Free Software Foudation);
операционные системы FreeBSD/OpenBSD/NetBSD, различные версии ОС Linux;
оконные интерфейсы X11R6, XFree86, KDE, GNOME; издательская системы TeX;
языки и системы программирования GNU C/C++, GNU Fortran, GNU Pascal, Perl,
Python и многие другие; множество системных утилит и пользовательских
приложений для Unix, FreeBSD/OpenBSD/NetBSD, Linux; огромное количество
бесплатных программ для DOS, Windows 3.11/9x/NT/2000 и многое многое
другое.
Более того, правительства Китая и ряда европейских стран принимают
программы по использованию в госучреждениях преимущественно свободного
программного обеспечения. По их мнению, это позволит уменьшить
технологическую зависимость экономики этих стран от США и прежде всего,
от корпорации Microsoft.
Практически во всех странах имеется один или несколько крупных архивов
бесплатного программного обеспечения. Крупнейший на сегодня архив
бесплатного ПО в России - сервер ftp.chg.ru.
2. История
----------
Сервер ftp.chg.ru начал создаваться в Научном центре РАН в Черноголовке
коллективом сотрудников ИТФ им. Ландау РАН на средства проектов РФФИ
93-07-22858 (впоследствии также - 96-07-89226 и 99-07-90084)
для обеспечения интересов научного центра, имевшего в те годы канал в
Москву пропускной способностью в 19.2 кбит/с. Уже в конце 1995 его объем
насчитывал около 5 Гб. После ввода в эксплуатацию 2 Мбит/с канала
Черноголовка-Москва во второй половине 1997 г. он стал доступен широкой
общественности, и с тех пор по данным поисковой системы www.filesearch.ru
вот уже почти 4 года он является крупнейшим ftp-архивом в России.
Объем информации на сервере ежегодно удваивается:
в декабре 1997 г. он насчитывал около 40 Гб, декабрь 1998 - около 80 Гб,
ноябрь 1999 - модернизация аппаратной части, объем архива около 160 Гб,
май 2000 г. - 230-240 Гбайт, ноябрь 2000 (после переезда в Москву) - около
350 Гб, июнь 2001 - 450-460 Гбайт.
Начиная с 1998 г. он доступен для пользователей также и как
http://ftp.chg.ru/, а с 1998-99 г. возможен поиск файлов на сервере через
интерфейс http://ftpsearch.chg.ru/
В конце ноября 2000 года ftp.chg.ru переехал в центр управления ЮМОС
и имеет 10 Мбит/сек подключение к ЮМОС.
С конца 1997 г. он зарегистрирован как официальное зеркало архива
ftp.freebsd.org (ftp3.ru.freebsd.org), в 1998 - как зеркало архива NetBSD
(ftp2.ru.netbsd.org) и OpenBSD (ftp.openbsd.org). С 1998-1999 он является
зеркалом основных дистрибутивов Linux - Slackware, RedHat, Debian, SuSE,
Caldera OpenLinux, Mandrake, Mandrake RE, ALTLinux, ASPLinux, BlackCat
Linux, KSI, Stampede, TurboLinux, Jurix и др., зеркалом GNU, X11, XFree86,
KDE, GNOME, CTAN (архива TeX), CPAN (архива Perl), SimTelNet (архива
программ для DOS/Windows), WinSite (архива программ для Windows
3.11/9x/NT), Netscape, Mozilla и многих других.
3. Статистика (на примере марта 2001).
-------------------------------------
На 1 апреля 2001 объем архива составлял 432 Gb.
Основные разделы: Linux - 182.1 Gb, FreeBSD - 46.48 Gb, games - 31.42
Gb, NetBSD - 24.53 Gb, winsite - 22.11 Gb, simtelnet - 17.26 Gb, WWW -
15.82 Gb, X11 - 14.99 Gb, pc - 14.94 Gb, OpenBSD - 12.97 Gb, lang - 6.97
Gb, networking - 5.47 Gb, prog - 5.41 Gb, Solaris - 4.61 Gb, TeX - 3.58
Gb, sourceware - 3.48 Gb, multimedia - 3.47 Gb, unix - 3.19 Gb, security -
2.65 Gb, databases - 2.33 Gb, XFree86 - 2.31 Gb, gnu - 2.27 Gb, science -
1.84 Gb, emacs - 1.73 Gb, math - 1.55 Gb, doc - 1.1 Gb, BeOS - 0.50 Gb.
Общее число запросов в марте 2001 - 986364 файлов, из них -
Linux - 360793 (36.58%), NetBSD - 267033 (27.07%), FreeBSD - 168800
(17.11%), lang - 46015 (4.67%), X11 - 21675 (2.20%), games - 16737
(1.70%), sourceware - 12991 (1.32%), pc - 12491 (1.27%), TeX - 12241
(1.24%), doc - 12159 (1.23%), OpenBSD - 10724 (1.04%). Каждый из
оставшихся - менее 10000 (1%).
Месячный трафик в марте 2001 составил 528 Гбайт (до 35 Гб в день).
Из них: Linux - 334 Gb (63.33%), FreeBSD - 49.6 Gb (9.40%), NetBSD -
30.0 Gb (5.69%), X11 - 28.36 Gb (5.38%), games - 13.80Gb (2.62%),
sourceware - 11.95 Gb (2.27%), pc - 9.57Gb (1.81%), OpenBSD - 9.43Gb
(1.79%), lang - 7.06Gb (1.34%), simtelnet - 6.42Gb (1.22%), TeX - 4.28Gb
(0.81%), WWW - 4.06Gb (0.77%), XFree86 - 3.36Gb (0.64%), все остальные -
менее 3Gb (0.5%) каждый. Из Linux наиболее популярны - MandrakeRE, redhat,
mandrake, ALTLinux, ASPLinux, debian, SuSE и Slackware.
Как и следовало ожидать, основное количество запросов исходит из России -
доменов RU (67% файлов и 57% Gb), unresolved (машин, не зарегистрированных
в DNS) - 14% файлов и 25%Gb, SU - 12% файлов и 7.8%GB. Наряду с этим
довольно высоко число запросов из доменов NET (3.4% файлов и 5.6% Gb), COM
(3.1% файлов и 3.7% Gb), UA (2.1% файлов и 1.3% Gb), EDU (0.5% файлов и
1.07% Gb), EE (0.41% файлов и 0.56% Gb), JP (0.42% файлов и 0.44% GB), FR
(0.17% файлов и 0.40% Gb), CA (0.12% файлов и 0.52% Gb), KZ (0.38% файлов
и 0.37% Gb), DE (0.34% файлов и 0.23% Gb), BY (0.19% файлов и 0.23% Gb), а
также LT, NL, ES, AU, BE, IT и др.
То, что сервер популярен не только в России, по-видимому, следут объяснить
его уникальным наполнением, известном по всему миру (сервер индексируется
большинством поисковых систем), а также тем, что для многих зарубежных
научных сетей он хорошо доступен через относительно мало загруженный канал
MIRnet.
Число одновременно работающих пользователей - в среднем около 200-250,
максимум - до 300-350 (ограничено настройкой в конфигурации).
Кроме того, имеется следующая статистика:
мониторинг загрузки канала
мониторинг трафика по ftp и http- протоколам,
мониторинг числа одновременно работающих пользователей
статистика числа запросов по более мелким уровням иерархии
(как внутри разделов архива, так и по источнику запросов -
домены и хосты)
средняя скорость перекачки файлов
при необходимости, можно строить функции распределения по всем
интересующим параметрам.
По большинству перечисленных параметров статистика имеется с 1996 года.
4. Планы развития
-----------------
На сегодняшний день основным фактором, сдерживающим дальнейшее развитие
существущего архива бесплатного ПО ftp.chg.ru является относительно низкая
пропускная способность существующего канала в ЮМОС.
Согласно статистике (Кузнецов А.Ю., Таруса), трафик ЮМОС в 1м квартале
2001 года составлял 22 ТБ в ЮМОС и 25 ТБ из ЮМОС (т.е. примерно 7 и 8 Тб в
месяц, соответственно), средняя загрузка - 25 Mbps. При этом траффик
ftp.chg.ru в течение нескольких дней в январе составлал по 75-80 Мб в
день. На фоне общего трафика ЮМОС трафик, создаваемый ftp.chg.ru
составляет в среднем около 10% (10 Mbps против 100Mbps всего ЮМОС).
Пока возможности FDDI-кольца ЮМОС не исчерпаны, было бы естественно
организовать 100 Мб/с подключение ftp.chg.ru к ЮМОС, что уже запланировано
на июль 2001 г. Однако уже к концу 2002 (или раньше) ЮМОС будет перегружен
и нужно готовить альтернативные варианты скоростного подключения.
На конец 2001 г. запланировано экспериментальное включение сервера
ftp.chg.ru по протоколу IPv6 в экспериментальную сеть 6BONE.
Кроме того, необходима постоянная модернизация аппаратной части сервера,
состоящая прежде всего в увеличении его отказоустойчивости,
производительности (с учетом увеличения числа запросов в результате
увеличении пропускной способности канала и как следствие, его доступности
для пользователей) и возможностей для наращивания дискового пространства,
которое, как уже отмечалось, имеет тенденцию к удвоению каждый год.