Желідегі файлдарды іздеуге арналған үлестірілген жүйені қҰРУ

ЖЕЛІДЕГІ ФАЙЛДАРДЫ ІЗДЕУГЕ АРНАЛҒАН ҮЛЕСТІРІЛГЕН ЖҮЙЕНІ ҚҰРУ

Сараибаева А.А.

Интернет желісінің пайда болуымен іздеу мәселесі өзекті мәселелердің біріне айналды. Интернет – бірлескен ақпараттық ортадан тұратын және кез келген уақыт мезетінде ақпарат алуға мүмкіндік беретін бүкіл әлемдік компьютерлік желі. Басқа жағынан Интернетте өте көптеген пайдалы ақпараттар сақталады, бірақ осы ақпаратты іздеуге көп уақыт жұмсалады. Бұл мәселе іздеу машиналарының пайда болуына алып келді.

Іздеу жүйесі – Интернетте ақпаратты іздеу мүмкіндігін ұсынатын веб-интерфестен тұратын программа-аппараттық комплекс. Іздеу жүйесі жайында сөз болғанда, әдетте жүйе (фронт-энд) интерфейсі орналасқан сайт айтылады. Іздеу жүйесінің программалық бөлігі болып іздеу машинасы (іздеу движогы) табылады –іздеу жүйесінің функционалдығын қамтамасыз етуші және іздеу жүйесін құрушы компанияның коммерциялық құпиясы болып табылатын программалар жиыны.

Көптеген іздеу жүйелері Бүкіл әлемдік ғаламтордағы сайттардан ақпарат іздеуді, бірақ FTP-серверлерден файлдарды, интернет – магазиндерден тауарларды іздеуге, сонымен қатар Usenet жаңалықтар тобынан ақпаратты іздеуге қабілетті жүйелер де бар.

Іздеудің жақсаруы – бұл заманауй Интернеттің приоритетті есептерінің бірі.

NetApplications компаниясының деректеріне сүйенетін болсақ, 2011 жылдың қаңтар айында іздеу жүйелерін қолдану төмендегідей үлестірілді:

• 
  Google — 84,65 %;
  
• 
  Yahoo! — 6,69 %;
  
• 
  Baidu — 3,39 %;
  
• 
  Bing — 3,29 %;
  
• 
  Ask — 0,56 %;
  
• 
  AOL — 0,42 %.
  

Барлық іздеу жүйелерінің негізін деректер қоры құрайды - деректерді сақтау, өңдеу және сипаттамасының жалпы принциптерін қарастыратын, қолданбалы программалардан тәуелсіз, қатаң ережелер бойынша ұйымдастырылған деректер жиыны. Өз ғылыми жұмысымда Oracle деректер қорын қолдандым.

Ақпараттық іздеу орталық есебі – қолданушыға оның ақпараттық қажеттілігін қанағаттандыру. Ақпараттық іздеу есебінің тізімі үнемі кеңейуде және енді келесілерден тұрады:

• 
  Моделдеу сұрақтары;
  
• 
  Құжаттар классификациясы;
  
• 
  Құжаттар фильтрациясы;
  
• 
  Құжаттарды кластерлеу;
  
• 
  Іздеу жүйелерінің архитектурасын және қолданушы интерфейстерін жобалау;
  
• 
  Ақпаратты шығару, соның ішінде құжаттарды аннотирлеу және реферирлеу;
  
• 
  Сұраныстар тілі және т.б.
  

Мақалада өз ғылыми жұмысым туралы айтып өткім келеді. Әрбір компьютер желідегі А компьютерге (серверге) қосылған. Желідегі компьютерлер қосылғанда JAVA жазылған программа іске қосылады. бұл программа желідегі компьютерлерден барлық файлдарды іздейді және оларды деректер қоры серверіне жазады. Деректер қоры серверінде сонымен қатар Web-server болады.

1. 
   Web-server Apache Tomcat та жазылады.
   
2. 
   Деректер қоры Oracle 11 g.
   
3. 
   Файлдар жайында ақпарат жинайтын агент (программа) Java жазылады.
   

Төмендегі программа үзіндісі ғылыми жұмысымнан. Программада іздеу жасаудың бастапқы бапатауларын орындайды, сонан соң іздеуді қосуға search әдісі шақырылады.

if(Path == null || m == null) {

throw new Exception("іздеу параметрлері берілмеген");

}

File topDirectory = new File(startPath);

throw new Exception("көрсетілген жол жоқ");

}

if(!m.equals("")) {

//Pattern.CASE_INSENSITIVE | Pattern.UNIcomment_CASE);

}

fNumber = 0;

totalLength = 0;

ArrayList result = new ArrayList(1000);

search(topDirectory, result, objectType);

p = null;

return res; }

private void search(File topDirectory, List result, int objectType) {

File[] list = topDirectory.listFiles();

for(int i = 0; i < list.length; i++) {

if(list[i].isDirectory()) {

if(objectType != FILES && accept(list[i].getName())) {

directoriesNumber++;

res.add(list[i]);

}

search(list[i], res, objectType);

1. 
   Хабибуллин И.Ш. Создание распределенных приложений на JAVA 2. БХВ-Петербург, 2002.-704 с. ISBN 5-94157-106-2.
   
2. 
   Таненбаум М., ван Стеен Распределенные системы. Принципы и парадигмы.-СПб.: Питер, 2003.-877 с.: ил.- (Серия «классмка computer science»). ISBN 5-272-0053-6.
   
3. 
   Barroso, L. A., Dean, J., and Urs Holzle, U. Web search for a planet: The Google cluster architecture. IEEE Micro 23, 2, pp. 22-28, 2003.