Программа дисциплины «Аккредитация органов по сертификации и испытательных лабораторий»


Тема: Общие требования к компетентности испытательных



бет3/7
Дата16.06.2016
өлшемі0.5 Mb.
#140678
түріПрограмма дисциплины
1   2   3   4   5   6   7
Тема: Общие требования к компетентности испытательных

и калибро­вочных лабораторий

Общие требования к компетентности испытательных и калибровочных лабораторий устанавливается СТ РК ИСО/МЭК 17025-2007. Данный стандарт устанавливает общие требования к компетентности лабораторий в проведении испытаний и/или калибровки, включая отбор образцов, охватывает проведение испытаний и калибровки, проводимых по стандартным методам, нестандартным методам и методам, разработанным лабораторией.



Требования к менеджменту

Организация

Лаборатория (или организация, в состав которой она входит), должна быть юридическим лицом.

В обязанности лаборатории входит проведение испытаний и калибровки таким образом, чтобы выполнялись требования настоящего стандарта и удовлетворялись потребности заказчика услуг лаборатории, а также предписания уполномоченных органов или организаций, осуществляющих официальное признание.

Система менеджмента лаборатории должна охватывать работы, выполняемые на основной территории, в удаленных местах, а также на временных или передвижных точках.

Если лаборатория входит в состав организации, осуществляющей деятельность, отличную от испытаний и/или калибровки, то обязанности ведущих специалистов, принимающих участие или имеющих влияние на деятельность лаборатории по проведению испытаний и/или калибровке, должны быть четко определены, чтобы идентифицировать потенциальные конфликты интересов.

Лаборатория должна:

а) располагать управленческим и техническим персоналом, который вне зависимости от других обязанностей имеет полномочия и ресурсы, необходимые для выполнения своих обязанностей, включая внедрение, поддержание и улучшение системы менеджмента, и выявления случаев отступлений от системы менеджмента или от процедур проведения испытаний и/или калибровки, а также для инициирования действий по предупреждению или сокращению таких отступлений;

б) принимать меры, обеспечивающие свободу менеджмента и персонала от любого неправомерного внутреннего и внешнего коммерческого, финансового или другого давления и влияния, которое не могут оказывать отрицательное воздействие на качество их работы;

в) определять политику и процедуры, позволяющие обеспечить конфиден­циальность информации и прав собственности заказчиков её услуг, включая процедуры защиты электронного хранения и передачи результатов;

г) определять политику и процедуры, позволяющие избежать вовлечения в какую-либо деятельность, которая снизила бы доверие к ее компетентности, беспристрастности, экспертизе или эксплуатационной надежности.

д) определять организационную и управленческую структуру лаборатории, ее место в вышестоящей организации и взаимосвязи между менеджментом качества, технической деятельностью и вспомогательными службами;

е) устанавливать ответственность, полномочия и взаимоотношения всех сотруд­ников, занятых в управлении, выполнении или верификации работ, влияющих на качество испытаний и/или калибровки;

ж) обеспечивать адекватный надзор за персоналом, проводящим испытания и калибровку (включая стажеров), со стороны лиц, знакомых с методиками и процедурами, целью каждого испытания и/или калибровки, а также с оценкой результатов испытания или калибровки;

з) иметь техническую администрацию, несущую общую ответственность за техническую деятельность и предоставление необходимых ресурсов для обеспечения требуемого качества работы лаборатории;

и) назначать штатного сотрудника менеджером по качеству (как бы он ни назывался), который, независимо от других функций и обязанностей, должен нести ответственность и располагать полномочиями, обеспечивающими внедрение системы менеджмента качества и ее постоянное функционирование; менеджер по качеству должен иметь прямой доступ к высшему руководству лаборатории, принимающему решения по политике лаборатории или ресурсам;

к) назначать заместителей управляющего персонала:

л) обеспечивать осознание персоналом значимости и важности своей деятельности и свой вклад в достижение целей системы менеджмента.

Высшее руководство должно обеспечивать разработку в организации соответствующих процессов обмена информацией, в том числе по вопросам результативности системы менеджмента.



Система менеджмента

Лаборатория должна разработать, внедрить и поддерживать систему менеджмента в соответствии с областью своей деятельности. Лаборатория должна документально оформить свою политику, системы, программы, процедуры и инструкции в объеме, необходимом для обеспечения качества проводимых результатов испытаний и/или калибровки. Документация системы должна быть доведена до сведения соответствующего персонала, понята им, доступна ему и выполняться им.

Политика системы менеджмента лаборатории, включая заявление о политике в области качества, должна быть сформулирована в Руководстве по качеству (как бы оно ни называлось). Должны быть установлены общие цели, которые необходимо пересматривать во время проверок системы менеджмента. Заявление о политике в области качества должно быть выпущено от имени высшего руководства. Оно должно включать в себя, по меньшей мере, следующее:

а) обязательство менеджмента лаборатории соблюдать надлежащую профессиональ­ную практику и сохранять высокое качество испытаний и калибровки при обслуживании заказчиков услуг лаборатории;

б) заявление менеджмента о стандарте услуг лаборатории;

в) цели системы менеджмента, относящиеся к качеству;

г) требование ко всем сотрудникам лаборатории, участвующим в проведении испытаний и калибровки, ознакомиться с документацией по качеству и следовать в своей деятельности установленной политике и процедурам;

д) приверженность менеджмента лаборатории действовать в соответствии с настоящим стандартом и постоянно улучшать результативность системы менеджмента.

Высшее руководство должно подтвердить свои обязательства по развитию и внедрению системы менеджмента и постоянному улучшению результативности.

Высшее руководство должно довести до сведения организации важность удовлетворения требований заказчика услуг лаборатории, как и требований законодательства.

Руководство по качеству должно включать в себя или давать ссылки на вспомогательные процедуры, включая технические процедуры. В нем должно быть дано описание структуры документации, используемой в системе менеджмента.

В Руководстве, по качеству должны быть определены роли и ответственность технического менеджмента и управляющего по качеству, включая их ответственность за обеспечение соответствия настоящему стандарту.

Высшее руководство должно обеспечить поддержание работоспособности системы менеджмента при планировании и осуществлении изменений в этой системе.

Управление документацией

Лаборатория должна установить и поддерживать процедуры управления всеми документами, являющимися частью системы менеджмента (разработанными лабораторией или поступившими извне), такими как регламенты, стандарты, другие нормативные документы, методы испытаний и/или калибровки, также как и чертежи, программное обеспечение, спецификации, инструкции и руководства пользователя.



Утверждение и выпуск документов

Все документы, выпущенные для персонала лаборатории как часть системы менеджмента, должны быть до их выпуска проверены и одобрены для использования уполномоченными лицами. Должен быть подготовлен и легкодоступен «мастер-лист» или эквивалентный документ по процедуре управления, содержащий конкретные результаты текущей ревизии статуса и распределения документов в системе менеджмента, чтобы предотвратить использование недействительных и/или устаревших документов.

Принятая(ые) процедура(ы) должна(ы) гарантировать, что:

а) официальные издания соответствующих документов доступны на всех участках, где осуществляются основные операции, важные для эффективной деятельности лаборатории;

б) документы периодически проверяются и при необходимости пересматриваются, чтобы обеспечить их постоянную пригодность и соответствие с подходящими требованиями;

в) недействительные или устаревшие документы оперативно изымаются из всех мест выпуска или использования либо другим образом предупреждается их непреднамеренное использование;

г) устаревшие документы, сохраняемые в юридических или информационных целях, соответствующим образом маркируются.

Документы системы менеджмента, разработанные лабораторией, должны иметь уникальную идентификацию. Среди элементов такой идентификации должны присутствовать дата выпуска и/или обозначение пересмотра, нумерация страниц, общее число страниц или отметка конца документа и сведения об организации(ях), выпустившей(их) документ.



Изменения в документах

Изменения в документах должна проверять и утверждать та же служба. которая делала первоначальный анализ, если специально не назначены другие лица. Назначенные сотрудники должны иметь доступ к соответствующей исходной информации, служащей основой для работы по анализу и утверждению.

Измененный или новый текст должен быть идентифицирован в документе или в соответствующих приложениях, если это практически осуществимо.

Если система управления документацией лаборатории позволяет вносить поправки от руки в ожидании очередного изменения документов, то должны быть определены процедуры и полномочия для внесения таких поправок. Поправки должны быть четко отмечены, завизированы и датированы. Пересмотренный документ должен быть официально переиздан, как можно практически быстрее.

Должны быть установлены процедуры для описания внесения и управления изменениями в документах, хранящихся в компьютерных файлах.

Проверка запросов, конкурсных предложений и контрактов

Лаборатория должна установить и поддерживать процедуры анализа запросов, конкурсных предложений и контрактов. Политика и процедуры анализа, ведущего к заключению контракта на испытания и/или калибровку, должны гарантировать, что:

а) требования, включая используемые методы, адекватно обозначены и зарегистри­рованы;

б) лаборатория имеет возможности и ресурсы, позволяющие выполнить требования: с) выбран соответствующий метод испытания и/или калибровки, способный удовлетворить требованиям заказчиков услуг лаборатории.

Любые расхождения между запросом или конкурсным предложением и контрактом должны быть отрегулированы до начала какой-либо работы. Каждый контракт должен быть согласован обеими сторонами (лабораторией и заказчиком услуг лаборатории).

Отчеты по проверкам, включая любые значимые изменения, должны сохраняться. Должны сохраняться также записи соответствующих переговоров с заказчиком услуг лаборатории, касающиеся требований заказчика или результатов работы в период выполнения контракта.

Проверка должна также включать в себя все работы, выполняемые лабораторией по субподряду.

Заказчик услуг лаборатории должен быть информирован обо всех отклонениях от контракта.

Если контракт нуждается в изменениях после того, как работа началась, то должен быть повторен тот же процесс проверки контракта и любые изменения должны быть сообщены всему персоналу, которого они касаются.

Заключение контрактов с субподрядчиками на проведение испытаний и калибровки

Если лаборатория заключает контракт с субподрядчиками по непредвиденным причинам (например, перегруженность, необходимость в дополнительной экспертизе или временная неспособность) или на длительной (постоянной) основе (например, на условиях перманентного (неизменного) субподряда, соглашения о представительстве или о франчайзинге), то эта работа должна быть поручена компетентному субподрядчику. Компетентным является такой субподрядчик, который выполняет работу в соответствии с требованиями стандарта.

Лаборатория должна уведомить заказчика услуг лаборатории о субподряде в письменном виде и в необходимых случаях получить одобрение заказчика услуг лаборатории, предпочтительно тоже в письменном виде.

Лаборатория несет ответственность перед заказчиком услуг лаборатории за работу, выполняемую субподрядчиком, за исключением тех случаев, когда субподрядчика выбирает заказчик услуг лаборатории иди уполномоченный орган.

Лаборатория должна вести регистрацию всех субподрядчиков, к услугам которых она прибегает для проведения испытаний и/или калибровки, и вести записи, подтверждающие выполнение работы согласно требованиям настоящего стандарта.

Приобретение услуг и запасов *

В лаборатории должна быть установлена политика и процедура(ы) по выбору и приобретению необходимых услуг и запасов, влияющих на качество испытаний и/или калибровки. Должны существовать процедуры по приобретению, получению и хранению реактивов и лабораторных расходных материалов.

Лаборатория должка обеспечивать сохранность полученных запасов, реактивов и расходных материалов, влияющих на качество испытаний и/или калибровки, до тех пор, пока они не будут проконтролированы или иным образом верифицированы на соответствие стандартным спецификациям или требованиям, определенным в нормативных документах на методы испытаний и/или калибровки. Эти используемые услуги и запасы должны соответствовать заданным требованиям. Записи о действиях, предпринятых с целью проверки соответствия, должны сохраняться.

Закупочные документы на каждую единицу (партию) закупаемой продукции или услугу, которая влияет на качество результатов работы лаборатории, должны содержать данные, описывающие эту продукцию или услугу. Описание должно быть проанализировано, а его техническое содержание одобрено, прежде чем эта продукция или услуга будет допущена к использованию.

Лаборатория должна проводить оценку поставщиков важнейших расходных материалов, запасов и услуг, оказывающих влияние на качество испытаний и калибровки, хранить записи об этой оценке и перечень утвержденных ею поставщиков.

Обслуживание заказчиков услуг лаборатории

Лаборатория должна проявлять готовность к сотрудничеству с заказчиками услуг лаборатории или их представителями в прояснении запроса заказчика услуг лаборатории и текущем контроле за деятельностью лаборатории в связи с выполняемой работой при условии, что лаборатория обеспечивает конфиденциальность по отношению к другим заказчикам услуг лаборатории.

Лаборатория должна стремиться к налаживанию обратной связи с заказчиками услуг лаборатории, положительной или отрицательной. Обратная связь должна быть использована и проанализирована для улучшения системы менеджмента испытательной и калибровочной деятельности и обслуживания заказчиков услуг лаборатории.

Жалобы

В лаборатории должны быть предусмотрены политика и процедуры по урегулированию жалоб заказчиков услуг лаборатории или других сторон. Необходимо хранить записи по всем жалобам, расследованиям, а также корректирующим действиям, предпринятым лабораторией.

Управление работами по испытаниям и/или калибровке, не соответствующим установленным требованиям

Лаборатория должна иметь политику и процедуры, к которым прибегают в случаях, если любой аспект испытаний и/или калибровки или результаты этой работы не

соответствуют собственным процедурам лаборатории или требованиям, согласованным с заказчиком услуг лаборатории. Политика и процедуры должны гарантировать, что:

а) обязанности и полномочия менеджмента по несоответствующим работам определены и если несоответствующая работа выявлена, то установлены и предприняты соответствующие действия (включая приостановку работы и при необходимости

приостановку выдачи протоколов испытаний и сертификатов о калибровке);

б) проведена оценка значимости несоответствующей работы;

с) незамедлительно приняты корректирующие действия вместе с любым решением о приемлемости несоответствующей работы;

в) при необходимости заказчик услуг лаборатории извещен и работа отменена;

е) установлена ответственность за разрешение возобновить работу.

Если результаты оценки указывают на то, что несоответствующая работа может повториться или есть сомнения по поводу соответствия действий лаборатории её собственным политике и процедурам, то необходимо немедленно приступить к процедурам выполнения корректирующих действий.



Улучшение

Лаборатория должна постоянно улучшать результативность своей системы менеджмента, используя политику в области качества, цели в области качества, результаты аудитов, анализ данных, корректирующих и предупреждающих действий и проверки менеджмента.



Корректирующие действия

Лаборатория должна разработать политику и процедуру и определить соответствующие полномочия за принятие корректирующих действий в случаях, если выявлены несоответствующая работа или отступления от политики или процедур, предусмотренных системой менеджмента или техническими операциями.



Анализ причин

Процедура корректирующего действия должна начинаться с выяснения основных(ой) причин(ы) проблемы.



Выбор и осуществление корректирующих действий

Там, где возникает потребность в корректирующих действиях, лаборатория должна определить возможные из них. Она должна выбрать и принять действие(я), наиболее подходящее(ие) для устранения проблемы и предотвращения ее (их) повторения.

Корректирующие действия должны оптимально соответствовать значению и опасности проблемы.

Лаборатория должна задокументировать и осуществить все требуемые изменения, являющиеся следствием корректирующих действий.



Мониторинг корректирующих действий

Лаборатория должна осуществлять текущий контроль результатов, чтобы убедиться, что корректирующие действия оказались успешными.



Дополнительные аудиты

Если идентификация несоответствий или отклонений ставит под сомнение компетентность лаборатории ее собственным политике и процедурам или соответствие настоящему стандарту, то лаборатория должна как можно скорее обеспечить аудит по соответствующих областей деятельности.



Предупреждающие действия

Необходимость улучшения и потенциальные источники несоответствий технического характера или связанные с системой менеджмента должны быть идентифицированы. При выявлении возможностей улучшений или, если предупреждающее действие требуется, должен быть разработан и реализован план действий с текущим контролем, чтобы снизить вероятность появления таких несоответствий и воспользоваться возможностями для их улучшения.

Процедуры предупреждающих действий должны включать в себя инициирование таких действий и указания по применению контроля с целью обеспечения их эффективности.

Управление записями

Лаборатория должна разработать и поддерживать процедуры идентификации, сбора, индексирования, доступа, систематизации, хранения, ведения и изъятия записей по качеству и техническим вопросам. Записи по качеству - должны включать в себя отчеты о внутренних аудитах, результаты проверки менеджмента, а также записи о корректирующих и предупреждающих действиях.

Все записи должны быть разборчивыми, храниться и размещаться таким образом, чтобы их можно было легко получить из хранилищ, которые обеспечивают подходящую окружающую среду, предохранение от повреждения, порчи и утери. Должны быть установлены сроки сохранения записей.

Все записи должны храниться в условиях безопасности и конфиденциальности.

Лаборатория должна иметь процедуры для защиты и восстановления записей на электронных носителях, а также для предупреждения несанкционированного доступа или внесения изменений в них.

Технические записи

Лаборатория должна хранить в течение установленного времени записи о первичных наблюдениях, производные записи и достаточный объем информации для того, чтобы установить аудиторское заключение, а также записи о калибровке, о персонале, копии каждого протокола испытаний или выданного сертификата о калибровке. Записи о каждом испытании или калибровке должны содержать достаточно информации, чтобы обеспечить, по возможности, идентификацию факторов, влияющих на неопределенность, и проведение повторных испытаний или калибровки в условиях, максимально приближенных к первоначальным. Записи должны содержать сведения о персонале, проводившем отбор образцов, проведении испытания и/или калибровки и проверке результатов.

Наблюдения, данные и вычисления должны регистрироваться во время их выполнения и относиться к конкретной задаче.

Если в записях обнаруживаются ошибки, то каждая ошибка должна быть перечеркнута, но не стерта, обозначена как нечитаемая или удаленная, а рядом должно быть написано правильное значение. Все подобные изменения записей должны быть подписаны или завизированы лицом, внесшим исправление. Если записи хранятся в электронном виде, то должны быть приняты меры, чтобы избежать потери или изменения первоначальных данных.



Внутренние аудиты

Лаборатория должна периодически и в соответствии с предварительно установленными графиком и процедурой проводить внутренние аудиты своей деятельности, чтобы верифицировать соответствие требованиям системы менеджмента и настоящему стандарту. Программа внутреннего аудита должна охватывать все элементы системы менеджмента, включая деятельность по проведению испытаний и/или калибровке. Менеджер по качеству несет ответственность за планирование и организацию проверок в соответствии с графиком и требованиями менеджмента. Такие аудиты должны проводиться подготовленным и квалифицированным персоналом, и, если позволяют ресурсы, быть независимым от проверяемой деятельности.

Если наблюдения аудита вызывают сомнения в результативности деятель­ности, либо в валидировании, или корректности результатов проведенных испытаний и калибровки, то лаборатория должна своевременно предпринять корректирующие действия и известить об этом заказчиков услуг лаборатории в письменном, виде, если расследования показывают, что на результаты лаборатории что-то может влиять.

Область аудитируемой деятельности, наблюдения аудита и корректирующие действия, вытекающие из них, должны быть зарегистрированы.

Действия после аудита следует верифицировать и зарегистрировать выполнение и результативность предпринятого корректирующего действия.

Проверки менеджмента

В соответствии с предварительно установленными графиком и процедурой высшее руководство лаборатории должно периодически проводить проверку системы менеджмента лаборатории и деятельности по проведению испытаний и/или калибровке с целью обеспечения их постоянной пригодности и результативности для внесения необходимых изменений или улучшений. Проверка должка учитывать:

- пригодность проводимого курса и процедур;

- отчеты управляющего персонала и персонала, осуществляющего технический контроль;

- результаты последних внутренних аудитов;

- корректирующие и предупреждающие действия;

- оценки, проведенные внешними органами;

результаты межлабораторных сравнительных испытаний или проверок квалификации персонала:

- изменения объема и вида работ;

- обратную связь с заказчиками услуг лаборатории;

- жалобы;

- рекомендации для улучшения;

- другие относящееся к делу факторы, такие как деятельность по управлению качеством, ресурсы и тренинг персонала.

Наблюдения, выявленные при проверках менеджмента, и последующие действия должны быть зарегистрированы. Следует обеспечить выполнение этих действий в соответствующие и согласованные сроки.



Технические требования

Корректность и надежность испытаний и/или калибровки, проводимых лабораторией, зависит от следующих факторов:

- человеческого фактора;

- помещений и условий окружающей среды;

- методов испытаний и калибровки, и валидации метода;

- оборудования;

- прослеживаемоесть измерений;

- отбора образцов;

- оперирования с объектами испытаний и калибровки.

Степень вклада этих факторов в общую неопределенность измерения значительно различается в зависимости от видов испытаний и видов калибровки.

Лаборатория должна учитывать эти факторы при разработке методов и процедур испытаний и калибровки, при тренинге и оценивании квалификации персонала, при выборе и калибровке используемого оборудования.

Персонал

Менеджмент лаборатории должен гарантировать компетентность всех, кто работает со специальным оборудованием, проводит испытания и/или калибровку, оценивает результаты и подписывает протоколы испытаний и сертификаты о калибровке. Когда пользуются услугами персонала, проходящего тренинг, следует обеспечить соответствующий надзор. Персонал, выполняющий специфические задачи, должен быть квалифицирован в установленном порядке на основе соответствующего образования, тренинга, опыта и/или демонстрируемых навыков.

Менеджмент лаборатории должен сформулировать цели образования, тренинга и формирования навыков персонала лаборатории. Лаборатория должна иметь политику и процедуры выявления потребностей в тренинге и осуществления тренинга персонала. Программа тренинга должна соответствовать имеющимся и предстоящим задачам лаборатории. Результативность тренинга персонала должна быть оценена.

Лаборатория должна использовать персонал, приглашенный по найму или работающий по контракту. Если используется персонал, работающий по контракту, или дополнительный технический и ключевой вспомогательный персонал, лаборатория должна удостовериться, что он компетентен, работает под надзором со стороны персонала, осуществляющего технический контроль и в соответствии с системой менеджмента лаборатории.

Лаборатория должна иметь описания текущих проводимых работ для управляющего, технического и ключевого вспомогательного персонала, участвующего в проведении испытаний и/или калибровки.

Менеджмент должен наделить полномочиями специальный персонал, чтобы выполнять определенные виды отбора образцов, испытаний и/или калибровки, выпускать протоколы испытаний и сертификаты о калибровке, высказывать мнения и интерпретации, работать на определенных видах оборудования. Лаборатория должна вести записи о соответствующем(их) полномочии(ях), компетентности, профессиональ­ном и образовательном уровне, тренинге, навыках и опыте всего технического персонала, включая специалистов, работающих по контракту. Эта информация должна быть легко доступной и включать дату подтверждения полномочий и/или компетенции.



Помещения и условия окружающей среды

Условия проведения испытаний и/или калибровки, включая, в частности источники энергии, освещение и окружающую среду, но не ограничиваясь ими, должны быть такими, чтобы обеспечивалось корректное проведение испытаний и/или калибровки.

Лаборатория должна обеспечить, чтобы условия окружающей среды не приводили к недостоверным результатам или не влияли на требуемое качество любого измерения. Особое внимание должно быть уделено тем случаям, когда отбор образцов и испытания и/или калибровка проводятся на рабочих площадках вне стационарных помещений лаборатории. Технические требования к помещениям и условиям окружающей среды, которые могут оказать влияние на результаты испытаний и калибровки, должны быть подтверждены документами.

Лаборатория должна осуществлять текущий контроль, управление и регистрацию условий окружающей среды, как этого требуют соответствующие спецификации, методы и процедуры, или там, где они оказывают влияние на качество результатов. Должное внимание следует уделять, например, биологической стерильности, пыли, электромагнитным помехам, радиации, влажности, электроснабжению, темпера­туре, уровням шума и вибрации применительно к соответствующей технической деятельности. Испытания и калибровка должны быть приостановлены, если условия окружающей среды подвергают риску результаты испытаний и/или калибровки.

Соседние участки, на которых проводятся несовместимые работы, должны быть надежно изолированы друг от друга. Должны быть приняты меры по предотвращению перекрестного влияния.

Использование участков, оказывающих влияние на качество испытаний и/или калибровки, и доступ к ним следует контролировать. Лаборатория должна установить степень контроля на основе своих специфических обстоятельств.

Должны быть приняты меры по обеспечению надлежащих условий труда в лаборатории. В необходимых случаях должны быть предусмотрены специальные процедуры.

Методы испытаний, калибровки, и валидация методов

Лаборатория должна использовать соответствующие методы и процедуры для всех методов испытаний и калибровки, в пределах своей области деятельности. Они включают отбор образцов, их обработку, транспортирование, хранение и подготовку объектов, подлежащих испытаниям и/или калибровке, и, если уместно, оценку неопределенностей измерений, а также статистические методы анализа данных испытаний и/или калибровки.

В лаборатории должны быть инструкции по использованию и управлению всем соответствующим оборудованием, обработки проб и подготовке объектов, подлежащих испытаниям и/или калибровке, или потому и другому, если отсутствие таких инструкций может подвергнуть сомнению результаты испытаний и/или калибровки. Все инструкции, стандарты, руководства пользователя и справочные' данные, относящиеся к работе лаборатории, должны актуализироваться и быть легко доступными для персонала. Отклонение от методов испытаний и калибровки допускаются только при условии их документального оформления, технического обоснования, одобрения и согласия заказчика услуг лаборатории.

Выбор методов

Лаборатория должна использовать методы испытаний и/или калибровки, включая методы отбора образцов, которые удовлетворяют потребности заказчиков услуг лаборатории и пригодны для предпринимаемых испытаний и/или калибровки. Методы, указанные в международных, региональных (межгосударственных) или национальных стандартах являются предпочтительными. Лаборатории следует обеспечивать использование последнего действующего издания стандарта, кроме случаев, когда это не целесообразно или невозможно. При необходимости стандарт может быть дополнен добавочными подробностями, обеспечивающими согласованное применение.

Если заказчик услуг лаборатории не указал метод, который следует использовать, то лаборатория сама должна выбрать соответствующие методы, которые опубликованы в международных, региональных или национальных стандартах, рекомендованы авторитетными техническими организациями, описаны в соответствующих научных статьях или журналах или были рекомендованы изготовителем оборудования. Разработанные или принятые лабораторией методы также могут быть использованы, если они подходят для внутреннего применения и валидированы. О выбранном методе следует уведомить заказчика услуг лаборатории. Лаборатория должна подтвердить, что она может правильно использовать стандартные методы, прежде чем приступить к испытаниям или калибровке. Если стандартный метод меняется, то подтверждение следует повторить.

Лаборатория должна известить заказчика услуг лаборатории в случае, если предложенный им метод представляется непригодным или устаревшим.



Методы, разработанные лабораторией

Введение методов испытаний и калибровки, разработанных лабораторией для собственного использования, должно быть планируемым видом работы, поручаемым квалифицированному персоналу, располагающему адекватными ресурсами.

Планы должны корректироваться по мере разработки, и между всем персоналом, вовлеченным в этот процесс, должен быть обеспечен эффективный обмен информацией.

Нестандартные методы

Если необходимо использовать методы, не являющиеся стандартными, то они должны быть субъектом соглашения с заказчиком услуг лаборатории и содержать отчетливую спецификацию требований заказчика услуг лаборатории и цели испытания и/или калибровки. Перед использованием разработанный метод должен быть валидирован.



Валидация методов

Валидация - это подтверждение путем исследования и предоставления объективных доказательств того, что, требования, предназначенные для конкретного использования или применения, выполняются.

Лаборатория должна валидировать нестандартные методы, и методы, разработанные/усовершенствованные лабораторией. Также должны быть валидированы стандартные методы, используемые вне области их применения; расширения и модификации для подтверждения того, что эти методы подходят для применения по назначению. Валидация должна быть экстенсивной в той мере, которая необходима для удовлетворения запросов данного указания по применению или области его применения. Лаборатория должна регистрировать полученные результаты, процедуру валидации, и заявление о том, подходит ли метод для целевого использования.

Диапазон и точность значения величин, получаемых при помощи валидированных методов, как соответствующих назначению, должны удовлетворять потребностям заказчиков услуг лаборатории. К ним относятся, например, неопределенность результатов, предел обнаружения, селективность метода, линейность, пределы повторяемости и/или воспроизводимости, робастность по отношению, к внешним воздействиям и/или перекрестная чувствительность к помехам от матрицы образец/объект испытаний.



Оценка неопределенности измерений

Калибровочная лаборатория или испытательная лаборатория, проводящая калибровку самостоятельно, должны иметь и применять процедуру оценивания неопределенности результатов измерений для всех калибровок и типов калибровки.

Испытательные лаборатории должны иметь и применять процедуры оценивания неопределенности измерений. В некоторых случаях характер метода испытаний может препятствовать строгому, метрологически и статистически обоснованному расчету неопределенности измерения. В подобных случаях лаборатория должна по меньшей мере попытаться идентифицировать все составляющие неопределенности и провести ее обоснованную оценку, а также принять меры, чтобы форма представления результатов не создавала ложного представления о неопределенности. Обоснованная оценка должна основываться на знании сущности метода, области измерений и учитывать имеющийся опыт и данные валидации.

При оценивании неопределенности измерения все компоненты неопределенности, являющиеся важными в данной ситуации, должны быть приняты во внимание при помощи соответствующих методов анализа.



Управление данными

Вычисления и передача данных должны подлежать систематическим соответствующим проверкам.

Если используют компьютеры или автоматизированное оборудование для сбора, обработки, регистрации, отчетности, хранения или поиска данных испытаний и калибровки, то лаборатория должна удостовериться, что:

а) разработанное пользователем компьютерное программное обеспечение достаточно подробно документировано и должным образом валидировано как пригодное для применения;

б) разработаны и внедрены процедуры защиты данных; такие процедуры должны включать в себя, но не ограничиваться этим, полноту и конфиденциальность ввода или сбора данных, хранения данных, передачи данных и обработки данных;

в) для должного функционирования обеспечен технический уход за компьютерами и автоматизированным оборудованием и для них созданы соответствующие условия окружающей среды в рабочем режиме, необходимые для поддержания сохранности данных испытаний и калибровки.



Оборудование

Лаборатория должна быть оснащена всеми устройствами для отбора образцов, измерительным и испытательным оборудованием, необходимым для правильного проведения испытаний и/или калибровки (включая отбор проб, подготовку объектов испытаний и/или калибровки, обработку и анализ данных испытаний и/или калибровки).

Если лаборатория нуждается в использовании оборудования, находящегося вне ее постоянного контроля, то она должна обеспечить удовлетворение требований настоящего стандарта.

Оборудование и его программное обеспечение, используемые для проведения -испытаний, калибровки и отбора образцов, должны обеспечивать требуемую точность и соответствовать техническим спецификациям, относящимся к данным испытаниям и/или калибровке. Программы калибровки должны быть утверждены для основных параметров или характеристик измерительных приборов в случае, когда эти свойства оказывают значимое влияние на результаты. Перед запуском в эксплуатацию оборудование (включая устройства для отбора образцов) должно быть калибровано и/или проверено на соответствие требованиям спецификации, действующей в лаборатории, и согласовано с уместными стандартными спецификациями. Оно должно быть проверено и/или калибровано до его использования.

С оборудованием должен работать полномочный персонал. Актуализирован­ные инструкции по использованию и обслуживанию оборудования (включая любые соответствующие руководства пользователя, предоставленные производителем оборудо­вания) должны быть всегда доступны для использования соответствующим персоналом лаборатории.

Каждая часть оборудования и его программного обеспечения, используемые для проведения испытаний, калибровки и значимого для результата, должны быть, если это практически осуществимо, идентифицированы как самостоятельные единицы.

Каждая единица оборудования и его программного обеспечения, значимые для проведения испытаний и/или калибровки, должны быть зарегистрированы. Записи должны отражать, по меньшей мере, следующие сведения:

а) идентификацию каждой единицы оборудования и его программного обеспечения;

б) наименование производителя, идентификацию типа, серийный номер или другую уникальную идентификацию;

в) результаты проверок соответствия оборудования спецификациям (см.5.5.2);

г) местонахождение на данный момент (если уместно);

е) инструкции производителя (при их наличии) иди данные о месте их нахождения;

д) даты, результаты и копии всех протоколов, сертификатов о калибровке, свидетельств о регулировках, критерии приемки и планируемую дату- следующей калибровки;

е) план технического обслуживания (при необходимости) и дата проведенного обслуживания или ремонта;

ж) описание любых повреждений, неисправностей, модификаций или ремонта оборудования.

Лаборатория должна иметь процедуры по безопасной эксплуатации, транспортированию, хранению, использованию и плановому техническому обслуживанию измерительного оборудования с целью обеспечения надлежащего функционирования и предупреждения загрязнения или порчи.

Оборудование, подвергшееся перегрузкам или неправильной эксплуатации, показывающее сомнительные результаты, при выявлении его дефектов, при выходе измерений за рамки заданных пределов должно быть выведено из эксплуатации. Такое оборудование необходимо изолировать, чтобы предотвратить его использование, или четко указать на ярлыке или в маркировке, что оно непригодно к использованию до тех пор, пока не будет отремонтировано, калибровано или испытано на предмет правильного функционирования. В лаборатории должны быть изучены последствия дефекта или отклонения от заданных пределов на предыдущих испытаниях и/или калибровке параметров и разработать процедуру «Управления несоответствующими работами».

Всякий раз, когда целесообразно, все оборудование, находящееся под управлением лаборатории и нуждающееся в калибровке, должно быть снабжено ярлыками, кодировано или иным образом идентифицировано, чтобы указать на статус калибровки, включая дату проведения последней калибровки, а также дату или критерии необходимости проведения рекалибровки. Под «рекалибровкой» понимается повторная калибровка, проводимая в случае, если результаты калибровки вызвали сомнения. Отличается от «очередной калибровки» которую проводят периодически в установленные сроки.

Если по какой-либо причине оборудование выходит из-под прямого управления лаборатории, то лаборатория должна удостовериться, что функционирование и статус калибровки оборудования проверены и признаны успешными, прежде чем оборудование будет возвращено в эксплуатацию.

Когда необходимы промежуточные проверки с целью сохранения уверенности в статусе калибровки оборудования, то эти проверки следует проводить в соответствии с установленной процедурой.

Если при калибровке выявлена необходимость введения ряда поправочных коэффициентов, лаборатория должна располагать процедурами, обеспечивающими правильное внесение изменений и дополнений в копии (например, в программное обеспечение).

Испытательное и калибровочное оборудование, включая аппаратные средства и программное обеспечение, должно быть защищено от регулировок, которые могли бы сделать недействительными результаты испытаний и/или калибровки.



Прослеживаемость измерений

Все средства измерений, используемые для проведения испытаний и/или калибровочных работ, включая средства для вспомогательных измерений (например, для контроля параметров окружающей среды), имеющих значимое влияние на точность или валидацию результатов испытания, калибровки или отбора образцов, должны быть калиброваны перед вводом в эксплуатацию.

В лаборатории должны быть установлены программа и процедура для проведения калибровки собственных средств измерений.

Специальные требования

Калибровка

Для калибровочных лабораторий необходимо разработать ввести в действие программу для калибровки оборудования для того, чтобы обеспечивать прослеживаемость калибровки и измерений, проведенных лабораторией, с Международной системой единиц (СИ).

Калибровочная лаборатория устанавливает прослеживаемость своих собственных эталонов единиц физических величин и средств измерений в единицах СИ посредством неразрывной цепи калибровки или сличений, связывающих их с первичными эталонами единиц СИ. Привязка к единицам СИ достигается через национальные эталоны. Национальные эталоны могут быть первичными эталонами, которые являются первичной реализацией единиц СИ или узаконенных наравне с СИ единиц на основе фундамен­тальных физических констант, или могут быть вторичными эталонами, которые калибруются другим национальным метрологическим институтом. При использовании услуг сторонних организаций по калибровке средств измерений передача размеров единиц должна обеспечиваться тем, что такие услуги предоставляются лабораториями, которые могут продемонстрировать свою компетентность, измерительные возможности и прослеживаемость. Сертификаты о калибровке, выдаваемые этими лабораториями, должны содержать результаты измерений, включая неопределенность измерений и/или заявление о соответствии выявленной метрологической спецификации.

Примечание!- Калибровочные лаборатории, соответствующие требованиям настоящего стандарта, рассматриваются как компетентные. Сертификат о калибровке с логотипом органа по аккредитации, выданный калибровочной лабораторией, аккредитованной на соответствие настоящему стандарту в отношении проведения данного вида калибровки, является достаточным свидетельством прослеживаемости указанных калибровочных данных.

Имеются определенные виды калибровочных работ, которые в настоящее время не могут быть выполнены в единицах СИ. В этих случаях калибровка должна обеспечивать доверие к измерениям путем прослеживаемости передачи размеров единиц от соответствующих эталонов единиц физических величин, например:

- использование аттестованных стандартных образцов, предоставленных компетент­ным поставщиком, чтобы получить надежные значения физических или химических характеристик материала;



Проведение испытаний

В отношении испытательных лабораторий требования, приведенные в применимы к используемому измерительному и испытательному оборудованию с измерительными функциями, если только не было установлено, что влияние калибровки на общую неопределенность результатов испытаний незначительно. Когда возникает такая ситуация, лаборатория должна гарантировать, что используемое оборудование может обеспечить необходимую неопределенность измерения.

Если прослеживаемость измерений в единицах СИ невозможна и/или нецелесообразна, применяются требования для прослеживаемости, те же, что и для калибровочных лабораторий, например, в отношении аттестованных стандартных образцов, согласованных методов и/или согласованных критериев.

Исходные эталоны и стандартные образцы

Исходные эталоны

Лаборатория должна иметь программу и процедуру калибровки своих исходных эталонов. Исходные эталоны должны быть калиброваны органом, который может обеспечить прослеживаемость. Такие исходные эталоны, имеющиеся в лаборатории, должны использоваться только для калибровки, а не для каких-то других целей, если не может быть показано, что их функционирование как исходных эталонов не будет признано недействительным. Исходные эталоны должны калиброваться до и после любой юстировки.



Стандартные образцы

Стандартные образцы, по возможности, должны быть привязаны к единицам измерений СИ или к аттестованным стандартным образцам. Стандартные образцы предприятия должны проверяться настолько тщательно, насколько это технически и экономически целесообразно.



Промежуточные проверки

Проверки, необходимые для поддержания доверия к калибровочному статусу исходных, первичных эталонов, эталонов сравнения или рабочих эталонов и стандартных образцов, должны проводиться в соответствии с определенными процедурами и графиками.



Транспортирование и хранение

Лаборатория должна иметь процедуры безопасной эксплуатации, транспортирования, хранения и использования исходных эталонов и стандартных образцов для того, чтобы предупредить загрязнение или повреждение, а также для того, чтобы защитить их пригодность к эксплуатации.



Отбор образцов

Лаборатория должна иметь план и процедуры отбора образцов, если лаборатория проводит отбор образцов веществ, материалов или продукции для последующего испытания или калибровки. План и процедура отбора образцов должны быть в наличии на месте проведения отбора образцов. Планы отбора образцов должны, когда это целесообразно, основываться на подходящих статистических методах. В процессе отбора образцов необходимо учитывать факторы, которыми необходимо управлять, с тем чтобы обеспечить обоснованность результатов испытаний и калибровки.

Если заказчик услуг лаборатории требует отклонений, дополнений или исключений в отношении документированной процедуры отбора образцов, то они должны быть подробно зарегистрированы вместе с соответствующими данными отбора образцов и включены во все документы, содержащие результаты испытаний и/или калибровки, а также сообщены соответствующему персоналу

В лаборатории должны быть процедуры регистрации соответствующих данных и операций, имеющих отношение к отбору образцов, которые составляют часть проводимых испытаний или калибровки. Такие записи должны включать в себя используемую процедуру отбора образцов, идентификацию специалиста, проводящего отбор образцов, условия окружающей среды (при необходимости), а также диаграммы или другие эквивалентные средства для необходимой идентификации места отбора образцов и, если необходимо, статистические данные, на которых основываются процедуры отбора образцов.



Организация проведения работ по испытаниям и калибровке

В лаборатории должны быть процедуры для транспортирования, приемки, обработки, зашиты, складирования, сохранения для использования и/или удаления в отходы объектов испытаний и/или калибровки, включая все обеспечение, предварительно необходимое для обеспечения сохранности объекта испытания и/или калибровки, защиты интересов лаборатории и заказчика услуг лаборатории.

В лаборатории должна быть система идентификации объектов испытаний и/или калибровки. Эта идентификация должна сохраняться на протяжении всего срока пребывания объекта в лаборатории. Система должна быть спроектирована и действовать таким образом, чтобы не допустить путаницы объектов физически или при ссылках на них в записях или других документах. Если необходимо, система должна предусматривать разбивку объектов на группы и перемещение объектов внутри лаборатории или из нее.

В ходе приемки объектов для испытаний или калибровки должны быть зарегистрированы аномалии объектов или отклонения от нормальных или заданных условий, указанных в методе испытания или калибровки. Если есть сомнения относительно пригодности объекта для испытаний или калибровки или если он не соответствует предоставленному описанию, или требуемые испытания или калибровка не описаны в деталях, то лаборатория должна проконсультироваться с заказчиком услуг лаборатории с целью получения дальнейших инструкций до начала испытаний или калибровки и запротоколировать ход обсуждений проблемы.

В лаборатории должны быть предусмотрены процедуры и возможное оборудование, чтобы избежать ухудшения характеристик, потери или повреждений объектов испытаний и калибровки во время их складирования, обработки и подготовки. Необходимо следовать прилагаемым инструкциям. Если объекты должны храниться в заданных условиях окружающей среды, то эти условия должны поддерживаться, отслеживаться и регистрироваться. Если объект испытаний или калибровки или его часть должны быть сохранены, в лаборатории должны быть созданы условия для их складирования и безопасности, которые предохраняют состояние и целостность рассматриваемых объектов или их соответствующих частей.

Обеспечение качества результатов испытаний и калибровки

Лаборатория должна иметь процедуры управления качеством для мониторинга валидации осуществляемых испытаний и калибровки. Полученные данные должны быть зарегистрированы таким образом, чтобы можно было выявить тенденции, и там, где это рационально, применить подходящие статистические методы для анализа результатов.

Результаты управления качеством должны быть проанализированы и если обнаружится, что они вышли за пределы заранее установленных критериев, то для устранения проблемы и предотвращения предоставления недостоверных результатов должны быть приняты плановые меры для решения проблемы.

Отчетность о результатах

Результаты каждого испытания, калибровки или серии испытаний или калибровки, проведенных лабораторией, должны быть изложены точно, понятно, недвусмысленно и объективно в соответствии со всеми специальными инструкциями, содержащимися в методах проведения испытания или калибровки.

Как правило, результаты должны быть оформлены в виде протокола испытаний или сертификата о калибровке, в которых указывают всю информацию, требуемую заказчиком услуг лаборатории и необходимую для интерпретации результатов испытаний или калибровки, а также всю информацию, установленную используемым методом.

Если испытания или калибровку проводят для внутренних заказчиков услуг лаборатории или при наличии письменного соглашения с заказчиком услуг лаборатории, то результаты могут быть представлены в упрощенном виде.



Протоколы испытаний и сертификаты о калибровке

Каждый протокол испытаний или сертификат о калибровке должен содержать, по меньшей мере, следующую информацию (если лаборатория не имеет обоснованных причин не указывать ту или иную информацию):

а) наименование документа (например: «Протокол испытаний» или «Сертификат о калибровке»);

б) наименование и адрес лаборатории, а также место проведения испытаний и/или калибровки, если оно не находится по адресу лаборатории;

в) уникальную идентификацию протокола испытаний или сертификата о калибровке (например, серийный номер), а также идентификацию на каждой странице, чтобы обеспечить признание страницы как части протокола испытаний или сертификата о калибровке, и, кроме того, четкую идентификацию конца протокола испытаний или сертификата о калибровке;

г) наименование и адрес заказчика услуг лаборатории;

д) идентификацию используемого метода;

е) описание, состояние и недвусмысленную идентификацию объекта (объектов) испытаний или калибровки;

ж) дату приемки объекта (объектов), подлежащего(их) испытаниям или калибровке, если это существенно для валидации и указаний по применении, результатов, а также дату(ы) проведения испытаний или калибровки;

з) ссылку на план и методы отбора образцов, используемые лабораторией или другими органами, если они имеют отношение к обоснованности или указаний по применению результатов;

и) результаты испытаний или калибровки с указанием (при необходимости) единиц измерений;

к) имя, должность и подпись или эквивалентную идентификацию лица (лиц), утвердившего (их) протокол испытаний или сертификат о калибровке;

л) при необходимости заявление о том, что результаты относятся только к объектам, прошедшим испытания или калибровку.

Протоколы испытаний

В дополнение к требованиям, перечисленным выше, протоколы испыта­ний должны, если это необходимо для интерпретации результатов испытаний, включать следующее:

а) отклонения, дополнения или исключения, относящиеся к методу испытаний, а также информацию о специальных условиях испытаний, таких как условия окружающей среды;

б) если уместно, то' заявление о соответствии/несоответствии требованиям и/или спецификациям;

в) в приемлемых случаях, заявление об оцененной неопределенности измерений; информацию о неопределенности необходимо отражать в протоколах испытаний, если она имеет отношение к валидации или применению результатов испытаний, когда того требует инструкция заказчика услуг лаборатории, или когда неопределенность влияет на соответствие пределам, установленным в спецификации;

г) в подходящих случаях и при необходимости, мнения и интерпретации;

д) дополнительную информацию, которая может потребоваться для специальных методов испытаний, заказчиков услуг лаборатории или групп заказчиков.

В дополнение к требованиям, перечисленным выше, протоколы испытаний, содержащие результаты отбора образцов, должны включать, когда это необходимо для интерпретации результатов испытаний, следующее:

а) дату отбора образцов;

б) недвусмысленную идентификацию вещества, материала или продукции, образцы которых отбирались (включая, при необходимости, наименование производителя, обозначение модели или типа и серийные номера);

в) место отбора образцов, включая какие-либо графики, эскизы или фотографии;

г) ссылку на план отбора образцов и использованные процедуры:

д) подробное описание любых условий окружающей среды во время отбора образцов, которые могут влиять на интерпретацию результатов испытаний;

е) ссылки на любой стандарт или другую спецификацию, касающиеся метода или процедуры отбора образцов, а также отклонения, дополнения или исключения из спецификаций, имеющих отношение к отбору образцов.



Сертификаты о калибровке

В дополнение к требованиям, перечисленным выше, сертификаты о калибровке должны, если это необходимо для интерпретации результатов калибровки, включать следующее:

а) условия (например, условия окружающей среды), при которых проводилась калибровка и которые влияют на результаты измерений,

б) неопределенность измерения и/или заявление на соответствие идентифициро­ванной метрологической спецификации или отдельным метрологическим характеристикам;

в) доказательства того, что результаты измерений прослеживаются.

Сертификат о калибровке должен относиться только к количественным характеристикам и результатам функциональных испытаний. Если делается заявление на соответствие спецификации, то должна быть идентификация того, какие разделы спецификации удовлетворяются, а какие нет.

При заявлении на соответствие спецификации, не включающему результаты измерений и связанные с ними неопределенности, лаборатория должна зарегистрировать эти результаты и сохранять их для возможной будущей ссылки на них.

Когда делается заявление на соответствие спецификации, должна учитываться неопределенность измерений.

Когда измерительный прибор для калибровки был отъюстирован или отремонтирован, то результаты калибровки до и после юстировки или ремонта, при их наличии, должны быть включены в отчетность перед и после юстировки или ремонта.

Сертификат о калибровке (или калибровочный ярлык) не должен содержать каких-либо рекомендаций по интервалам проведения калибровки, за исключением тех случаев, когда этот вопрос согласован с заказчиком услуг лаборатории. Это требование может быть заменено в связи с требованиями законодательства.



Мнения и интерпретации

Если в протокол включены мнения и интерпретации, лаборатория должна задокументировать основания, на которых они построены. Мнения и интерпретации должны быть четко отмечены как таковые в протоколе испытания.

Результаты испытаний и калибровки, полученные от субподрядчиков

Когда протокол испытаний содержит результаты испытаний, проведенных субподрядчиками, эти результаты должны быть четко идентифицированы. Субподрядчик должен представить протокол в письменном виде или с помощью электронных средств.

Лаборатория, выполняющая работу по калибровке на условиях субподряда, должна выдавать сертификат о калибровке в лабораторию подрядчика.

Электронная передача результатов

При передаче результатов испытаний или калибровки по телефону, телексу, факсу или другим электронным или электромагнитным средствам должны выполняться требования настоящего стандарта (см. также 5.4.7).



Формат протоколов и сертификатов

Должен быть разработан формат для каждого вида выполняемых испытаний или калибровки с целью минимизирования возможности их неверного понимания или ошибочного использования.



Исправления в протоколах испытаний и в сертификатах о калибровке

Существенные исправления в протоколах испытаний или в сертификатах о калибровке после их выпуска должны быть выполнены только в виде последующего документа или последующей передачи данных и включать следующее заявление:

«Дополнение к протоколу испытаний (или Сертификату о калибровке), серийный номер (или другая идентификация)» или эквивалентную словесную формулировку. Такие исправления должны удовлетворять всем требованиям настоящего стандарта.

При необходимости выпуска полного нового протокола испытаний или сертификата о калибровке, новое издание должно иметь однозначную идентификацию и содержать ссылку на оригинал, который они заменяют.


Лекция №7 (1 час)



Достарыңызбен бөлісу:
1   2   3   4   5   6   7




©dereksiz.org 2024
әкімшілігінің қараңыз

    Басты бет