Həkim saytını süni intellekt robotlarına necə açmaq olar?

BestDoctor-un qurduğu saytlarda robots.txt standart olaraq axtarış robotlarına da, GPTBot və ClaudeBot kimi təlim robotlarına da icazə verir; Google-Extended üçün də icazə açıqdır. Bu seçim açıq peşə səhifələrinin axtarış üçün oxunmasına və platformanın qaydaları çərçivəsində model təlimində istifadəsinə imkan yaradır.

Sayt robotu səhifələri avtomatik götürən proqramdır. Bəzi robotlar axtarış üçün məlumat toplayır, bəziləri modelin hazırlanması ilə bağlı işləyir, digərləri istifadəçi konkret səhifəni açmağı istəyəndə müraciət edir. Adlar oxşarlıq yarada bilər. Funksiyalar isə fərqlidir. Bir şirkətin qaydasını digərinin robotuna tətbiq etmək də düzgün nəticə verməyə bilər.

Həkim alternativ olaraq belə seçim edə bilər: “Açıq peşə məlumatım axtarışda istifadə oluna bilər, model təlimi üçün avtomatik toplanmasını məhdudlaşdırmaq istəyirəm.” Təlim robotlarını bağlamaq həkimin öz qərarıdır. Ayrı idarə olunan robotlarda axtarış icazəsi saxlanır, təlim üçün oxuma məhdudlaşdırılır. Bu iki seçimi “süni intellekti açmaq” adı altında birləşdirəndə texniki icraçı nə istədiyinizi dəqiq bilmir. Ona görə ilk tapşırıq hər platformada hansı istifadəyə icazə verildiyini yazmaqdır.

OAI-SearchBot ChatGPT axtarışı üçün işləyir. GPTBot isə generativ modellərin təlimində istifadə oluna bilən məzmunu toplayır. Bu robotlara aid seçimlər ayrı qurula bilər. Həkim açıq saytının axtarış üçün oxunmasını saxlayıb GPTBot girişini məhdudlaşdıra bilər.

Standart icazə nümunəsində User-agent: GPTBot qrupunun altında Allow: / göstərilə bilər. Həkim təlimdən imtinanı seçərsə, alternativ qaydanı sözlə belə təsvir etmək olar: ayrıca sətirdə User-agent: OAI-SearchBot yazılır, növbəti sətirdə Allow: / göstərilir. Digər qrup User-agent: GPTBot sətri ilə başlayır və onun altında Disallow: / yazılır. Birinci qrup bütün yollar üzrə həmin axtarış robotuna icazəni, ikinci qrup isə GPTBot üçün oxuma məhdudiyyətini ifadə edir. Bu, hazır sayt konfiqurasiyasını əvəz edən tam nümunə deyil; mövcud qaydalarla birlikdə yoxlanmalıdır.

ChatGPT-User istifadəçinin başladığı müəyyən əməliyyatlar üçün səhifə götürür. OpenAI bildirir ki, belə müraciətlərdə robots.txt qaydaları tətbiq olunmaya bilər. Buna görə üç adı eyni səviyyədə mütləq bloklama vasitəsi kimi təqdim etmək olmaz. ChatGPT axtarışına aid avtomatik oxuma seçimi OAI-SearchBot vasitəsilə idarə olunur.

Googlebot Google axtarışının səhifələri oxuması ilə bağlıdır. Google-Extended isə ayrıca HTTP robot adı deyil, məzmunun müəyyən məhsullarda istifadəsinə aid idarəetmə nişanıdır. Google onun həm gələcək Gemini modellərinin təliminə, həm də müəyyən Gemini məhsullarında cavabların veb məlumatı ilə əsaslandırılmasına aid olduğunu izah edir.

Bununla yanaşı, Google-Extended Google axtarışına daxilolmanı və oradakı sıralamanı dəyişən siqnal deyil. Google AI icmalları və AI rejimi üçün axtarışa aid Googlebot qaydaları nəzərə alınır.

Texniki mütəxəssis bütün adlara avtomatik eyni Allow və ya Disallow qaydasını tətbiq etmək əvəzinə platforma üzrə fərqi göstərir.