Yapay zekâ her yerde. Genellikle pek farkına varmadan da olsa yapay zekâ ile zaten pek çok alanda uzun yıllardır karşılaşıyorduk. Üzerinde oldukça uzun zamandır çalışılan bir teknoloji bu. Ancak geçtiğimiz son birkaç yıl içerisinde gösterdiği ciddi gelişim hızı, insanların ağzını açık bırakacak şeyleri kolaylıkla yapabilir hale gelmesi, günlük hayatı oldukça kolaylaştırabilir olması ve kullanımının kolaylığı ile beraber günümüzde popülerliği hiç olmadığı kadar artmış durumda. Bu bağlamda, yapay zekâ ile bağlantılı bazı terimlerin ne olduğu hakkında fikir sahibi olmak faydalı olacaktır diye düşünüyorum. Bu yazı serisinde, bu terimlerin üzerinden teknik detaylarda boğulmadan, olabildiğince sade bir dille geçiyor olacağız.
Token
Token, yapay zekâ alanında, özellikle doğal dil işleme (natural language processing) ve makine öğrenimi (machine learning) hizmetlerinde, algoritmalar tarafından işlenen temel bir veri birimidir. Bir token bazen bir kelime, bazen de bir kelimenin parçası olabilir. Örnek olarak:
“Merhaba” kelimesi tek bir token olabilir.
“Mer-haba” şeklinde iki token de olabilir.
“Antalya’da” kelimesi “Antalya” ve “da” şeklinde iki token olarak da bölünmüş olabilir.
Model Kapasitesi
Yapay zekâ modelleri bir metni kelime kelime değil, token token işler. Bu nedenden dolayı yapay zekâ modellerinin kapasitesi genelde kaç token anlayabildiği ile ölçülür. Örnek olarak bir yapay zekâ modelinin 300.000 token’i aynı anda inceleyebildiğini düşünelim. Bu durum bu modelin yüzlerce sayfalık bir metni tek seferde okuyabileceği anlamına gelir.
