import{s as pa,n as wa,o as ra}from"../chunks/scheduler.e0212c12.js";import{S as ma,i as Ia,e as t,s,c as j,h as Aa,a as i,d as e,b as n,f as Ua,g as y,j as J,k as Ta,l as Ca,m as a,n as U,t as T,o as p,p as w}from"../chunks/index.a585a37c.js";import{C as oa,H as Sl,E as da}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.685154eb.js";import{D as ca,C as r}from"../chunks/DocNotebookDropdown.10cc1c76.js";function ua(re){let m,xl,Nl,vl,I,Yl,A,Hl,C,Dl,o,me='<em>Yazar: <a href="https://github.com/MKhalusova" rel="nofollow">Maria Khalusova</a></em>',$l,d,Ie='<em>Çeviren: <a href="https://github.com/emre570" rel="nofollow">Emre Albayrak</a></em>',Ll,c,Ae="Codex, StarCoder ve Code Llama gibi açık kaynak dil modelleri genel programlama ilkelerine ve sözdizimine uygun kod üretme konusunda harikadırlar. Fakat bu modeller, bir kuruluşun dahili kurallarıyla uyumlu olmayabilir veya özel kütüphanelerden haberdar olmayabilir.",ql,u,Ce="Bu notebook’ta, bir modelin bağlamsal farkındalığını artırmak ve kuruluşunuzun ihtiyaçları için kullanılabilirliğini artırmak amacıyla özel kod tabanlarında bir kod dil modeline nasıl fine-tune yapabileceğinizi göstereceğiz. Kod dil modelleri oldukça büyük olduğundan, geleneksel bir şekilde fine-tune yapmak kaynakları tüketebilir. Endişelenmeyin! Fine-tune işlemini tek bir GPU’ya sığacak şekilde nasıl optimize edebileceğinizi göstereceğiz.",Pl,b,Kl,k,oe='Bu örnek için GitHub’daki en iyi 10 Hugging Face public repo’larını seçtik. Görseller, ses dosyaları, sunumlar gibi kod içermeyen dosyaları verilerden hariç tuttuk. Jupyter notebook’lar için yalnızca kod içeren hücreleri tuttuk. Ortaya çıkan kod, Hugging Face Hub’da <a href="https://huggingface.co/datasets/smangrul/hf-stack-v1" rel="nofollow"><code>smangrul/hf-stack-v1</code></a> bağlantısı altında bulabileceğiniz bir veri seti olarak mevcut. Bu veri seti repo’nun kimliğini, dosya yolunu ve dosya içeriğini içeriyor.',Ol,f,lM,h,de='Bu rehber için 1 milyar parametreli ve 80’den fazla programlama dilinde eğitilmiş <a href="https://huggingface.co/bigcode/starcoderbase-1b" rel="nofollow"><code>bigcode/starcoderbase-1b</code></a> modelini seçiyoruz. Bu model, yayıncı tarafından korumaya sahip, bu nedenle bu notebook’u tam olarak bu modelle çalıştırmayı planlıyorsanız, modelin sayfasından erişim sağlamanız gerekir. Erişim izninizi aldıktan sonra, Hugging Face hesabınıza giriş yapın.',MM,Z,ce="<strong>Not:</strong> Eğer fine-tune edilmiş modelinizi Hugging Face Hub’a yüklemek istiyorsanız, <code>write</code> izni olan bir token girmeniz gerekli.",eM,B,aM,_,ue="Başlamak için gerekli tüm kütüphaneleri yükleyelim. Gördüğünüz gibi, <code>transformers</code> ve <code>datasets</code> kütüphanelerine ek olarak, eğitimi optimize etmek için <code>peft</code>, <code>bitsandbytes</code> ve <code>flash-attn</code> kullanacağız.",sM,V,be="Parametre açısından verimli eğitim teknikleri kullanarak, bu notebook’u tek bir A100 High-RAM GPU üzerinde çalıştırabiliriz.",nM,E,tM,Q,ke="Şimdi biraz hiperparametre tanımlayalım. Değerlerini istediğiniz gibi değiştirebilirsiniz.",iM,G,JM,R,jM,z,yM,X,fe="Verileri yükleyerek başlayalım. Veri setinin oldukça büyük olması muhtemel olduğundan, streaming modunu etkinleştirdiğinizden emin olun.",UM,F,he="Streaming modu, tüm veri setini bir kerede indirmek yerine veri seti üzerinde işlem yaptıkça verileri kademeli olarak yüklememizi sağlar.",TM,W,Ze="İlk 4000 örneği validation set (doğrulama kümesi) olarak ayıracağız ve geri kalan her şey eğitim verisi olacak.",pM,S,wM,N,Be="Bu adımda, veri seti hala isteğe bağlı uzunlukta kod içeren ham veriler içeriyor. Eğitim için sabit uzunlukta girdilere ihtiyacımız var. Bir metin dosyası akışından (stream) sabit uzunlukta token yığınları döndürecek bir Iterable veri kümesi oluşturalım.",rM,g,_e="İlk olarak, veri setindeki token başına ortalama karakter sayısını tahmin edelim, bu daha sonra text buffer’daki token sayısını tahmin etmemize yardımcı olacaktır. Varsayılan olarak, veri setinden yalnızca 400 örnek (<code>nb_examples</code>) alacağız. Tüm veri setinin yalnızca bir alt kümesini kullanmak, hesaplama maliyetini düşürürken, genel karakter-token oranının makul bir tahminini sağlayacaktır.",mM,x,IM,v,Ve=`The character to token ratio of the dataset is: 2.43
`,AM,Y,Ee="Karakter-token oranı, metin tokenizasyonunun kalitesinin bir göstergesi olarak da kullanılabilir. Örneğin, karakter-token oranının 1,0 olması her karakterin bir token ile temsil edildiği anlamına gelir ki bu çok anlamlı değildir. Bu da zayıf bir tokenizasyona işaret eder. Standart İngilizce metinde bir token tipik olarak yaklaşık dört karaktere eşdeğerdir, yani karakter-token oranı 4,0 civarındadır. Kod veri setinde daha düşük bir oran bekleyebiliriz, ancak genel olarak konuşursak, 2,0 ile 3,5 arasında bir sayı yeterince iyi kabul edilebilir.",CM,H,Qe="<strong>Opsiyonel FIM dönüşümleri</strong>",oM,D,Ge='Autoregressive dil modelleri tipik olarak soldan sağa doğru sekanslar üretir. Model, FIM dönüşümlerini uygulayarak metni doldurmayı da öğrenebilir.  Teknik hakkında daha fazla bilgi edinmek için <a href="https://arxiv.org/pdf/2207.14255.pdf" rel="nofollow">“Efficient Training of Language Models to Fill in the Middle” makalesine</a> göz atın.',dM,$,Re="FIM dönüşümlerini burada tanımlayacağız ve Iterable veri setini oluştururken bunları kullanacağız. Ancak, dönüşümleri kullanmak istemiyorsanız, <code>fim_rate</code> değerini 0 olarak ayarlayabilirsiniz.",cM,L,uM,q,ze="Sabit uzunlukta token yığınları döndürecek bir Iterable veri seti olan <code>ConstantLengthDataset</code>‘i tanımlayalım. Bunu yapmak için, boyut sınırlarına ulaşana kadar orijinal veri setinden bir buffer metin okuyacağız ve ardından ham metni tokenize edilmiş girdilere dönüştürmek için tokenizer uygulayacağız. İsteğe bağlı olarak, bazı diziler üzerinde FIM dönüşümleri gerçekleştireceğiz (etkilenen dizilerin oranı <code>fim_rate</code> tarafından kontrol edilir).",bM,P,Xe="Tanımlandıktan sonra, hem eğitim hem de doğrulama verilerinden <code>ConstantLengthDataset</code> örnekleri oluşturabiliriz.",kM,K,fM,O,hM,ll,Fe="Veriler hazırlandığına göre, şimdi modeli yükleme zamanı! Modelin kuantize edilmiş versiyonunu yükleyeceğiz.",ZM,Ml,We="Kuantizasyon verileri daha az bitle temsil ettiğinden bellek kullanımını azaltmamızı sağlar. Modeli kuantize etmek için <code>transformers</code> ile güzel bir entegrasyona sahip <code>bitsandbytes</code> kütüphanesini kullanacağız. Tek yapmamız gereken bir <code>bitsandbytes</code> config tanımlamak ve ardından modeli yüklerken bunu kullanmak.",BM,el,Se="4 bit kuantizasyonun farklı varyantları vardır, ancak genellikle daha iyi performans için NF4 kuantizasyonu kullanmanızı öneririz (<code>bnb_4bit_quant_type=“nf4”</code>).",_M,al,Ne="<code>bnb_4bit_use_double_quant</code> seçeneği, parametre başına ek 0,4 bit tasarruf etmek için ilkinden sonra ikinci bir kuantizasyon ekler.",VM,sl,ge='Niceleme hakkında daha fazla bilgi edinmek için <a href="https://huggingface.co/blog/4bit-transformers-bitsandbytes" rel="nofollow">“Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA” blog post</a> adresine göz atın.',EM,nl,xe="Tanımlandıktan sonra, modelin kuantize edilmiş versiyonunu yüklemek için yapılandırmayı <code>from_pretrained</code> metoduna aktarın.",QM,tl,GM,il,ve="Eğitim için kuantize edilmiş bir model kullanırken, modeli ön işleme tabi tutmak amacıyla <code>prepare_model_for_kbit_training()</code> fonksiyonunu çağırmamız gerekiyor.",RM,Jl,zM,jl,Ye="Artık kuantize model hazır olduğuna göre, bir LoRA yapılandırması ayarlayabiliriz. LoRA, eğitilebilir parametrelerin sayısını önemli ölçüde azaltarak fine-tune yapmayı daha verimli hale getirir.",XM,yl,He="LoRA tekniğini kullanarak bir modeli eğitmek için, temel modeli <code>PeftModel</code> olarak çağırmamız gerekir. Bu, <code>LoraConfig</code> ile LoRA yapılandırmasını tanımlamayı ve <code>LoraConfig</code> kullanarak orijinal modeli <code>get_peft_model()</code> ile çağırmayı içerir.",FM,Ul,De='LoRA ve parametreleri hakkında daha fazla bilgi edinmek için <a href="https://huggingface.co/docs/peft/conceptual_guides/lora" rel="nofollow">PEFT dokümantasyonuna</a> bakabilirsiniz.',WM,Tl,SM,pl,$e=`trainable params: 5,554,176 || all params: 1,142,761,472 || trainable%: 0.4860310866343243
`,NM,wl,Le="Gördüğünüz gibi LoRA tekniğini uyguladığımızda artık parametrelerin %1’inden daha azını eğitmemiz gerekecek.",gM,rl,xM,ml,qe="Artık verileri hazırladığımıza ve modeli optimize ettiğimize göre, eğitimi başlatmak için her şeyi bir araya getirmeye hazırız.",vM,Il,Pe="Bir <code>Trainer</code> objesi oluşturmak için, eğitim konfigürasyonu tanımlamamız gerekiyor. En önemlisi, eğitimi yapılandırmak için tüm öznitelikleri içeren bir sınıf olan <code>TrainingArguments</code>‘tır.",YM,Al,Ke="Bunlar, çalıştırabileceğiniz diğer tüm model eğitimlerine benziyor, bu nedenle burada ayrıntılara girmeyeceğiz.",HM,Cl,DM,ol,Oe="Son adım olarak <code>Trainer</code> objesini oluşturun ve <code>train</code> metodunu çağırın.",$M,dl,LM,cl,la=`Training...
`,qM,ul,Ma="Fine-tune edilmiş modelinizi Hugging Face Hub hesabınıza yükleyebilirsiniz.",PM,bl,KM,kl,OM,fl,ea="Model Hub’a yüklendikten sonra, inference için kullanılabilir. Bunu yapmak için önce orijinal temel modeli ve onun tokenizer’ını başlatırız. Sonra, fine-tune edilmiş ağırlıkları temel modelle birleştirmemiz gerekir.",le,hl,Me,Zl,aa="Şimdi inference için birleştirilmiş modeli kullanabiliriz. Kolaylık olması açısından, bir <code>get_code_completion</code> tanımlayacağız - metin oluşturma parametreleriyle deneme yapmaktan çekinmeyin :)",ee,Bl,ae,_l,sa="Şimdi, kodun tamamlanmasını sağlamak için yapmamız gereken tek şey <code>get_code_complete</code> fonksiyonunu çağırmak ve tamamlanmasını istediğimiz ilk birkaç satırı önek olarak, boş bir dizeyi de sonek olarak geçirmek.",se,Vl,ne,El,na=`from peft import LoraConfig, TaskType, get_peft_model
from transformers import AutoModelForCausalLM
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.1,
    bias="none",
    modules_to_save=["q_proj", "v_proj"],
    inference_mode=False,
)
model = AutoModelForCausalLM.from_pretrained("gpt2")
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
`,te,Ql,ta="Bu notebook’ta daha önce PEFT kütüphanesini kullanmış biri olarak, <code>LoraConfig</code> oluşturmak için üretilen sonucun oldukça iyi olduğunu görebilirsiniz!",ie,Gl,ia="Modeli inference için başlattığımız hücreye geri dönersek ve fine-tune edilmiş ağırlıkları birleştirdiğimiz satırları yorum satırı yaparsak, orijinal modelin tam olarak aynı önek için ne üreteceğini görebilirsiniz:",Je,Rl,je,zl,Ja=`from peft import LoraConfig, TaskType, get_peft_model
from transformers import AutoModelForCausalLM
peft_config = LoraConfig(
    model_name_or_path="facebook/wav2vec2-base-960h",
    num_labels=1,
    num_features=1,
    num_hidden_layers=1,
    num_attention_heads=1,
    num_hidden_layers_per_attention_head=1,
    num_attention_heads_per_hidden_layer=1,
    hidden_size=1024,
    hidden_dropout_prob=0.1,
    hidden_act="gelu",
    hidden_act_dropout_prob=0.1,
    hidden
`,ye,Xl,ja="Python syntax’ı olmasına rağmen, orijinal modelin <code>LoraConfig</code>‘in ne yapması gerektiği konusunda hiçbir anlayışının olmadığını görebilirsiniz.",Ue,Fl,ya='Bu tür fine-tune’ların tam bir fine-tune ile nasıl karşılaştırıldığını ve bu tür bir modeli VS Code’da Inference Endpoints veya yerel olarak co-pilot olarak nasıl kullanacağınızı öğrenmek için <a href="https://huggingface.co/blog/personal-copilot" rel="nofollow">“Personal Copilot: Train Your Own Coding Assistant” blog yazısına</a> göz atın. Bu notebook orijinal blog yazısını tamamlar.',Te,Wl,pe,gl,we;return I=new ca({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/tr/fine_tuning_code_llm_on_single_gpu.ipynb"}]}}),A=new oa({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),C=new Sl({props:{title:"Kod Dil Modelini Tek GPU’da Fine-Tune Etmek",local:"kod-dil-modelini-tek-gpuda-fine-tune-etmek",headingTag:"h1"}}),b=new Sl({props:{title:"Veri Seti",local:"veri-seti",headingTag:"h2"}}),f=new Sl({props:{title:"Model",local:"model",headingTag:"h2"}}),B=new r({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),E=new r({props:{code:"IXBpcCUyMGluc3RhbGwlMjAtcSUyMHRyYW5zZm9ybWVycyUyMGRhdGFzZXRzJTIwcGVmdCUyMGJpdHNhbmRieXRlcyUyMGZsYXNoLWF0dG4=",highlighted:"!pip install -q transformers datasets peft bitsandbytes flash-attn",wrap:!1}}),G=new r({props:{code:"TU9ERUwlM0QlMjJiaWdjb2RlJTJGc3RhcmNvZGVyYmFzZS0xYiUyMiUyMCUyMyUyMEh1Z2dpbmclMjBGYWNlJTIwSHViJTIwbW9kZWwlMjBhZCVDNCVCMSUwQURBVEFTRVQlM0QlMjJzbWFuZ3J1bCUyRmhmLXN0YWNrLXYxJTIyJTIwJTIwJTIwJTIzJTIwSHVnZ2luZyUyMEZhY2UlMjBIdWInZGFraSUyMHZlcmklMjBzZXRpJTBBREFUQV9DT0xVTU4lM0QlMjJjb250ZW50JTIyJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwa29kJTIwaSVDMyVBN2VyaSVDNCU5RmluaW4lMjBvbGR1JUM0JTlGdSUyMHMlQzMlQkN0dW4lMjBhZCVDNCVCMSUwQSUwQVNFUV9MRU5HVEglM0QyMDQ4JTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwS2FyYWt0ZXIlMjB1enVubHUlQzQlOUZ1JTBBJTBBJTIzJTIwRSVDNCU5Rml0aW0lMjBhcmclQzMlQkNtYW5sYXIlQzQlQjElMEFNQVhfU1RFUFMlM0QyMDAwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwbWF4X3N0ZXBzJTBBQkFUQ0hfU0laRSUzRDE2JTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwYmF0Y2hfc2l6ZSUwQUdSX0FDQ19TVEVQUyUzRDElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBncmFkaWVudF9hY2N1bXVsYXRpb25fc3RlcHMlMEFMUiUzRDVlLTQlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBsZWFybmluZ19yYXRlJTBBTFJfU0NIRURVTEVSX1RZUEUlM0QlMjJjb3NpbmUlMjIlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBscl9zY2hlZHVsZXJfdHlwZSUwQVdFSUdIVF9ERUNBWSUzRDAuMDElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjB3ZWlnaHRfZGVjYXklMEFOVU1fV0FSTVVQX1NURVBTJTNEMzAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBudW1fd2FybXVwX3N0ZXBzJTBBRVZBTF9GUkVRJTNEMTAwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwZXZhbF9mcmVxJTBBU0FWRV9GUkVRJTNEMTAwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwc2F2ZV9mcmVxJTBBTE9HX0ZSRVElM0QyNSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMyUyMGxvZ19mcmVxJTBBT1VUUFVUX0RJUiUzRCUyMnBlZnQtc3RhcmNvZGVyLWxvcmEtYTEwMCUyMiUyMCUyMyUyMG91dHB1dF9kaXIlMEFCRjE2JTNEVHJ1ZSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMyUyMGJmMTYlMEFGUDE2JTNERmFsc2UlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBub19mcDE2JTBBJTBBJTIzJTIwRklNJTIwZCVDMyVCNm4lQzMlQkMlQzUlOUYlQzMlQkNtJTIwYXJnJUMzJUJDbWFubGFyJUM0JUIxJTBBRklNX1JBVEUlM0QwLjUlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjMlMjBmaW1fcmF0ZSUwQUZJTV9TUE1fUkFURSUzRDAuNSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMyUyMGZpbV9zcG1fcmF0ZSUwQSUwQSUyMyUyMExPUkElMjBhcmclQzMlQkNtYW5sYXIlQzQlQjElMEFMT1JBX1IlM0Q4JTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwbG9yYV9yJTBBTE9SQV9BTFBIQSUzRDMyJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwbG9yYV9hbHBoYSUwQUxPUkFfRFJPUE9VVCUzRDAuMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMyUyMGxvcmFfZHJvcG91dCUwQUxPUkFfVEFSR0VUX01PRFVMRVMlM0QlMjJjX3Byb2olMkNjX2F0dG4lMkNxX2F0dG4lMkNjX2ZjJTJDY19wcm9qJTIyJTIwJTIwJTIwJTIwJTIzJTIwbG9yYV90YXJnZXRfbW9kdWxlcyUwQSUwQSUyMyUyMGJpdHNhbmRieXRlcyUyMGNvbmZpZyUyMGFyZyVDMyVCQ21hbmxhciVDNCVCMSUwQVVTRV9ORVNURURfUVVBTlQlM0RUcnVlJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwdXNlX25lc3RlZF9xdWFudCUwQUJOQl80QklUX0NPTVBVVEVfRFRZUEUlM0QlMjJiZmxvYXQxNiUyMiUyMyUyMGJuYl80Yml0X2NvbXB1dGVfZHR5cGUlMEElMEFTRUVEJTNEMA==",highlighted:`MODEL=<span class="hljs-string">&quot;bigcode/starcoderbase-1b&quot;</span> <span class="hljs-comment"># Hugging Face Hub model adı</span>
DATASET=<span class="hljs-string">&quot;smangrul/hf-stack-v1&quot;</span>   <span class="hljs-comment"># Hugging Face Hub&#x27;daki veri seti</span>
DATA_COLUMN=<span class="hljs-string">&quot;content&quot;</span>            <span class="hljs-comment"># kod içeriğinin olduğu sütun adı</span>

SEQ_LENGTH=<span class="hljs-number">2048</span>                  <span class="hljs-comment"># Karakter uzunluğu</span>

<span class="hljs-comment"># Eğitim argümanları</span>
MAX_STEPS=<span class="hljs-number">2000</span>                   <span class="hljs-comment"># max_steps</span>
BATCH_SIZE=<span class="hljs-number">16</span>                    <span class="hljs-comment"># batch_size</span>
GR_ACC_STEPS=<span class="hljs-number">1</span>                   <span class="hljs-comment"># gradient_accumulation_steps</span>
LR=<span class="hljs-number">5e-4</span>                          <span class="hljs-comment"># learning_rate</span>
LR_SCHEDULER_TYPE=<span class="hljs-string">&quot;cosine&quot;</span>       <span class="hljs-comment"># lr_scheduler_type</span>
WEIGHT_DECAY=<span class="hljs-number">0.01</span>                <span class="hljs-comment"># weight_decay</span>
NUM_WARMUP_STEPS=<span class="hljs-number">30</span>              <span class="hljs-comment"># num_warmup_steps</span>
EVAL_FREQ=<span class="hljs-number">100</span>                    <span class="hljs-comment"># eval_freq</span>
SAVE_FREQ=<span class="hljs-number">100</span>                    <span class="hljs-comment"># save_freq</span>
LOG_FREQ=<span class="hljs-number">25</span>                      <span class="hljs-comment"># log_freq</span>
OUTPUT_DIR=<span class="hljs-string">&quot;peft-starcoder-lora-a100&quot;</span> <span class="hljs-comment"># output_dir</span>
BF16=<span class="hljs-literal">True</span>                        <span class="hljs-comment"># bf16</span>
FP16=<span class="hljs-literal">False</span>                       <span class="hljs-comment"># no_fp16</span>

<span class="hljs-comment"># FIM dönüşüm argümanları</span>
FIM_RATE=<span class="hljs-number">0.5</span>                     <span class="hljs-comment"># fim_rate</span>
FIM_SPM_RATE=<span class="hljs-number">0.5</span>                 <span class="hljs-comment"># fim_spm_rate</span>

<span class="hljs-comment"># LORA argümanları</span>
LORA_R=<span class="hljs-number">8</span>                         <span class="hljs-comment"># lora_r</span>
LORA_ALPHA=<span class="hljs-number">32</span>                    <span class="hljs-comment"># lora_alpha</span>
LORA_DROPOUT=<span class="hljs-number">0.0</span>                 <span class="hljs-comment"># lora_dropout</span>
LORA_TARGET_MODULES=<span class="hljs-string">&quot;c_proj,c_attn,q_attn,c_fc,c_proj&quot;</span>    <span class="hljs-comment"># lora_target_modules</span>

<span class="hljs-comment"># bitsandbytes config argümanları</span>
USE_NESTED_QUANT=<span class="hljs-literal">True</span>            <span class="hljs-comment"># use_nested_quant</span>
BNB_4BIT_COMPUTE_DTYPE=<span class="hljs-string">&quot;bfloat16&quot;</span><span class="hljs-comment"># bnb_4bit_compute_dtype</span>

SEED=<span class="hljs-number">0</span>`,wrap:!1}}),R=new r({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMCglMEElMjAlMjAlMjAlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTSUyQyUwQSUyMCUyMCUyMCUyMEF1dG9Ub2tlbml6ZXIlMkMlMEElMjAlMjAlMjAlMjBUcmFpbmVyJTJDJTBBJTIwJTIwJTIwJTIwVHJhaW5pbmdBcmd1bWVudHMlMkMlMEElMjAlMjAlMjAlMjBsb2dnaW5nJTJDJTBBJTIwJTIwJTIwJTIwc2V0X3NlZWQlMkMlMEElMjAlMjAlMjAlMjBCaXRzQW5kQnl0ZXNDb25maWclMkMlMEEpJTBBJTBBc2V0X3NlZWQoU0VFRCk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> (
    AutoModelForCausalLM,
    AutoTokenizer,
    Trainer,
    TrainingArguments,
    logging,
    set_seed,
    BitsAndBytesConfig,
)

set_seed(SEED)`,wrap:!1}}),z=new Sl({props:{title:"Veri setinin hazırlanması",local:"veri-setinin-hazırlanması",headingTag:"h2"}}),S=new r({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBaW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHFkbSUyMGltcG9ydCUyMHRxZG0lMEElMEElMEFkYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUwQSUyMCUyMCUyMCUyMERBVEFTRVQlMkMlMEElMjAlMjAlMjAlMjBkYXRhX2RpciUzRCUyMmRhdGElMjIlMkMlMEElMjAlMjAlMjAlMjBzcGxpdCUzRCUyMnRyYWluJTIyJTJDJTBBJTIwJTIwJTIwJTIwc3RyZWFtaW5nJTNEVHJ1ZSUyQyUwQSklMEElMEF2YWxpZF9kYXRhJTIwJTNEJTIwZGF0YXNldC50YWtlKDQwMDApJTBBdHJhaW5fZGF0YSUyMCUzRCUyMGRhdGFzZXQuc2tpcCg0MDAwKSUwQXRyYWluX2RhdGElMjAlM0QlMjB0cmFpbl9kYXRhLnNodWZmbGUoYnVmZmVyX3NpemUlM0Q1MDAwJTJDJTIwc2VlZCUzRFNFRUQp",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset
<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> tqdm <span class="hljs-keyword">import</span> tqdm


dataset = load_dataset(
    DATASET,
    data_dir=<span class="hljs-string">&quot;data&quot;</span>,
    split=<span class="hljs-string">&quot;train&quot;</span>,
    streaming=<span class="hljs-literal">True</span>,
)

valid_data = dataset.take(<span class="hljs-number">4000</span>)
train_data = dataset.skip(<span class="hljs-number">4000</span>)
train_data = train_data.shuffle(buffer_size=<span class="hljs-number">5000</span>, seed=SEED)`,wrap:!1}}),x=new r({props:{code:"dG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQoTU9ERUwlMkMlMjB0cnVzdF9yZW1vdGVfY29kZSUzRFRydWUpJTBBJTBBZGVmJTIwY2hhcnNfdG9rZW5fcmF0aW8oZGF0YXNldCUyQyUyMHRva2VuaXplciUyQyUyMGRhdGFfY29sdW1uJTJDJTIwbmJfZXhhbXBsZXMlM0Q0MDApJTNBJTBBJTIwJTIwJTIwJTIwJTIyJTIyJTIyJTBBJTIwJTIwJTIwJTIwVmVyaSUyMGslQzMlQkNtZXNpbmRla2klMjB0b2tlbiUyMGJhJUM1JTlGJUM0JUIxbmElMjBvcnRhbGFtYSUyMGthcmFrdGVyJTIwc2F5JUM0JUIxcyVDNCVCMW4lQzQlQjElMjB0YWhtaW4lMjBlZGVyLiUwQSUyMCUyMCUyMCUyMCUyMiUyMiUyMiUwQSUwQSUyMCUyMCUyMCUyMHRvdGFsX2NoYXJhY3RlcnMlMkMlMjB0b3RhbF90b2tlbnMlMjAlM0QlMjAwJTJDJTIwMCUwQSUyMCUyMCUyMCUyMGZvciUyMF8lMkMlMjBleGFtcGxlJTIwaW4lMjB0cWRtKHppcChyYW5nZShuYl9leGFtcGxlcyklMkMlMjBpdGVyKGRhdGFzZXQpKSUyQyUyMHRvdGFsJTNEbmJfZXhhbXBsZXMpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdG90YWxfY2hhcmFjdGVycyUyMCUyQiUzRCUyMGxlbihleGFtcGxlJTVCZGF0YV9jb2x1bW4lNUQpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdG90YWxfdG9rZW5zJTIwJTJCJTNEJTIwbGVuKHRva2VuaXplcihleGFtcGxlJTVCZGF0YV9jb2x1bW4lNUQpLnRva2VucygpKSUwQSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMHRvdGFsX2NoYXJhY3RlcnMlMjAlMkYlMjB0b3RhbF90b2tlbnMlMEElMEElMEFjaGFyc19wZXJfdG9rZW4lMjAlM0QlMjBjaGFyc190b2tlbl9yYXRpbyh0cmFpbl9kYXRhJTJDJTIwdG9rZW5pemVyJTJDJTIwREFUQV9DT0xVTU4pJTBBcHJpbnQoZiUyMlRoZSUyMGNoYXJhY3RlciUyMHRvJTIwdG9rZW4lMjByYXRpbyUyMG9mJTIwdGhlJTIwZGF0YXNldCUyMGlzJTNBJTIwJTdCY2hhcnNfcGVyX3Rva2VuJTNBLjJmJTdEJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(MODEL, trust_remote_code=<span class="hljs-literal">True</span>)

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">chars_token_ratio</span>(<span class="hljs-params">dataset, tokenizer, data_column, nb_examples=<span class="hljs-number">400</span></span>):
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;&quot;&quot;
<span class="hljs-meta">... </span>    Veri kümesindeki token başına ortalama karakter sayısını tahmin eder.
<span class="hljs-meta">... </span>    &quot;&quot;&quot;</span>

<span class="hljs-meta">... </span>    total_characters, total_tokens = <span class="hljs-number">0</span>, <span class="hljs-number">0</span>
<span class="hljs-meta">... </span>    <span class="hljs-keyword">for</span> _, example <span class="hljs-keyword">in</span> tqdm(<span class="hljs-built_in">zip</span>(<span class="hljs-built_in">range</span>(nb_examples), <span class="hljs-built_in">iter</span>(dataset)), total=nb_examples):
<span class="hljs-meta">... </span>        total_characters += <span class="hljs-built_in">len</span>(example[data_column])
<span class="hljs-meta">... </span>        total_tokens += <span class="hljs-built_in">len</span>(tokenizer(example[data_column]).tokens())

<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> total_characters / total_tokens


<span class="hljs-meta">&gt;&gt;&gt; </span>chars_per_token = chars_token_ratio(train_data, tokenizer, DATA_COLUMN)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;The character to token ratio of the dataset is: <span class="hljs-subst">{chars_per_token:<span class="hljs-number">.2</span>f}</span>&quot;</span>)`,wrap:!1}}),L=new r({props:{code:" ",highlighted:`<span class="hljs-keyword">import</span> functools
<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np


<span class="hljs-comment"># FIM dönüşümleri için önek, sonek ve orta için özel belirteçlerin belirteç kimliklerini almak için yardımcı fonksiyon.</span>
<span class="hljs-meta">@functools.lru_cache(<span class="hljs-params">maxsize=<span class="hljs-literal">None</span></span>)</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_fim_token_ids</span>(<span class="hljs-params">tokenizer</span>):
    <span class="hljs-keyword">try</span>:
        FIM_PREFIX, FIM_MIDDLE, FIM_SUFFIX, FIM_PAD = tokenizer.special_tokens_map[<span class="hljs-string">&quot;additional_special_tokens&quot;</span>][<span class="hljs-number">1</span>:<span class="hljs-number">5</span>]
        suffix_tok_id, prefix_tok_id, middle_tok_id, pad_tok_id = (
            tokenizer.vocab[tok] <span class="hljs-keyword">for</span> tok <span class="hljs-keyword">in</span> [FIM_SUFFIX, FIM_PREFIX, FIM_MIDDLE, FIM_PAD]
        )
    <span class="hljs-keyword">except</span> KeyError:
        suffix_tok_id, prefix_tok_id, middle_tok_id, pad_tok_id = <span class="hljs-literal">None</span>, <span class="hljs-literal">None</span>, <span class="hljs-literal">None</span>, <span class="hljs-literal">None</span>
    <span class="hljs-keyword">return</span> suffix_tok_id, prefix_tok_id, middle_tok_id, pad_tok_id


<span class="hljs-comment"># https://github.com/bigcode-project/Megatron-LM/blob/6c4bf908df8fd86b4977f54bf5b8bd4b521003d1/megatron/data/gpt_dataset.py adresinden uyarlanmıştır.</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">permute</span>(<span class="hljs-params">
    sample,
    np_rng,
    suffix_tok_id,
    prefix_tok_id,
    middle_tok_id,
    pad_tok_id,
    fim_rate=<span class="hljs-number">0.5</span>,
    fim_spm_rate=<span class="hljs-number">0.5</span>,
    truncate_or_pad=<span class="hljs-literal">False</span>,
</span>):
    <span class="hljs-string">&quot;&quot;&quot;
    Bir örnek (token listesi) alarak iki FIM modu yardımıyla fim_rate olasılığı ile bir FIM dönüşümü gerçekleştirir:
    PSM ve SPM (fim_spm_rate olasılığı ile).
    &quot;&quot;&quot;</span>

    <span class="hljs-comment"># if koşulu fim_rate olasılığı ile tetiklenecektir</span>
    <span class="hljs-comment"># Bu, FIM dönüşümlerinin fim_rate olasılığına sahip örneklere uygulanacağı anlamına gelir</span>
    <span class="hljs-keyword">if</span> np_rng.binomial(<span class="hljs-number">1</span>, fim_rate):

        <span class="hljs-comment"># boundaries dizisinde saklanan rastgele oluşturulmuş indekslere göre örneği önek, orta ve sonek olarak ayırır.</span>
        boundaries = <span class="hljs-built_in">list</span>(np_rng.randint(low=<span class="hljs-number">0</span>, high=<span class="hljs-built_in">len</span>(sample) + <span class="hljs-number">1</span>, size=<span class="hljs-number">2</span>))
        boundaries.sort()

        prefix = np.array(sample[: boundaries[<span class="hljs-number">0</span>]], dtype=np.int64)
        middle = np.array(sample[boundaries[<span class="hljs-number">0</span>] : boundaries[<span class="hljs-number">1</span>]], dtype=np.int64)
        suffix = np.array(sample[boundaries[<span class="hljs-number">1</span>] :], dtype=np.int64)

        <span class="hljs-keyword">if</span> truncate_or_pad:
            <span class="hljs-comment"># önek, orta ve sonek belirten tokenleri dikkate alarak örneğin yeni toplam uzunluğunu hesaplar</span>
            new_length = suffix.shape[<span class="hljs-number">0</span>] + prefix.shape[<span class="hljs-number">0</span>] + middle.shape[<span class="hljs-number">0</span>] + <span class="hljs-number">3</span>
            diff = new_length - <span class="hljs-built_in">len</span>(sample)

            <span class="hljs-comment"># yeni uzunluk ile orijinal uzunluk arasında bir uzunluk farkı varsa aktarma veya kesme</span>
            <span class="hljs-keyword">if</span> diff &gt; <span class="hljs-number">0</span>:
                <span class="hljs-keyword">if</span> suffix.shape[<span class="hljs-number">0</span>] &lt;= diff:
                    <span class="hljs-keyword">return</span> sample, np_rng
                suffix = suffix[: suffix.shape[<span class="hljs-number">0</span>] - diff]
            <span class="hljs-keyword">elif</span> diff &lt; <span class="hljs-number">0</span>:
                suffix = np.concatenate([suffix, np.full((-<span class="hljs-number">1</span> * diff), pad_tok_id)])

        <span class="hljs-comment"># FIM dönüşümlerinin fim_spm_rateapply SPM varyantının olasılığı ile</span>
        <span class="hljs-comment"># SPM: sonek, önek, orta</span>
        <span class="hljs-keyword">if</span> np_rng.binomial(<span class="hljs-number">1</span>, fim_spm_rate):
            new_sample = np.concatenate(
                [
                    [prefix_tok_id, suffix_tok_id],
                    suffix,
                    [middle_tok_id],
                    prefix,
                    middle,
                ]
            )
        <span class="hljs-comment"># Aksi takdirde, FIM dönüşümlerinin PSM varyantını uygulayın</span>
        <span class="hljs-comment"># PSM: önek, sonek, orta</span>
        <span class="hljs-keyword">else</span>:

            new_sample = np.concatenate(
                [
                    [prefix_tok_id],
                    prefix,
                    [suffix_tok_id],
                    suffix,
                    [middle_tok_id],
                    middle,
                ]
            )
    <span class="hljs-keyword">else</span>:
        <span class="hljs-comment"># FIM dönüşümlerini uygulamama</span>
        new_sample = sample

    <span class="hljs-keyword">return</span> <span class="hljs-built_in">list</span>(new_sample), np_rng`,wrap:!1}}),K=new r({props:{code:" ",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data <span class="hljs-keyword">import</span> IterableDataset
<span class="hljs-keyword">from</span> torch.utils.data.dataloader <span class="hljs-keyword">import</span> DataLoader
<span class="hljs-keyword">import</span> random

<span class="hljs-comment"># Bir metin dosyası akışından sabit uzunlukta token parçaları döndüren bir Iterable veri seti oluşturur.</span>

<span class="hljs-keyword">class</span> <span class="hljs-title class_">ConstantLengthDataset</span>(<span class="hljs-title class_ inherited__">IterableDataset</span>):
    <span class="hljs-string">&quot;&quot;&quot;
    Metin dosyalarının akışından sabit uzunlukta token parçaları döndüren yinelenebilir veri seti.
        Argümanlar:
            tokenizer (Tokenizer): Verileri işlemek için kullanılan işleyicidir.
            veri seti (dataset.Dataset): Metin dosyaları içeren veri seti.
            infinite (bool): True ise, veri seti sona ulaştıktan sonra iterator sıfırlanır, aksi takdirde durur.
            seq_length (int): Döndürülecek token sekanslarının uzunluğu.
            num_of_sequences (int): Buffer&#x27;da tutulacak token sequence sayısı.
            chars_per_token (int): Metin buffer&#x27;ındaki token sayısını tahmin etmek için kullanılan token başına karakter sayısı.
            fim_rate (float): Numunenin FIM ile permüle edileceği oran (0,0 ila 1,0).
            fim_spm_rate (float): SPM kullanacak FIM permütasyonlarının oranı (0.0 ila 1.0).
            seed (int): Rastgele sayı üreteci için seed.
    &quot;&quot;&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">__init__</span>(<span class="hljs-params">
        self,
        tokenizer,
        dataset,
        infinite=<span class="hljs-literal">False</span>,
        seq_length=<span class="hljs-number">1024</span>,
        num_of_sequences=<span class="hljs-number">1024</span>,
        chars_per_token=<span class="hljs-number">3.6</span>,
        content_field=<span class="hljs-string">&quot;content&quot;</span>,
        fim_rate=<span class="hljs-number">0.5</span>,
        fim_spm_rate=<span class="hljs-number">0.5</span>,
        seed=<span class="hljs-number">0</span>,
    </span>):
        self.tokenizer = tokenizer
        self.concat_token_id = tokenizer.eos_token_id
        self.dataset = dataset
        self.seq_length = seq_length
        self.infinite = infinite
        self.current_size = <span class="hljs-number">0</span>
        self.max_buffer_size = seq_length * chars_per_token * num_of_sequences
        self.content_field = content_field
        self.fim_rate = fim_rate
        self.fim_spm_rate = fim_spm_rate
        self.seed = seed

        (
            self.suffix_tok_id,
            self.prefix_tok_id,
            self.middle_tok_id,
            self.pad_tok_id,
        ) = get_fim_token_ids(self.tokenizer)
        <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> self.suffix_tok_id <span class="hljs-keyword">and</span> self.fim_rate &gt; <span class="hljs-number">0</span>:
            <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;FIM is not supported by tokenizer, disabling FIM&quot;</span>)
            self.fim_rate = <span class="hljs-number">0</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">__iter__</span>(<span class="hljs-params">self</span>):
        iterator = <span class="hljs-built_in">iter</span>(self.dataset)
        more_examples = <span class="hljs-literal">True</span>
        np_rng = np.random.RandomState(seed=self.seed)
        <span class="hljs-keyword">while</span> more_examples:
            buffer, buffer_len = [], <span class="hljs-number">0</span>
            <span class="hljs-keyword">while</span> <span class="hljs-literal">True</span>:
                <span class="hljs-keyword">if</span> buffer_len &gt;= self.max_buffer_size:
                    <span class="hljs-keyword">break</span>
                <span class="hljs-keyword">try</span>:
                    buffer.append(<span class="hljs-built_in">next</span>(iterator)[self.content_field])
                    buffer_len += <span class="hljs-built_in">len</span>(buffer[-<span class="hljs-number">1</span>])
                <span class="hljs-keyword">except</span> StopIteration:
                    <span class="hljs-keyword">if</span> self.infinite:
                        iterator = <span class="hljs-built_in">iter</span>(self.dataset)
                    <span class="hljs-keyword">else</span>:
                        more_examples = <span class="hljs-literal">False</span>
                        <span class="hljs-keyword">break</span>
            tokenized_inputs = self.tokenizer(buffer, truncation=<span class="hljs-literal">False</span>)[<span class="hljs-string">&quot;input_ids&quot;</span>]
            all_token_ids = []

            <span class="hljs-keyword">for</span> tokenized_input <span class="hljs-keyword">in</span> tokenized_inputs:
                <span class="hljs-comment"># opsiyonel FIM permütasyonları</span>
                <span class="hljs-keyword">if</span> self.fim_rate &gt; <span class="hljs-number">0</span>:
                    tokenized_input, np_rng = permute(
                        tokenized_input,
                        np_rng,
                        self.suffix_tok_id,
                        self.prefix_tok_id,
                        self.middle_tok_id,
                        self.pad_tok_id,
                        fim_rate=self.fim_rate,
                        fim_spm_rate=self.fim_spm_rate,
                        truncate_or_pad=<span class="hljs-literal">False</span>,
                    )

                all_token_ids.extend(tokenized_input + [self.concat_token_id])
            examples = []
            <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">0</span>, <span class="hljs-built_in">len</span>(all_token_ids), self.seq_length):
                input_ids = all_token_ids[i : i + self.seq_length]
                <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(input_ids) == self.seq_length:
                    examples.append(input_ids)
            random.shuffle(examples)
            <span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> examples:
                self.current_size += <span class="hljs-number">1</span>
                <span class="hljs-keyword">yield</span> {
                    <span class="hljs-string">&quot;input_ids&quot;</span>: torch.LongTensor(example),
                    <span class="hljs-string">&quot;labels&quot;</span>: torch.LongTensor(example),
                }


train_dataset = ConstantLengthDataset(
        tokenizer,
        train_data,
        infinite=<span class="hljs-literal">True</span>,
        seq_length=SEQ_LENGTH,
        chars_per_token=chars_per_token,
        content_field=DATA_COLUMN,
        fim_rate=FIM_RATE,
        fim_spm_rate=FIM_SPM_RATE,
        seed=SEED,
)
eval_dataset = ConstantLengthDataset(
        tokenizer,
        valid_data,
        infinite=<span class="hljs-literal">False</span>,
        seq_length=SEQ_LENGTH,
        chars_per_token=chars_per_token,
        content_field=DATA_COLUMN,
        fim_rate=FIM_RATE,
        fim_spm_rate=FIM_SPM_RATE,
        seed=SEED,
)`,wrap:!1}}),O=new Sl({props:{title:"Modelin Hazırlanması",local:"modelin-hazırlanması",headingTag:"h2"}}),tl=new r({props:{code:"ZnJvbSUyMHBlZnQlMjBpbXBvcnQlMjBMb3JhQ29uZmlnJTJDJTIwZ2V0X3BlZnRfbW9kZWwlMkMlMjBwcmVwYXJlX21vZGVsX2Zvcl9rYml0X3RyYWluaW5nJTBBZnJvbSUyMHBlZnQudHVuZXJzLmxvcmElMjBpbXBvcnQlMjBMb3JhTGF5ZXIlMEElMEFsb2FkX2luXzhiaXQlMjAlM0QlMjBGYWxzZSUwQSUwQSUyMyUyMDQtYml0JTIwa3VhbnRpemUlMjBpJUM1JTlGbGVtaSUwQWNvbXB1dGVfZHR5cGUlMjAlM0QlMjBnZXRhdHRyKHRvcmNoJTJDJTIwQk5CXzRCSVRfQ09NUFVURV9EVFlQRSklMEElMEFibmJfY29uZmlnJTIwJTNEJTIwQml0c0FuZEJ5dGVzQ29uZmlnKCUwQSUyMCUyMCUyMCUyMGxvYWRfaW5fNGJpdCUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBibmJfNGJpdF9xdWFudF90eXBlJTNEJTIybmY0JTIyJTJDJTBBJTIwJTIwJTIwJTIwYm5iXzRiaXRfY29tcHV0ZV9kdHlwZSUzRGNvbXB1dGVfZHR5cGUlMkMlMEElMjAlMjAlMjAlMjBibmJfNGJpdF91c2VfZG91YmxlX3F1YW50JTNEVVNFX05FU1RFRF9RVUFOVCUyQyUwQSklMEElMEFkZXZpY2VfbWFwJTIwJTNEJTIwJTdCJTIyJTIyJTNBJTIwMCU3RCUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yQ2F1c2FsTE0uZnJvbV9wcmV0cmFpbmVkKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyME1PREVMJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9hZF9pbl84Yml0JTNEbG9hZF9pbl84Yml0JTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcXVhbnRpemF0aW9uX2NvbmZpZyUzRGJuYl9jb25maWclMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBkZXZpY2VfbWFwJTNEZGV2aWNlX21hcCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHVzZV9jYWNoZSUzREZhbHNlJTJDJTIwJTIwJTIzJTIwR3JhZGllbnQlMjBDaGVja3BvaW50JTIwa3VsbGFuYWNhJUM0JTlGJUM0JUIxeiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRydXN0X3JlbW90ZV9jb2RlJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHVzZV9mbGFzaF9hdHRlbnRpb25fMiUzRFRydWUlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> peft <span class="hljs-keyword">import</span> LoraConfig, get_peft_model, prepare_model_for_kbit_training
<span class="hljs-keyword">from</span> peft.tuners.lora <span class="hljs-keyword">import</span> LoraLayer

load_in_8bit = <span class="hljs-literal">False</span>

<span class="hljs-comment"># 4-bit kuantize işlemi</span>
compute_dtype = <span class="hljs-built_in">getattr</span>(torch, BNB_4BIT_COMPUTE_DTYPE)

bnb_config = BitsAndBytesConfig(
    load_in_4bit=<span class="hljs-literal">True</span>,
    bnb_4bit_quant_type=<span class="hljs-string">&quot;nf4&quot;</span>,
    bnb_4bit_compute_dtype=compute_dtype,
    bnb_4bit_use_double_quant=USE_NESTED_QUANT,
)

device_map = {<span class="hljs-string">&quot;&quot;</span>: <span class="hljs-number">0</span>}

model = AutoModelForCausalLM.from_pretrained(
        MODEL,
        load_in_8bit=load_in_8bit,
        quantization_config=bnb_config,
        device_map=device_map,
        use_cache=<span class="hljs-literal">False</span>,  <span class="hljs-comment"># Gradient Checkpoint kullanacağız</span>
        trust_remote_code=<span class="hljs-literal">True</span>,
        use_flash_attention_2=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),Jl=new r({props:{code:"bW9kZWwlMjAlM0QlMjBwcmVwYXJlX21vZGVsX2Zvcl9rYml0X3RyYWluaW5nKG1vZGVsKQ==",highlighted:"model = prepare_model_for_kbit_training(model)",wrap:!1}}),Tl=new r({props:{code:"JTIzJTIwTG9yYSUyMGNvbmZpZyUyMGF5YXJsYXIlQzQlQjElMEFwZWZ0X2NvbmZpZyUyMCUzRCUyMExvcmFDb25maWcoJTBBJTIwJTIwJTIwJTIwbG9yYV9hbHBoYSUzRExPUkFfQUxQSEElMkMlMEElMjAlMjAlMjAlMjBsb3JhX2Ryb3BvdXQlM0RMT1JBX0RST1BPVVQlMkMlMEElMjAlMjAlMjAlMjByJTNETE9SQV9SJTJDJTBBJTIwJTIwJTIwJTIwYmlhcyUzRCUyMm5vbmUlMjIlMkMlMEElMjAlMjAlMjAlMjB0YXNrX3R5cGUlM0QlMjJDQVVTQUxfTE0lMjIlMkMlMEElMjAlMjAlMjAlMjB0YXJnZXRfbW9kdWxlcyUzRExPUkFfVEFSR0VUX01PRFVMRVMuc3BsaXQoJTIyJTJDJTIyKSUyQyUwQSklMEElMEFtb2RlbCUyMCUzRCUyMGdldF9wZWZ0X21vZGVsKG1vZGVsJTJDJTIwcGVmdF9jb25maWcpJTBBbW9kZWwucHJpbnRfdHJhaW5hYmxlX3BhcmFtZXRlcnMoKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-comment"># Lora config ayarları</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>peft_config = LoraConfig(
<span class="hljs-meta">... </span>    lora_alpha=LORA_ALPHA,
<span class="hljs-meta">... </span>    lora_dropout=LORA_DROPOUT,
<span class="hljs-meta">... </span>    r=LORA_R,
<span class="hljs-meta">... </span>    bias=<span class="hljs-string">&quot;none&quot;</span>,
<span class="hljs-meta">... </span>    task_type=<span class="hljs-string">&quot;CAUSAL_LM&quot;</span>,
<span class="hljs-meta">... </span>    target_modules=LORA_TARGET_MODULES.split(<span class="hljs-string">&quot;,&quot;</span>),
<span class="hljs-meta">... </span>)

<span class="hljs-meta">&gt;&gt;&gt; </span>model = get_peft_model(model, peft_config)
<span class="hljs-meta">&gt;&gt;&gt; </span>model.print_trainable_parameters()`,wrap:!1}}),rl=new Sl({props:{title:"Modelin Eğitilmesi",local:"modelin-eğitilmesi",headingTag:"h2"}}),Cl=new r({props:{code:"dHJhaW5fZGF0YS5zdGFydF9pdGVyYXRpb24lMjAlM0QlMjAwJTBBJTBBJTBBdHJhaW5pbmdfYXJncyUyMCUzRCUyMFRyYWluaW5nQXJndW1lbnRzKCUwQSUyMCUyMCUyMCUyMG91dHB1dF9kaXIlM0RmJTIyWW91cl9IRl91c2VybmFtZSUyRiU3Qk9VVFBVVF9ESVIlN0QlMjIlMkMlMEElMjAlMjAlMjAlMjBkYXRhbG9hZGVyX2Ryb3BfbGFzdCUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBldmFsdWF0aW9uX3N0cmF0ZWd5JTNEJTIyc3RlcHMlMjIlMkMlMEElMjAlMjAlMjAlMjBzYXZlX3N0cmF0ZWd5JTNEJTIyc3RlcHMlMjIlMkMlMEElMjAlMjAlMjAlMjBtYXhfc3RlcHMlM0RNQVhfU1RFUFMlMkMlMEElMjAlMjAlMjAlMjBldmFsX3N0ZXBzJTNERVZBTF9GUkVRJTJDJTBBJTIwJTIwJTIwJTIwc2F2ZV9zdGVwcyUzRFNBVkVfRlJFUSUyQyUwQSUyMCUyMCUyMCUyMGxvZ2dpbmdfc3RlcHMlM0RMT0dfRlJFUSUyQyUwQSUyMCUyMCUyMCUyMHBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzREJBVENIX1NJWkUlMkMlMEElMjAlMjAlMjAlMjBwZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUzREJBVENIX1NJWkUlMkMlMEElMjAlMjAlMjAlMjBsZWFybmluZ19yYXRlJTNETFIlMkMlMEElMjAlMjAlMjAlMjBscl9zY2hlZHVsZXJfdHlwZSUzRExSX1NDSEVEVUxFUl9UWVBFJTJDJTBBJTIwJTIwJTIwJTIwd2FybXVwX3N0ZXBzJTNETlVNX1dBUk1VUF9TVEVQUyUyQyUwQSUyMCUyMCUyMCUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUzREdSX0FDQ19TVEVQUyUyQyUwQSUyMCUyMCUyMCUyMGdyYWRpZW50X2NoZWNrcG9pbnRpbmclM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwZnAxNiUzREZQMTYlMkMlMEElMjAlMjAlMjAlMjBiZjE2JTNEQkYxNiUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheSUzRFdFSUdIVF9ERUNBWSUyQyUwQSUyMCUyMCUyMCUyMHB1c2hfdG9faHViJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMGluY2x1ZGVfdG9rZW5zX3Blcl9zZWNvbmQlM0RUcnVlJTJDJTBBKQ==",highlighted:`train_data.start_iteration = <span class="hljs-number">0</span>


training_args = TrainingArguments(
    output_dir=<span class="hljs-string">f&quot;Your_HF_username/<span class="hljs-subst">{OUTPUT_DIR}</span>&quot;</span>,
    dataloader_drop_last=<span class="hljs-literal">True</span>,
    evaluation_strategy=<span class="hljs-string">&quot;steps&quot;</span>,
    save_strategy=<span class="hljs-string">&quot;steps&quot;</span>,
    max_steps=MAX_STEPS,
    eval_steps=EVAL_FREQ,
    save_steps=SAVE_FREQ,
    logging_steps=LOG_FREQ,
    per_device_train_batch_size=BATCH_SIZE,
    per_device_eval_batch_size=BATCH_SIZE,
    learning_rate=LR,
    lr_scheduler_type=LR_SCHEDULER_TYPE,
    warmup_steps=NUM_WARMUP_STEPS,
    gradient_accumulation_steps=GR_ACC_STEPS,
    gradient_checkpointing=<span class="hljs-literal">True</span>,
    fp16=FP16,
    bf16=BF16,
    weight_decay=WEIGHT_DECAY,
    push_to_hub=<span class="hljs-literal">True</span>,
    include_tokens_per_second=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),dl=new r({props:{code:"dHJhaW5lciUyMCUzRCUyMFRyYWluZXIoJTBBJTIwJTIwJTIwJTIwbW9kZWwlM0Rtb2RlbCUyQyUyMGFyZ3MlM0R0cmFpbmluZ19hcmdzJTJDJTIwdHJhaW5fZGF0YXNldCUzRHRyYWluX2RhdGFzZXQlMkMlMjBldmFsX2RhdGFzZXQlM0RldmFsX2RhdGFzZXQlMEEpJTBBJTBBcHJpbnQoJTIyVHJhaW5pbmcuLi4lMjIpJTBBdHJhaW5lci50cmFpbigp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>trainer = Trainer(
<span class="hljs-meta">... </span>    model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset
<span class="hljs-meta">... </span>)

<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Training...&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>trainer.train()`,wrap:!1}}),bl=new r({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yigp",highlighted:"trainer.push_to_hub()",wrap:!1}}),kl=new Sl({props:{title:"Inference",local:"inference",headingTag:"h2"}}),hl=new r({props:{code:"ZnJvbSUyMHBlZnQlMjBpbXBvcnQlMjBQZWZ0TW9kZWwlMEFpbXBvcnQlMjB0b3JjaCUwQSUwQSUyMyUyMCVDMyVCNm5jZSUyMG9yaWppbmFsJTIwbW9kZWxpJTIweSVDMyVCQ2tsZXlpbiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKE1PREVMJTJDJTIwdHJ1c3RfcmVtb3RlX2NvZGUlM0RUcnVlKSUwQWJhc2VfbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTS5mcm9tX3ByZXRyYWluZWQoJTBBJTIwJTIwJTIwJTIwTU9ERUwlMkMlMEElMjAlMjAlMjAlMjBxdWFudGl6YXRpb25fY29uZmlnJTNETm9uZSUyQyUwQSUyMCUyMCUyMCUyMGRldmljZV9tYXAlM0ROb25lJTJDJTBBJTIwJTIwJTIwJTIwdHJ1c3RfcmVtb3RlX2NvZGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwdG9yY2hfZHR5cGUlM0R0b3JjaC5iZmxvYXQxNiUyQyUwQSkuY3VkYSgpJTBBJTBBJTIzJTIwZmluZS10dW5lJTIwZWRpbG1pJUM1JTlGJTIwYSVDNCU5RiVDNCVCMXJsJUM0JUIxa2xhciVDNCVCMSUyMG9yaWppbmFsJTIwbW9kZWwlMjBpbGUlMjBiaXJsZSVDNSU5RnRpcmluJTBBcGVmdF9tb2RlbF9pZCUyMCUzRCUyMGYlMjJZb3VyX0hGX3VzZXJuYW1lJTJGJTdCT1VUUFVUX0RJUiU3RCUyMiUwQW1vZGVsJTIwJTNEJTIwUGVmdE1vZGVsLmZyb21fcHJldHJhaW5lZChiYXNlX21vZGVsJTJDJTIwcGVmdF9tb2RlbF9pZCklMEFtb2RlbC5tZXJnZV9hbmRfdW5sb2FkKCk=",highlighted:`<span class="hljs-keyword">from</span> peft <span class="hljs-keyword">import</span> PeftModel
<span class="hljs-keyword">import</span> torch

<span class="hljs-comment"># önce orijinal modeli yükleyin</span>
tokenizer = AutoTokenizer.from_pretrained(MODEL, trust_remote_code=<span class="hljs-literal">True</span>)
base_model = AutoModelForCausalLM.from_pretrained(
    MODEL,
    quantization_config=<span class="hljs-literal">None</span>,
    device_map=<span class="hljs-literal">None</span>,
    trust_remote_code=<span class="hljs-literal">True</span>,
    torch_dtype=torch.bfloat16,
).cuda()

<span class="hljs-comment"># fine-tune edilmiş ağırlıkları orijinal model ile birleştirin</span>
peft_model_id = <span class="hljs-string">f&quot;Your_HF_username/<span class="hljs-subst">{OUTPUT_DIR}</span>&quot;</span>
model = PeftModel.from_pretrained(base_model, peft_model_id)
model.merge_and_unload()`,wrap:!1}}),Bl=new r({props:{code:"ZGVmJTIwZ2V0X2NvZGVfY29tcGxldGlvbihwcmVmaXglMkMlMjBzdWZmaXgpJTNBJTBBJTIwJTIwJTIwJTIwdGV4dCUyMCUzRCUyMHByb21wdCUyMCUzRCUyMGYlMjIlMjIlMjIlM0NmaW1fcHJlZml4JTNFJTdCcHJlZml4JTdEJTNDZmltX3N1ZmZpeCUzRSU3QnN1ZmZpeCU3RCUzQ2ZpbV9taWRkbGUlM0UlMjIlMjIlMjIlMEElMjAlMjAlMjAlMjBtb2RlbC5ldmFsKCklMEElMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwuZ2VuZXJhdGUoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaW5wdXRfaWRzJTNEdG9rZW5pemVyKHRleHQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnB0JTIyKS5pbnB1dF9pZHMuY3VkYSgpJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbWF4X25ld190b2tlbnMlM0QxMjglMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0ZW1wZXJhdHVyZSUzRDAuMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRvcF9rJTNENTAlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0b3BfcCUzRDAuOTUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBkb19zYW1wbGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcmVwZXRpdGlvbl9wZW5hbHR5JTNEMS4wJTJDJTBBJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMHRva2VuaXplci5iYXRjaF9kZWNvZGUob3V0cHV0cyUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKSU1QjAlNUQ=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_code_completion</span>(<span class="hljs-params">prefix, suffix</span>):
    text = prompt = <span class="hljs-string">f&quot;&quot;&quot;&lt;fim_prefix&gt;<span class="hljs-subst">{prefix}</span>&lt;fim_suffix&gt;<span class="hljs-subst">{suffix}</span>&lt;fim_middle&gt;&quot;&quot;&quot;</span>
    model.<span class="hljs-built_in">eval</span>()
    outputs = model.generate(
        input_ids=tokenizer(text, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>).input_ids.cuda(),
        max_new_tokens=<span class="hljs-number">128</span>,
        temperature=<span class="hljs-number">0.2</span>,
        top_k=<span class="hljs-number">50</span>,
        top_p=<span class="hljs-number">0.95</span>,
        do_sample=<span class="hljs-literal">True</span>,
        repetition_penalty=<span class="hljs-number">1.0</span>,
    )
    <span class="hljs-keyword">return</span> tokenizer.batch_decode(outputs, skip_special_tokens=<span class="hljs-literal">True</span>)[<span class="hljs-number">0</span>]`,wrap:!1}}),Vl=new r({props:{code:"cHJlZml4JTIwJTNEJTIwJTIyJTIyJTIyZnJvbSUyMHBlZnQlMjBpbXBvcnQlMjBMb3JhQ29uZmlnJTJDJTIwVGFza1R5cGUlMkMlMjBnZXRfcGVmdF9tb2RlbCUwQWZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTSUwQXBlZnRfY29uZmlnJTIwJTNEJTIwTG9yYUNvbmZpZyglMEElMjIlMjIlMjIlMEFzdWZmaXglMjAlM0QlMjIlMjIlMjIlMjIlMjIlMjIlMEElMEFwcmludChnZXRfY29kZV9jb21wbGV0aW9uKHByZWZpeCUyQyUyMHN1ZmZpeCkp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prefix = <span class="hljs-string">&quot;&quot;&quot;from peft import LoraConfig, TaskType, get_peft_model
<span class="hljs-meta">... </span>from transformers import AutoModelForCausalLM
<span class="hljs-meta">... </span>peft_config = LoraConfig(
<span class="hljs-meta">... </span>&quot;&quot;&quot;</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>suffix =<span class="hljs-string">&quot;&quot;&quot;&quot;&quot;&quot;</span>

<span class="hljs-meta">... </span><span class="hljs-built_in">print</span>(get_code_completion(prefix, suffix))`,wrap:!1}}),Rl=new r({props:{code:"cHJlZml4JTIwJTNEJTIwJTIyJTIyJTIyZnJvbSUyMHBlZnQlMjBpbXBvcnQlMjBMb3JhQ29uZmlnJTJDJTIwVGFza1R5cGUlMkMlMjBnZXRfcGVmdF9tb2RlbCUwQWZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBBdXRvTW9kZWxGb3JDYXVzYWxMTSUwQXBlZnRfY29uZmlnJTIwJTNEJTIwTG9yYUNvbmZpZyglMEElMjIlMjIlMjIlMEFzdWZmaXglMjAlM0QlMjIlMjIlMjIlMjIlMjIlMjIlMEElMEFwcmludChnZXRfY29kZV9jb21wbGV0aW9uKHByZWZpeCUyQyUyMHN1ZmZpeCkp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>prefix = <span class="hljs-string">&quot;&quot;&quot;from peft import LoraConfig, TaskType, get_peft_model
<span class="hljs-meta">... </span>from transformers import AutoModelForCausalLM
<span class="hljs-meta">... </span>peft_config = LoraConfig(
<span class="hljs-meta">... </span>&quot;&quot;&quot;</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>suffix =<span class="hljs-string">&quot;&quot;&quot;&quot;&quot;&quot;</span>

<span class="hljs-meta">... </span><span class="hljs-built_in">print</span>(get_code_completion(prefix, suffix))`,wrap:!1}}),Wl=new da({props:{source:"https://github.com/huggingface/cookbook/blob/main/notebooks/tr/fine_tuning_code_llm_on_single_gpu.md"}}),{c(){m=t("meta"),xl=s(),Nl=t("p"),vl=s(),j(I.$$.fragment),Yl=s(),j(A.$$.fragment),Hl=s(),j(C.$$.fragment),Dl=s(),o=t("p"),o.innerHTML=me,$l=s(),d=t("p"),d.innerHTML=Ie,Ll=s(),c=t("p"),c.textContent=Ae,ql=s(),u=t("p"),u.textContent=Ce,Pl=s(),j(b.$$.fragment),Kl=s(),k=t("p"),k.innerHTML=oe,Ol=s(),j(f.$$.fragment),lM=s(),h=t("p"),h.innerHTML=de,MM=s(),Z=t("p"),Z.innerHTML=ce,eM=s(),j(B.$$.fragment),aM=s(),_=t("p"),_.innerHTML=ue,sM=s(),V=t("p"),V.textContent=be,nM=s(),j(E.$$.fragment),tM=s(),Q=t("p"),Q.textContent=ke,iM=s(),j(G.$$.fragment),JM=s(),j(R.$$.fragment),jM=s(),j(z.$$.fragment),yM=s(),X=t("p"),X.textContent=fe,UM=s(),F=t("p"),F.textContent=he,TM=s(),W=t("p"),W.textContent=Ze,pM=s(),j(S.$$.fragment),wM=s(),N=t("p"),N.textContent=Be,rM=s(),g=t("p"),g.innerHTML=_e,mM=s(),j(x.$$.fragment),IM=s(),v=t("pre"),v.textContent=Ve,AM=s(),Y=t("p"),Y.textContent=Ee,CM=s(),H=t("p"),H.innerHTML=Qe,oM=s(),D=t("p"),D.innerHTML=Ge,dM=s(),$=t("p"),$.innerHTML=Re,cM=s(),j(L.$$.fragment),uM=s(),q=t("p"),q.innerHTML=ze,bM=s(),P=t("p"),P.innerHTML=Xe,kM=s(),j(K.$$.fragment),fM=s(),j(O.$$.fragment),hM=s(),ll=t("p"),ll.textContent=Fe,ZM=s(),Ml=t("p"),Ml.innerHTML=We,BM=s(),el=t("p"),el.innerHTML=Se,_M=s(),al=t("p"),al.innerHTML=Ne,VM=s(),sl=t("p"),sl.innerHTML=ge,EM=s(),nl=t("p"),nl.innerHTML=xe,QM=s(),j(tl.$$.fragment),GM=s(),il=t("p"),il.innerHTML=ve,RM=s(),j(Jl.$$.fragment),zM=s(),jl=t("p"),jl.textContent=Ye,XM=s(),yl=t("p"),yl.innerHTML=He,FM=s(),Ul=t("p"),Ul.innerHTML=De,WM=s(),j(Tl.$$.fragment),SM=s(),pl=t("pre"),pl.textContent=$e,NM=s(),wl=t("p"),wl.textContent=Le,gM=s(),j(rl.$$.fragment),xM=s(),ml=t("p"),ml.textContent=qe,vM=s(),Il=t("p"),Il.innerHTML=Pe,YM=s(),Al=t("p"),Al.textContent=Ke,HM=s(),j(Cl.$$.fragment),DM=s(),ol=t("p"),ol.innerHTML=Oe,$M=s(),j(dl.$$.fragment),LM=s(),cl=t("pre"),cl.textContent=la,qM=s(),ul=t("p"),ul.textContent=Ma,PM=s(),j(bl.$$.fragment),KM=s(),j(kl.$$.fragment),OM=s(),fl=t("p"),fl.textContent=ea,le=s(),j(hl.$$.fragment),Me=s(),Zl=t("p"),Zl.innerHTML=aa,ee=s(),j(Bl.$$.fragment),ae=s(),_l=t("p"),_l.innerHTML=sa,se=s(),j(Vl.$$.fragment),ne=s(),El=t("pre"),El.textContent=na,te=s(),Ql=t("p"),Ql.innerHTML=ta,ie=s(),Gl=t("p"),Gl.textContent=ia,Je=s(),j(Rl.$$.fragment),je=s(),zl=t("pre"),zl.textContent=Ja,ye=s(),Xl=t("p"),Xl.innerHTML=ja,Ue=s(),Fl=t("p"),Fl.innerHTML=ya,Te=s(),j(Wl.$$.fragment),pe=s(),gl=t("p"),this.h()},l(l){const M=Aa("svelte-u9bgzb",document.head);m=i(M,"META",{name:!0,content:!0}),M.forEach(e),xl=n(l),Nl=i(l,"P",{}),Ua(Nl).forEach(e),vl=n(l),y(I.$$.fragment,l),Yl=n(l),y(A.$$.fragment,l),Hl=n(l),y(C.$$.fragment,l),Dl=n(l),o=i(l,"P",{"data-svelte-h":!0}),J(o)!=="svelte-xtcvtg"&&(o.innerHTML=me),$l=n(l),d=i(l,"P",{"data-svelte-h":!0}),J(d)!=="svelte-c666v1"&&(d.innerHTML=Ie),Ll=n(l),c=i(l,"P",{"data-svelte-h":!0}),J(c)!=="svelte-1c4nkct"&&(c.textContent=Ae),ql=n(l),u=i(l,"P",{"data-svelte-h":!0}),J(u)!=="svelte-bu2olq"&&(u.textContent=Ce),Pl=n(l),y(b.$$.fragment,l),Kl=n(l),k=i(l,"P",{"data-svelte-h":!0}),J(k)!=="svelte-wmkcup"&&(k.innerHTML=oe),Ol=n(l),y(f.$$.fragment,l),lM=n(l),h=i(l,"P",{"data-svelte-h":!0}),J(h)!=="svelte-10bvvod"&&(h.innerHTML=de),MM=n(l),Z=i(l,"P",{"data-svelte-h":!0}),J(Z)!=="svelte-1d64fq4"&&(Z.innerHTML=ce),eM=n(l),y(B.$$.fragment,l),aM=n(l),_=i(l,"P",{"data-svelte-h":!0}),J(_)!=="svelte-lzam8z"&&(_.innerHTML=ue),sM=n(l),V=i(l,"P",{"data-svelte-h":!0}),J(V)!=="svelte-90mnae"&&(V.textContent=be),nM=n(l),y(E.$$.fragment,l),tM=n(l),Q=i(l,"P",{"data-svelte-h":!0}),J(Q)!=="svelte-1dw2uzr"&&(Q.textContent=ke),iM=n(l),y(G.$$.fragment,l),JM=n(l),y(R.$$.fragment,l),jM=n(l),y(z.$$.fragment,l),yM=n(l),X=i(l,"P",{"data-svelte-h":!0}),J(X)!=="svelte-bqeipo"&&(X.textContent=fe),UM=n(l),F=i(l,"P",{"data-svelte-h":!0}),J(F)!=="svelte-6bssj2"&&(F.textContent=he),TM=n(l),W=i(l,"P",{"data-svelte-h":!0}),J(W)!=="svelte-5hqyju"&&(W.textContent=Ze),pM=n(l),y(S.$$.fragment,l),wM=n(l),N=i(l,"P",{"data-svelte-h":!0}),J(N)!=="svelte-1wflle1"&&(N.textContent=Be),rM=n(l),g=i(l,"P",{"data-svelte-h":!0}),J(g)!=="svelte-1gu5ozf"&&(g.innerHTML=_e),mM=n(l),y(x.$$.fragment,l),IM=n(l),v=i(l,"PRE",{"data-svelte-h":!0}),J(v)!=="svelte-ko6dme"&&(v.textContent=Ve),AM=n(l),Y=i(l,"P",{"data-svelte-h":!0}),J(Y)!=="svelte-2ktwaj"&&(Y.textContent=Ee),CM=n(l),H=i(l,"P",{"data-svelte-h":!0}),J(H)!=="svelte-bntl8j"&&(H.innerHTML=Qe),oM=n(l),D=i(l,"P",{"data-svelte-h":!0}),J(D)!=="svelte-nu1pyq"&&(D.innerHTML=Ge),dM=n(l),$=i(l,"P",{"data-svelte-h":!0}),J($)!=="svelte-1p67l8p"&&($.innerHTML=Re),cM=n(l),y(L.$$.fragment,l),uM=n(l),q=i(l,"P",{"data-svelte-h":!0}),J(q)!=="svelte-1pmhn31"&&(q.innerHTML=ze),bM=n(l),P=i(l,"P",{"data-svelte-h":!0}),J(P)!=="svelte-79d1n6"&&(P.innerHTML=Xe),kM=n(l),y(K.$$.fragment,l),fM=n(l),y(O.$$.fragment,l),hM=n(l),ll=i(l,"P",{"data-svelte-h":!0}),J(ll)!=="svelte-1iap118"&&(ll.textContent=Fe),ZM=n(l),Ml=i(l,"P",{"data-svelte-h":!0}),J(Ml)!=="svelte-1nzqeje"&&(Ml.innerHTML=We),BM=n(l),el=i(l,"P",{"data-svelte-h":!0}),J(el)!=="svelte-16etuan"&&(el.innerHTML=Se),_M=n(l),al=i(l,"P",{"data-svelte-h":!0}),J(al)!=="svelte-1890ndh"&&(al.innerHTML=Ne),VM=n(l),sl=i(l,"P",{"data-svelte-h":!0}),J(sl)!=="svelte-w5bm1h"&&(sl.innerHTML=ge),EM=n(l),nl=i(l,"P",{"data-svelte-h":!0}),J(nl)!=="svelte-fdsvxk"&&(nl.innerHTML=xe),QM=n(l),y(tl.$$.fragment,l),GM=n(l),il=i(l,"P",{"data-svelte-h":!0}),J(il)!=="svelte-1pg2faa"&&(il.innerHTML=ve),RM=n(l),y(Jl.$$.fragment,l),zM=n(l),jl=i(l,"P",{"data-svelte-h":!0}),J(jl)!=="svelte-17za3dj"&&(jl.textContent=Ye),XM=n(l),yl=i(l,"P",{"data-svelte-h":!0}),J(yl)!=="svelte-17mxxdr"&&(yl.innerHTML=He),FM=n(l),Ul=i(l,"P",{"data-svelte-h":!0}),J(Ul)!=="svelte-1uhqn9n"&&(Ul.innerHTML=De),WM=n(l),y(Tl.$$.fragment,l),SM=n(l),pl=i(l,"PRE",{"data-svelte-h":!0}),J(pl)!=="svelte-hpf32x"&&(pl.textContent=$e),NM=n(l),wl=i(l,"P",{"data-svelte-h":!0}),J(wl)!=="svelte-1r693xt"&&(wl.textContent=Le),gM=n(l),y(rl.$$.fragment,l),xM=n(l),ml=i(l,"P",{"data-svelte-h":!0}),J(ml)!=="svelte-27zr88"&&(ml.textContent=qe),vM=n(l),Il=i(l,"P",{"data-svelte-h":!0}),J(Il)!=="svelte-j1tw62"&&(Il.innerHTML=Pe),YM=n(l),Al=i(l,"P",{"data-svelte-h":!0}),J(Al)!=="svelte-1povqs7"&&(Al.textContent=Ke),HM=n(l),y(Cl.$$.fragment,l),DM=n(l),ol=i(l,"P",{"data-svelte-h":!0}),J(ol)!=="svelte-rvo9r1"&&(ol.innerHTML=Oe),$M=n(l),y(dl.$$.fragment,l),LM=n(l),cl=i(l,"PRE",{"data-svelte-h":!0}),J(cl)!=="svelte-9xzew6"&&(cl.textContent=la),qM=n(l),ul=i(l,"P",{"data-svelte-h":!0}),J(ul)!=="svelte-1jbah07"&&(ul.textContent=Ma),PM=n(l),y(bl.$$.fragment,l),KM=n(l),y(kl.$$.fragment,l),OM=n(l),fl=i(l,"P",{"data-svelte-h":!0}),J(fl)!=="svelte-12ebmjz"&&(fl.textContent=ea),le=n(l),y(hl.$$.fragment,l),Me=n(l),Zl=i(l,"P",{"data-svelte-h":!0}),J(Zl)!=="svelte-cfk7nk"&&(Zl.innerHTML=aa),ee=n(l),y(Bl.$$.fragment,l),ae=n(l),_l=i(l,"P",{"data-svelte-h":!0}),J(_l)!=="svelte-1nnfg40"&&(_l.innerHTML=sa),se=n(l),y(Vl.$$.fragment,l),ne=n(l),El=i(l,"PRE",{"data-svelte-h":!0}),J(El)!=="svelte-11ixuz2"&&(El.textContent=na),te=n(l),Ql=i(l,"P",{"data-svelte-h":!0}),J(Ql)!=="svelte-1eqbfff"&&(Ql.innerHTML=ta),ie=n(l),Gl=i(l,"P",{"data-svelte-h":!0}),J(Gl)!=="svelte-13908s0"&&(Gl.textContent=ia),Je=n(l),y(Rl.$$.fragment,l),je=n(l),zl=i(l,"PRE",{"data-svelte-h":!0}),J(zl)!=="svelte-1ud779o"&&(zl.textContent=Ja),ye=n(l),Xl=i(l,"P",{"data-svelte-h":!0}),J(Xl)!=="svelte-irh7qh"&&(Xl.innerHTML=ja),Ue=n(l),Fl=i(l,"P",{"data-svelte-h":!0}),J(Fl)!=="svelte-5w0ldd"&&(Fl.innerHTML=ya),Te=n(l),y(Wl.$$.fragment,l),pe=n(l),gl=i(l,"P",{}),Ua(gl).forEach(e),this.h()},h(){Ta(m,"name","hf:doc:metadata"),Ta(m,"content",ba)},m(l,M){Ca(document.head,m),a(l,xl,M),a(l,Nl,M),a(l,vl,M),U(I,l,M),a(l,Yl,M),U(A,l,M),a(l,Hl,M),U(C,l,M),a(l,Dl,M),a(l,o,M),a(l,$l,M),a(l,d,M),a(l,Ll,M),a(l,c,M),a(l,ql,M),a(l,u,M),a(l,Pl,M),U(b,l,M),a(l,Kl,M),a(l,k,M),a(l,Ol,M),U(f,l,M),a(l,lM,M),a(l,h,M),a(l,MM,M),a(l,Z,M),a(l,eM,M),U(B,l,M),a(l,aM,M),a(l,_,M),a(l,sM,M),a(l,V,M),a(l,nM,M),U(E,l,M),a(l,tM,M),a(l,Q,M),a(l,iM,M),U(G,l,M),a(l,JM,M),U(R,l,M),a(l,jM,M),U(z,l,M),a(l,yM,M),a(l,X,M),a(l,UM,M),a(l,F,M),a(l,TM,M),a(l,W,M),a(l,pM,M),U(S,l,M),a(l,wM,M),a(l,N,M),a(l,rM,M),a(l,g,M),a(l,mM,M),U(x,l,M),a(l,IM,M),a(l,v,M),a(l,AM,M),a(l,Y,M),a(l,CM,M),a(l,H,M),a(l,oM,M),a(l,D,M),a(l,dM,M),a(l,$,M),a(l,cM,M),U(L,l,M),a(l,uM,M),a(l,q,M),a(l,bM,M),a(l,P,M),a(l,kM,M),U(K,l,M),a(l,fM,M),U(O,l,M),a(l,hM,M),a(l,ll,M),a(l,ZM,M),a(l,Ml,M),a(l,BM,M),a(l,el,M),a(l,_M,M),a(l,al,M),a(l,VM,M),a(l,sl,M),a(l,EM,M),a(l,nl,M),a(l,QM,M),U(tl,l,M),a(l,GM,M),a(l,il,M),a(l,RM,M),U(Jl,l,M),a(l,zM,M),a(l,jl,M),a(l,XM,M),a(l,yl,M),a(l,FM,M),a(l,Ul,M),a(l,WM,M),U(Tl,l,M),a(l,SM,M),a(l,pl,M),a(l,NM,M),a(l,wl,M),a(l,gM,M),U(rl,l,M),a(l,xM,M),a(l,ml,M),a(l,vM,M),a(l,Il,M),a(l,YM,M),a(l,Al,M),a(l,HM,M),U(Cl,l,M),a(l,DM,M),a(l,ol,M),a(l,$M,M),U(dl,l,M),a(l,LM,M),a(l,cl,M),a(l,qM,M),a(l,ul,M),a(l,PM,M),U(bl,l,M),a(l,KM,M),U(kl,l,M),a(l,OM,M),a(l,fl,M),a(l,le,M),U(hl,l,M),a(l,Me,M),a(l,Zl,M),a(l,ee,M),U(Bl,l,M),a(l,ae,M),a(l,_l,M),a(l,se,M),U(Vl,l,M),a(l,ne,M),a(l,El,M),a(l,te,M),a(l,Ql,M),a(l,ie,M),a(l,Gl,M),a(l,Je,M),U(Rl,l,M),a(l,je,M),a(l,zl,M),a(l,ye,M),a(l,Xl,M),a(l,Ue,M),a(l,Fl,M),a(l,Te,M),U(Wl,l,M),a(l,pe,M),a(l,gl,M),we=!0},p:wa,i(l){we||(T(I.$$.fragment,l),T(A.$$.fragment,l),T(C.$$.fragment,l),T(b.$$.fragment,l),T(f.$$.fragment,l),T(B.$$.fragment,l),T(E.$$.fragment,l),T(G.$$.fragment,l),T(R.$$.fragment,l),T(z.$$.fragment,l),T(S.$$.fragment,l),T(x.$$.fragment,l),T(L.$$.fragment,l),T(K.$$.fragment,l),T(O.$$.fragment,l),T(tl.$$.fragment,l),T(Jl.$$.fragment,l),T(Tl.$$.fragment,l),T(rl.$$.fragment,l),T(Cl.$$.fragment,l),T(dl.$$.fragment,l),T(bl.$$.fragment,l),T(kl.$$.fragment,l),T(hl.$$.fragment,l),T(Bl.$$.fragment,l),T(Vl.$$.fragment,l),T(Rl.$$.fragment,l),T(Wl.$$.fragment,l),we=!0)},o(l){p(I.$$.fragment,l),p(A.$$.fragment,l),p(C.$$.fragment,l),p(b.$$.fragment,l),p(f.$$.fragment,l),p(B.$$.fragment,l),p(E.$$.fragment,l),p(G.$$.fragment,l),p(R.$$.fragment,l),p(z.$$.fragment,l),p(S.$$.fragment,l),p(x.$$.fragment,l),p(L.$$.fragment,l),p(K.$$.fragment,l),p(O.$$.fragment,l),p(tl.$$.fragment,l),p(Jl.$$.fragment,l),p(Tl.$$.fragment,l),p(rl.$$.fragment,l),p(Cl.$$.fragment,l),p(dl.$$.fragment,l),p(bl.$$.fragment,l),p(kl.$$.fragment,l),p(hl.$$.fragment,l),p(Bl.$$.fragment,l),p(Vl.$$.fragment,l),p(Rl.$$.fragment,l),p(Wl.$$.fragment,l),we=!1},d(l){l&&(e(xl),e(Nl),e(vl),e(Yl),e(Hl),e(Dl),e(o),e($l),e(d),e(Ll),e(c),e(ql),e(u),e(Pl),e(Kl),e(k),e(Ol),e(lM),e(h),e(MM),e(Z),e(eM),e(aM),e(_),e(sM),e(V),e(nM),e(tM),e(Q),e(iM),e(JM),e(jM),e(yM),e(X),e(UM),e(F),e(TM),e(W),e(pM),e(wM),e(N),e(rM),e(g),e(mM),e(IM),e(v),e(AM),e(Y),e(CM),e(H),e(oM),e(D),e(dM),e($),e(cM),e(uM),e(q),e(bM),e(P),e(kM),e(fM),e(hM),e(ll),e(ZM),e(Ml),e(BM),e(el),e(_M),e(al),e(VM),e(sl),e(EM),e(nl),e(QM),e(GM),e(il),e(RM),e(zM),e(jl),e(XM),e(yl),e(FM),e(Ul),e(WM),e(SM),e(pl),e(NM),e(wl),e(gM),e(xM),e(ml),e(vM),e(Il),e(YM),e(Al),e(HM),e(DM),e(ol),e($M),e(LM),e(cl),e(qM),e(ul),e(PM),e(KM),e(OM),e(fl),e(le),e(Me),e(Zl),e(ee),e(ae),e(_l),e(se),e(ne),e(El),e(te),e(Ql),e(ie),e(Gl),e(Je),e(je),e(zl),e(ye),e(Xl),e(Ue),e(Fl),e(Te),e(pe),e(gl)),e(m),w(I,l),w(A,l),w(C,l),w(b,l),w(f,l),w(B,l),w(E,l),w(G,l),w(R,l),w(z,l),w(S,l),w(x,l),w(L,l),w(K,l),w(O,l),w(tl,l),w(Jl,l),w(Tl,l),w(rl,l),w(Cl,l),w(dl,l),w(bl,l),w(kl,l),w(hl,l),w(Bl,l),w(Vl,l),w(Rl,l),w(Wl,l)}}}const ba='{"title":"Kod Dil Modelini Tek GPU’da Fine-Tune Etmek","local":"kod-dil-modelini-tek-gpuda-fine-tune-etmek","sections":[{"title":"Veri Seti","local":"veri-seti","sections":[],"depth":2},{"title":"Model","local":"model","sections":[],"depth":2},{"title":"Veri setinin hazırlanması","local":"veri-setinin-hazırlanması","sections":[],"depth":2},{"title":"Modelin Hazırlanması","local":"modelin-hazırlanması","sections":[],"depth":2},{"title":"Modelin Eğitilmesi","local":"modelin-eğitilmesi","sections":[],"depth":2},{"title":"Inference","local":"inference","sections":[],"depth":2}],"depth":1}';function ka(re){return ra(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class _a extends ma{constructor(m){super(),Ia(this,m,ka,ua,pa,{})}}export{_a as component};
