import{s as me,n as ce,o as fe}from"../chunks/scheduler.889ebb13.js";import{S as Me,i as de,g as r,s as n,r as U,A as ke,h as i,f as s,c as a,j as pe,u as Z,x as o,k as oe,y as ge,a as l,v as w,d as J,t as V,w as _}from"../chunks/index.b9ddb21d.js";import{C as K}from"../chunks/CodeBlock.15ac7ec2.js";import{H as O}from"../chunks/Heading.77ad4fb6.js";function ye(D){let p,C,B,F,m,I,c,ee='<code>PreTrainedTokenizerFast</code>は<a href="https://huggingface.co/docs/tokenizers" rel="nofollow">🤗 Tokenizers</a>ライブラリに依存しています。🤗 Tokenizersライブラリから取得したトークナイザーは、非常に簡単に🤗 Transformersにロードできます。',N,f,te="具体的な内容に入る前に、まずはいくつかの行でダミーのトークナイザーを作成することから始めましょう：",P,M,Q,d,se=`私たちは今、定義したファイルにトレーニングされたトークナイザーを持っています。これをランタイムで引き続き使用するか、
将来の再利用のためにJSONファイルに保存することができます。`,W,k,X,g,le=`🤗 Transformersライブラリでこのトークナイザーオブジェクトをどのように活用できるかを見てみましょう。<code>PreTrainedTokenizerFast</code>クラスは、
<em>tokenizer</em>オブジェクトを引数として受け入れ、簡単にインスタンス化できるようにします。`,G,y,q,j,ne='このオブジェクトは、🤗 Transformers トークナイザーが共有するすべてのメソッドと一緒に使用できます！詳細については、<a href="main_classes/tokenizer">トークナイザーページ</a>をご覧ください。',E,h,R,u,ae="JSONファイルからトークナイザーを読み込むには、まずトークナイザーを保存することから始めましょう：",L,T,x,z,re="このファイルを保存したパスは、<code>PreTrainedTokenizerFast</code> の初期化メソッドに <code>tokenizer_file</code> パラメータを使用して渡すことができます：",H,$,S,b,ie='このオブジェクトは、🤗 Transformers トークナイザーが共有するすべてのメソッドと一緒に使用できるようになりました！詳細については、<a href="main_classes/tokenizer">トークナイザーページ</a>をご覧ください。',A,v,Y;return m=new O({props:{title:"Use tokenizers from 🤗 Tokenizers",local:"use-tokenizers-from--tokenizers",headingTag:"h1"}}),M=new K({props:{code:"ZnJvbSUyMHRva2VuaXplcnMlMjBpbXBvcnQlMjBUb2tlbml6ZXIlMEFmcm9tJTIwdG9rZW5pemVycy5tb2RlbHMlMjBpbXBvcnQlMjBCUEUlMEFmcm9tJTIwdG9rZW5pemVycy50cmFpbmVycyUyMGltcG9ydCUyMEJwZVRyYWluZXIlMEFmcm9tJTIwdG9rZW5pemVycy5wcmVfdG9rZW5pemVycyUyMGltcG9ydCUyMFdoaXRlc3BhY2UlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBUb2tlbml6ZXIoQlBFKHVua190b2tlbiUzRCUyMiU1QlVOSyU1RCUyMikpJTBBdHJhaW5lciUyMCUzRCUyMEJwZVRyYWluZXIoc3BlY2lhbF90b2tlbnMlM0QlNUIlMjIlNUJVTkslNUQlMjIlMkMlMjAlMjIlNUJDTFMlNUQlMjIlMkMlMjAlMjIlNUJTRVAlNUQlMjIlMkMlMjAlMjIlNUJQQUQlNUQlMjIlMkMlMjAlMjIlNUJNQVNLJTVEJTIyJTVEKSUwQSUwQXRva2VuaXplci5wcmVfdG9rZW5pemVyJTIwJTNEJTIwV2hpdGVzcGFjZSgpJTBBZmlsZXMlMjAlM0QlMjAlNUIuLi4lNUQlMEF0b2tlbml6ZXIudHJhaW4oZmlsZXMlMkMlMjB0cmFpbmVyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers <span class="hljs-keyword">import</span> Tokenizer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.models <span class="hljs-keyword">import</span> BPE
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.trainers <span class="hljs-keyword">import</span> BpeTrainer
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tokenizers.pre_tokenizers <span class="hljs-keyword">import</span> Whitespace

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = Tokenizer(BPE(unk_token=<span class="hljs-string">&quot;[UNK]&quot;</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>trainer = BpeTrainer(special_tokens=[<span class="hljs-string">&quot;[UNK]&quot;</span>, <span class="hljs-string">&quot;[CLS]&quot;</span>, <span class="hljs-string">&quot;[SEP]&quot;</span>, <span class="hljs-string">&quot;[PAD]&quot;</span>, <span class="hljs-string">&quot;[MASK]&quot;</span>])

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.pre_tokenizer = Whitespace()
<span class="hljs-meta">&gt;&gt;&gt; </span>files = [...]
<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.train(files, trainer)`,wrap:!1}}),k=new O({props:{title:"Loading directly from the tokenizer object",local:"loading-directly-from-the-tokenizer-object",headingTag:"h2"}}),y=new K({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFByZVRyYWluZWRUb2tlbml6ZXJGYXN0JTBBJTBBZmFzdF90b2tlbml6ZXIlMjAlM0QlMjBQcmVUcmFpbmVkVG9rZW5pemVyRmFzdCh0b2tlbml6ZXJfb2JqZWN0JTNEdG9rZW5pemVyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> PreTrainedTokenizerFast

<span class="hljs-meta">&gt;&gt;&gt; </span>fast_tokenizer = PreTrainedTokenizerFast(tokenizer_object=tokenizer)`,wrap:!1}}),h=new O({props:{title:"Loading from a JSON file",local:"loading-from-a-json-file",headingTag:"h2"}}),T=new K({props:{code:"dG9rZW5pemVyLnNhdmUoJTIydG9rZW5pemVyLmpzb24lMjIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.save(<span class="hljs-string">&quot;tokenizer.json&quot;</span>)',wrap:!1}}),$=new K({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFByZVRyYWluZWRUb2tlbml6ZXJGYXN0JTBBJTBBZmFzdF90b2tlbml6ZXIlMjAlM0QlMjBQcmVUcmFpbmVkVG9rZW5pemVyRmFzdCh0b2tlbml6ZXJfZmlsZSUzRCUyMnRva2VuaXplci5qc29uJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> PreTrainedTokenizerFast

<span class="hljs-meta">&gt;&gt;&gt; </span>fast_tokenizer = PreTrainedTokenizerFast(tokenizer_file=<span class="hljs-string">&quot;tokenizer.json&quot;</span>)`,wrap:!1}}),{c(){p=r("meta"),C=n(),B=r("p"),F=n(),U(m.$$.fragment),I=n(),c=r("p"),c.innerHTML=ee,N=n(),f=r("p"),f.textContent=te,P=n(),U(M.$$.fragment),Q=n(),d=r("p"),d.textContent=se,W=n(),U(k.$$.fragment),X=n(),g=r("p"),g.innerHTML=le,G=n(),U(y.$$.fragment),q=n(),j=r("p"),j.innerHTML=ne,E=n(),U(h.$$.fragment),R=n(),u=r("p"),u.textContent=ae,L=n(),U(T.$$.fragment),x=n(),z=r("p"),z.innerHTML=re,H=n(),U($.$$.fragment),S=n(),b=r("p"),b.innerHTML=ie,A=n(),v=r("p"),this.h()},l(e){const t=ke("svelte-u9bgzb",document.head);p=i(t,"META",{name:!0,content:!0}),t.forEach(s),C=a(e),B=i(e,"P",{}),pe(B).forEach(s),F=a(e),Z(m.$$.fragment,e),I=a(e),c=i(e,"P",{"data-svelte-h":!0}),o(c)!=="svelte-1mu1sb8"&&(c.innerHTML=ee),N=a(e),f=i(e,"P",{"data-svelte-h":!0}),o(f)!=="svelte-ut5c9x"&&(f.textContent=te),P=a(e),Z(M.$$.fragment,e),Q=a(e),d=i(e,"P",{"data-svelte-h":!0}),o(d)!=="svelte-invdsu"&&(d.textContent=se),W=a(e),Z(k.$$.fragment,e),X=a(e),g=i(e,"P",{"data-svelte-h":!0}),o(g)!=="svelte-79h3c5"&&(g.innerHTML=le),G=a(e),Z(y.$$.fragment,e),q=a(e),j=i(e,"P",{"data-svelte-h":!0}),o(j)!=="svelte-3q8kj6"&&(j.innerHTML=ne),E=a(e),Z(h.$$.fragment,e),R=a(e),u=i(e,"P",{"data-svelte-h":!0}),o(u)!=="svelte-132sdzq"&&(u.textContent=ae),L=a(e),Z(T.$$.fragment,e),x=a(e),z=i(e,"P",{"data-svelte-h":!0}),o(z)!=="svelte-1djco1p"&&(z.innerHTML=re),H=a(e),Z($.$$.fragment,e),S=a(e),b=i(e,"P",{"data-svelte-h":!0}),o(b)!=="svelte-1ipwbgd"&&(b.innerHTML=ie),A=a(e),v=i(e,"P",{}),pe(v).forEach(s),this.h()},h(){oe(p,"name","hf:doc:metadata"),oe(p,"content",je)},m(e,t){ge(document.head,p),l(e,C,t),l(e,B,t),l(e,F,t),w(m,e,t),l(e,I,t),l(e,c,t),l(e,N,t),l(e,f,t),l(e,P,t),w(M,e,t),l(e,Q,t),l(e,d,t),l(e,W,t),w(k,e,t),l(e,X,t),l(e,g,t),l(e,G,t),w(y,e,t),l(e,q,t),l(e,j,t),l(e,E,t),w(h,e,t),l(e,R,t),l(e,u,t),l(e,L,t),w(T,e,t),l(e,x,t),l(e,z,t),l(e,H,t),w($,e,t),l(e,S,t),l(e,b,t),l(e,A,t),l(e,v,t),Y=!0},p:ce,i(e){Y||(J(m.$$.fragment,e),J(M.$$.fragment,e),J(k.$$.fragment,e),J(y.$$.fragment,e),J(h.$$.fragment,e),J(T.$$.fragment,e),J($.$$.fragment,e),Y=!0)},o(e){V(m.$$.fragment,e),V(M.$$.fragment,e),V(k.$$.fragment,e),V(y.$$.fragment,e),V(h.$$.fragment,e),V(T.$$.fragment,e),V($.$$.fragment,e),Y=!1},d(e){e&&(s(C),s(B),s(F),s(I),s(c),s(N),s(f),s(P),s(Q),s(d),s(W),s(X),s(g),s(G),s(q),s(j),s(E),s(R),s(u),s(L),s(x),s(z),s(H),s(S),s(b),s(A),s(v)),s(p),_(m,e),_(M,e),_(k,e),_(y,e),_(h,e),_(T,e),_($,e)}}}const je='{"title":"Use tokenizers from 🤗 Tokenizers","local":"use-tokenizers-from--tokenizers","sections":[{"title":"Loading directly from the tokenizer object","local":"loading-directly-from-the-tokenizer-object","sections":[],"depth":2},{"title":"Loading from a JSON file","local":"loading-from-a-json-file","sections":[],"depth":2}],"depth":1}';function he(D){return fe(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class be extends Me{constructor(p){super(),de(this,p,he,ye,me,{})}}export{be as component};
