下面給大家介紹的有關(guān)perl對(duì)中文處理的技巧詳細(xì)解析,你可能還不知道,下面我門(mén)一起來(lái)看看,希望對(duì)需要的朋友有所幫助! Perl從5.6開(kāi)始已經(jīng)開(kāi)始在內(nèi)部使用utf8編碼來(lái)表示字符,也就是說(shuō)對(duì)中文以及其他語(yǔ)言字符的處理應(yīng)該是完全沒(méi)有問(wèn)題的。我們只需要利用好Encode這個(gè)模塊便能充分發(fā)揮Perl的utf8字符的優(yōu)勢(shì)了。 下面就以中文文本的處理為例進(jìn)行說(shuō)明,比如有一個(gè)字符串"測(cè)試文本",我們想要把這個(gè)中文字符串拆成單個(gè)字符,可以這樣寫(xiě): use Encode; $dat="測(cè)試文本"; $str=decode("gb2312",$dat); @chars=split //,$str; foreach $char (@chars) { print encode("gb2312",$char),"\n"; } 結(jié)果大家試一試就知道了,應(yīng)該是令人滿意的。 這里主要用到了Encode模塊的decode、encode函數(shù)。要了解這兩個(gè)函數(shù)的作用我們需要清楚幾個(gè)概念: 1、Perl字符串是使用utf8編碼的,它由Unicode字符組成而不是單個(gè)字節(jié),每個(gè)utf8編碼的Unicode字符占1~4個(gè)字節(jié)(變長(zhǎng))。 2、進(jìn)入或離開(kāi)Perl處理環(huán)境(比如輸出到屏幕、讀入和保存文件等等)時(shí)不是直接使用Perl字符串,而需要把Perl字符串轉(zhuǎn)換成字節(jié)流,轉(zhuǎn)換過(guò)程中使用何種編碼方式完全取決于你(或者由Perl代勞)。一旦Perl字符串向字節(jié)流的編碼完成,字符的概念就不存在了,變成了純粹的字節(jié)組合,如何解釋這些組合則是你自己的工作。 我們可以看出如果想要Perl按照我們的字符概念來(lái)對(duì)待文本,文本數(shù)據(jù)就需要一直用Perl字符串的形式存放。但是我們平時(shí)寫(xiě)出的每個(gè)字符一般都被作為純ASCII字符保存(包括在程序中明文寫(xiě)出的字符串),也就是字節(jié)流的形式,這里就需要encode和decode函數(shù)的幫助了。 encode函數(shù)顧名思義是用來(lái)編碼Perl字符串的。它將Perl字符串中的字符用指定的編碼格式編碼,最終轉(zhuǎn)化為字節(jié)流的形式,因此和Perl處理環(huán)境之外的事物打交道經(jīng)常需要它。其格式很簡(jiǎn)單: $octets = encode(ENCODING, $string [, CHECK]) $string: Perl字符串 encoding: 是給定的編碼方式 $octets: 是編碼之后的字節(jié)流 check: 表示轉(zhuǎn)換時(shí)如何處理畸變字符(也就是Perl認(rèn)不出來(lái)的字符)。一般不需使用 編碼方式視語(yǔ)言環(huán)境的不同有很大變化,默認(rèn)可以識(shí)別utf8、ascii、ascii-ctrl、 iso-8859-1等。 decode函數(shù)則是用來(lái)解碼字節(jié)流的。它按照你給出的編碼格式解釋給定的字節(jié)流,將其轉(zhuǎn)化為使用utf8編碼的Perl字符串,一般來(lái)說(shuō)從終端或者文件取得的文本數(shù)據(jù)都應(yīng)該用decode轉(zhuǎn)換為Perl字符串的形式。它的格式為: $string = decode(ENCODING, $octets [, CHECK]) $string、ENCODING、$octets和CHECK的含義同上。 現(xiàn)在就很容易理解上面寫(xiě)的那段程序了。因?yàn)樽址怯妹魑膶?xiě)出的,存放的時(shí)候已經(jīng)是字節(jié)流形式,喪失了本來(lái)的意義,所以首先就要用 decode函數(shù)將其轉(zhuǎn)換為Perl字符串,由于漢字一般都用gb2312格式編碼,這里decode也要使用gb2312編碼格式。轉(zhuǎn)換完成后Perl 對(duì)待字符的行為就和我們一樣了,平時(shí)對(duì)字符串進(jìn)行操作的函數(shù)基本上都能正確對(duì)字符進(jìn)行處理,除了那些本來(lái)就把字符串當(dāng)成一堆字節(jié)的函數(shù)(如vec、 pack、unpack等)。于是split就能把字符串切成單個(gè)字符了。最后由于在輸出的時(shí)候不能直接使用utf8編碼的字符串,還需要將切割后的字符用encode函數(shù)編碼為gb2312格式的字節(jié)流,再用print輸出。 以上有關(guān)perl對(duì)中文處理的技巧詳細(xì)解析就是小編為大家收集整理的全部?jī)?nèi)容了,希望對(duì)大家有所幫助。如果您喜歡這篇文章,可以收藏或分享給您的小伙伴們吧!歡迎持續(xù)關(guān)注我們的后續(xù)更新。 |
免責(zé)聲明:本站部分文章和圖片均來(lái)自用戶投稿和網(wǎng)絡(luò)收集,旨在傳播知識(shí),文章和圖片版權(quán)歸原作者及原出處所有,僅供學(xué)習(xí)與參考,請(qǐng)勿用于商業(yè)用途,如果損害了您的權(quán)利,請(qǐng)聯(lián)系我們及時(shí)修正或刪除。謝謝!
始終以前瞻性的眼光聚焦站長(zhǎng)、創(chuàng)業(yè)、互聯(lián)網(wǎng)等領(lǐng)域,為您提供最新最全的互聯(lián)網(wǎng)資訊,幫助站長(zhǎng)轉(zhuǎn)型升級(jí),為互聯(lián)網(wǎng)創(chuàng)業(yè)者提供更加優(yōu)質(zhì)的創(chuàng)業(yè)信息和品牌營(yíng)銷服務(wù),與站長(zhǎng)一起進(jìn)步!讓互聯(lián)網(wǎng)創(chuàng)業(yè)者不再孤獨(dú)!
掃一掃,關(guān)注站長(zhǎng)網(wǎng)微信