-->

GoogleSearch


Scientist. Husband. Daddy. --- TOLLE. LEGE
외부자료의 인용에 있어 대한민국 저작권법(28조)과 U.S. Copyright Act (17 USC. §107)에 정의된 "저작권물의 공정한 이용원칙 | the U.S. fair use doctrine" 을 따릅니다. 저작권(© 최광민)이 명시된 모든 글과 번역문들에 대해 (1) 복제-배포, (2) 임의수정 및 자의적 본문 발췌, (3) 무단배포를 위한 화면캡처를 금하며, (4) 인용 시 URL 주소 만을 사용할 수 있습니다. [후원 | 운영] [대문으로] [방명록] [옛 방명록] [티스토리 (백업)]

이 블로그 검색

handling non-ascii characters in unix

라벨:





Remove non-ascii characters in unix

For example : the string

Žvaigždės aukštybėj užges or äüöÖÜÄ

is in file testutf8.txt, utf8 format.

Running command

iconv -f UTF8 -t US-ASCII//TRANSLIT testutf8.txt

results in

Zvaigzdes aukstybej uzges or auoOUA


example,

echo Hej på dig, du den dära | iconv -f utf-8 -t us-ascii//TRANSLIT



http://stackoverflow.com/questions/3001177/how-do-i-grep-for-non-ascii-characters-in-unix

grep -P "[\x80-\xFF]" file.xml

perl -ane '{ if(m/[[:^ascii:]]/) { print } }' fileName > newFile

grep [^\p{ASCII}] file.xml




라벨:




Scientist. Husband. Daddy. --- TOLLE. LEGE
외부자료의 인용에 있어 대한민국 저작권법(28조)과 U.S. Copyright Act (17 USC. §107)에 정의된 "저작권물의 공정한 이용원칙 | the U.S. fair use doctrine" 을 따릅니다. 저작권(© 최광민)이 명시된 모든 글과 번역문들에 대해 (1) 복제-배포, (2) 임의수정 및 자의적 본문 발췌, (3) 무단배포를 위한 화면캡처를 금하며, (4) 인용 시 URL 주소 만을 사용할 수 있습니다. [후원 | 운영] [대문으로] [방명록] [옛 방명록] [티스토리 (백업)] [신시내티]

-