UTF-8 化

このサイトをUTF-8にしたのは良いが、これから問題出そう。

このまま記事を入力し[投稿する]ボタンを押せば当サイトに送信されます。 以下の文章は注意書きです。

名前はかならず記入してください。ハンドルネームでも構いません。 またパスワードを入力することをお勧めします。 その場合他人による *なりすまし* と区別出来るかもしれません。 さらにブラウザでクッキーを有効に設定してある場合あなたの記事は後で修正可能になります。

コメントスパム防止のため記事の内容を機械的にモデレート (スパムである確率を計算) する処理を通します。 どのような投稿であれ、たまたま計算誤差によりスパムとみなされ 秘密の場所 に収納される可能性があります。 その場合、管理人が手作業で正規の場所に移動しますのでお待ちください。

27  owa  2003/12/17 23:43 id: mJs8kxp1Zus  prob: 0.2%

さっき、このサイトの UTF-8 化実施しました。
不具合あるけど、ゆっくり直していきます^^

PostgreSQL のテーブル変換に psycopg ライブラリ使ったのですが、
昔 Oracle と C で組んだ頃を思い出すと涙出るくらい簡単。
なんかこの BBS も書き換えたくなってきたけど、それはまた別の話。

# せっかく頂いたコメント三件変換できませんでした。
# 後でハンドコピーしますので勘弁。

26  owa  2003/12/15 23:46 id: mJs8kxp1Zus  prob: 0.2%

さていよいよ RDB のコンバートなので下調べ
http://initd.org/software/initd/psycopg
http://www.python.jp/pub/doc_jp/contrib/peps/pep-0249.txt
http://www.postgresql.jp/document/pg734doc/index.html
python で RDB を自由に使えたらとてもうれしい。
ゆっくり急がずまいろうか^^

25  owa  2003/12/14 22:32 id: mJs8kxp1Zus  prob: 0.0%

サイトをコピーして全部 UTF-8 変換してみたけど、まあまあでした^^
問題が出たのは瓦版ページだけ。
- HTML ヘッダに文字コードを直に書くのは、Zope 的に良くない;;
- RDFSummary 直しが必要
  EUC-JP と UTF-8 の両方に対応するには日本語の処理部分が多くなるので
  別モジュールにしたほうが良さそう。元々コード変換は後付け機能だし。
- 某 EUC-JP サイトを UTF-8 変換するとエラーになる
  文字列の最後が半端だと kconv がエラーを吐いて変換してくれません。
  文字列カットとチェックメソッド作るので、それで対応する予定。
- 某 COREBlog サイトの RDF でエラーが出たけど、現在日記の先頭が文字化け
  していて変、そのせいかもしれない。なので少し様子見。
- 某瓦版サイトでは先頭文字やサイズによるカットメソッド使ってますが、
  処理を端折りすぎ。ちゃんと作らないといけません > 反省

24  owa  2003/12/14 00:14 id: mJs8kxp1Zus  prob: 0.0%

>>23
JCodeChanger-0.2.0 で ZCatalog ベースのオブジェクトにも対応しました。
ftp://owa.as.wakwak.ne.jp/pub/Zope/JCodeChanger
このプロダクトはツールなので、使う人におまかせと云うスタンスです。
ハサミを販売しても傷害幇助罪にはならないだろうと考えてます。

Squishdot, COREBlog 等の中のオブジェクトも変換できるので、
なんかの時には役立つかもしれません。

が、個別のプロダクトで設定している独自のプロパティ等があるので、
そのプロダクト自体をいじらないといけない場合が多いと思います。
日本語化 ZWiki の HTML ヘッダなどは直に埋め込まれていて、
テキストを変換した後、修正が必要のようでした。

自分のサイトの場合、何時移行しても対応できるようにヘッダに
---
<meta http-equiv="content-type"
content="text/html;charset=<dtml-var management_page_charset missing="euc-jp">">
---
などと入れてます

ところで pykf を選択した場合 utf-8 変換できない理由わかりました。
pykf は utf-8 への変換をサポートしていないので組込みの unicode を 
使ってますが python 2.2 以降じゃないとだめみたいです。
ということで将来動くだろうとコーデック選択は残すことにしました。

と自分だけ納得して、ここまでで一応区切りにしますが、
障害等あれば連絡頂けると有り難いと思います。

追信: python で unicode モジュール使うには日本語の場合 JapaneseCodecs が必用です。python
の version のせいだと思ったのは私が無知でした。ちゃんと使えてます。失礼しました。

23  owa  2003/12/13 00:55 id: mJs8kxp1Zus  prob: 0.1%

>>20 このまま安定版目指します
舌の根も乾かないうちに Squishdot も対応できないか調べ始めました。
Zch, COREBlog などもそうなんですが ZCatalog をベースにしてます。
一応フォルダの中に入れるのですが、変換かけて良いものかどうか判断がつきません。
うまく行ったら公開するかも知れませんが、本当の目的は別のところで、
将棋のベースを何にするかを調査しているだけだったりします。
話は飛びますが、てっきり CubeDeZope は UTF-8 化済みと誤解してました。
http://mooya.ath.cx/CubeDeZope/1071238928
サイトの中をいろいろ調べると、参考になる記事があります。
ちょっとうちとはスケールが違います。
ここも http://cjkpython.berlios.de/

22  owa  2003/12/10 23:35 id: mJs8kxp1Zus  prob: 0.0%

>>21
JCodeChanger 少しだけ修正しました
ftp://owa.as.wakwak.ne.jp/pub/Zope/JCodeChanger
なんかこまかいバグだけ直していました。
セキュリティ関係はおっしゃる通りでこのままでも使えそうな気がします。
とりあえず公開して叩かれてみようかと思っています。
CMF や Squishdot 系統の方にはあまり役立ちそうもないのですが、
とりあえず暫定公開してみようと思います。
試してもらって感謝しております、御礼の言葉に詰まります。m(.".)m

21  kiyo  2003/12/10 21:52 id: M4qDt4tUHP2  prob: 0.0%

DTML Method&Docment,PythonScript,ZSQLMethodのタイトル等 
EUC->UTF化の実験しました。
エラーもでず、無事変更できました。
結果は、owa さん用サイトTestFolder/JCodeChangeTest/Chatbbs にあります。
マナゲでないとみれません^^;;
# 皆さんの喜びそうな良いプロダクト作ったですねぇ。
# もう正式公開したらいかが、、、
# セキュリティ関係は、管理者用のプロダクトだからこのままで良いと思うのですが、どうでしょう？
# 使った後に削除し、必要な時にまた作成したら済む事ですので

20  owa  2003/12/09 23:06 id: mJs8kxp1Zus  prob: 0.0%

JCodeChanger-0.1.1 置きました
ftp://owa.as.wakwak.ne.jp/pub/Zope/JCodeChanger
気まぐれで名前変えました;;
使える段階になって来たと思います。
README に説明してありますが
'DTML Method', 'DTML Document', 'Page Template',
'Script (Python)', 'Wiki Page', 'TinyTablePlus',
'Z SQL Method' (タイトルのみ), 'File' (text/* タイプのみ)
に対応したつもりです。
普段使わないオブジェクトもあるので間違いがあるかもしれません。
あと、とりあえず kconv 使ってください。pykf はうまく動いてません。
kconv は ChkCode メソッドで ascii の判定してくれないので、
プロダクトの方にコードを追加しました。
pykf は例えば UTF-8 の"もじ化け" を shift-jis と判定してしまうので、
とりあえず後回しにしました。多分使いかたのコツとかあると思うけど。
それと jplib はまだ試してません。
あいかわらずセキュリティ関連は無視しているので、
web に晒してるマシンでは使用しないでください。
自分の事情ですが、現在の機能で十分なのでこのまま安定版目指します。
もしなにか要望があれば、いまのうち教えてください。
年末は他の予定も沢山ありますので ^^

19  owa  2003/12/08 23:56 id: mJs8kxp1Zus  prob: 0.1%

>>18 owa さんが作るならやめるかも
見なかったことにします。
>> pykf の何処が異常なのですか
pykf 作られた方ごめんなさい。言い方が悪うございました。
まだそこまで手が回ってないだけです;;
とりあえずちょっと修正したところ
'Folder', 'File', 'DTML Method', 'DTML Document', 'Script (Python)'
'ZWiki Page', 'TinyTable'
あたりはエンコード変換できるみたいです。
あとは深追いしません。最初の目的を忘れないようにしないと。
週末あたりに Jexch β版置くつもりです。

18  kiyo  2003/12/08 00:56 id: M4qDt4tUHP2  prob: 0.2%

Jexch-0.1.0.tar.gz 待ってた（頂き^^）
RDB の utf-8化は、まだ先になるけどメモで訪ねたinpboxDBに盛り込もうかと思ってます。
owa さんが作るならやめるかも？
pykf の何処が異常なのですか？