カテゴリは、設定ウィンドウの左にある領域です。
カテゴリでは、以下の目的の操作をおこないます。
- 変更する設定の選択。
本ソフトには、現時点で以下のカテゴリが実装されています。
検索を行う際に適用される各種設定を変更します。
検索設定には、以下の部品があります。
検索タイプでは、検索タイプを選択します。
検索タイプは、デフォルトでは、「Beeタイプ」になっています。
作業カテゴリのパネル内の部品の、「大文字・小文字の区別(A=a)」チェック・ボックスと同じです。
変更した検索設定を保存します。
DL先フォルダの基準となるパス(ルートのパス)を設定します。
DL先フォルダのパスには、以下の部品があります。
DL先フォルダの基準となるパス(ルートのパス)を入力します。
通常は直接入力する必要はありません。「参照」ボタンで開くダイアログからフォルダを選択することで、パスを入力することができます。
フォルダを選択するダイアログを表示します。選択したフォルダのパスが、パス入力欄に入力されます。
変更した、DL先フォルダの基準となるパス(ルートのパス)を保存します。
本ソフトでは、種々の条件で、古いDL先フォルダを自動で削除することができます。DL先フォルダの削除設定では、この条件を設定します。
DL先フォルダの削除は、メイン・ウィンドウが閉じられるか、本ソフトが終了した時点で行われます。この時、DL先フォルダの削除設定に従い、古いDL先フォルダは自動で削除されます。
DL先フォルダの削除設定には、以下の部品があります。
日数を基準に、古いDL先フォルダを削除するか否かを設定します。
チェック・ボックスをオンにすれば、日数入力欄に入力した日数以前に作成されたフォルダとその中身を、ソフト終了時に自動的に全て削除します。
チェック・ボックスをオフにすれば、この設定は無視されます。
「日数」チェック・ボックスをオンにした場合にのみ意味を持ちます。
古いDL先フォルダを削除する際に、基準となる日数を入力します。この日数以前に作成されたフォルダとその中身は、ソフト終了時に自動的に全て削除されます。
ファイル・サイズを基準に、古いDL先フォルダを削除するか否かを設定します。
チェック・ボックスをオンにすれば、ソフト終了時に自動的に古いDL先フォルダとその中身を削除するようになります。削除が行われる条件はファイル・サイズ入力欄に入力したサイズ以上に、DL先フォルダの合計サイズがなった場合です。この時に、DL先フォルダの合計が、指定したサイズ以下になるように、自動的に古い順にフォルダを削除します。
チェック・ボックスをオフにすれば、この設定は無視されます。
「ファイル・サイズ」チェック・ボックスをオンにした場合にのみ意味を持ちます。
古いDL先フォルダを削除する際に、基準となるファイル・サイズを入力します。
DL先フォルダのサイズの合計が、このファイル・サイズ以上になった場合に削除は行われます。DL先フォルダとその中身がこのサイズ未満になるように、古いフォルダから順に削除を行います。
この削除は、ソフト終了時に自動的に行われます。
回数を基準に、古いDL先フォルダを削除するか否かを設定します。
チェック・ボックスをオンにすれば、ソフト終了時に自動的に古いDL先フォルダとその中身を削除するようになります。削除が行われる条件は回数入力欄に入力した数以上のフォルダがDL先フォルダ内に存在する場合です。この時、フォルダの数が指定した数以下になるように、自動的に古い順にフォルダを削除します。
チェック・ボックスをオフにすれば、この設定は無視されます。
「回数」チェック・ボックスをオンにした場合にのみ意味を持ちます。
古いDL先フォルダを削除する際に、基準となる数を入力します。
DL先フォルダ内のフォルダの数が、この数以上になった場合に削除は行われます。フォルダ数が指定した数未満になるように、古いフォルダから順に削除を行います。
この削除は、ソフト終了時に自動的に行われます。
DL先フォルダの削除設定を、初期状態に戻します。
変更した、DL先フォルダの削除設定を保存します。
DL先フォルダに対して、様々な操作を行うためのカテゴリです。
フォルダの削除や統合、複製などの操作を行います。
DL先フォルダの操作には、以下の部品があります。
DL先フォルダ内にあるフォルダの一覧を表示します。
このフォルダ一覧の中から、操作の対象となるフォルダを選択します。
「DL先フォルダ一覧」リストで選択したフォルダとその中身を削除します。
DL先フォルダ内にある全フォルダとその中身を削除します。
「DL先フォルダ一覧」リストで選択したフォルダをExplorerで開きます。
「DL先フォルダ一覧」リストで選択したフォルダとその中身を、階層構造を維持したまま他のパスに全て複製します。
DL先フォルダ内を統合する際に、統合先のフォルダを選択します。
DL先フォルダ内にあるフォルダの一覧が表示されています。統合は、「統合」ボタンを押して行います。
統合を行った場合、「DL先フォルダ一覧」リストで選択したフォルダの中身が全て、「統合先フォルダ一覧」リストで選択したフォルダにコピーされます。
その際、同じファイルがあった場合は、新しいファイルのみコピーされます。
「DL先フォルダ一覧」リストで選択したフォルダの中身を全て、「統合先フォルダ一覧」リストで選択したフォルダにコピーします。
その際、同じファイルがあった場合は、新しいファイルのみコピーされます。
「統合先フォルダ一覧」リストで選択したフォルダに、それ以外のフォルダの中身を全てコピーします。
その際、同じファイルがあった場合は、新しいファイルのみコピーされます。
ウィンドウの表示色を変更します。
表示色の変更は、リストから色の設定を選択して行います。
ウィンドウ表示テーマには、以下の部品があります。
ウィンドウの表示色の設定を選択します。
表示色の変更は、「保存」ボタンを押した時に反映されます。
ウィンドウの表示色の設定を保存します。
「ウィンドウ表示テーマ」リストで選択した表示色に、ウィンドウが変更されます。
ブラウザ関係の設定を変更します。
URLを開くブラウザの設定には、以下の部品があります。
リストのURLを複数開く際に、ブラウザとしてIEを強制的に使うか否かを設定します。デフォルトでは使う(チェックが外れている)となっています。
以下は技術的に話になります。
IEでは、URLにシェルを送って複数のURLを開いた場合、正しくURLが開かれないことがあります。具体的な現象としては、複数のウィンドウが開かれずに、1つのウィンドウのみが開かれます。このウィンドウには、最後に送ったURLのみが表示されます。これは、、シェルにURLを送る間隔が短い場合に発生することが多いです。
これを避けるためには、IEに直接URLを送って開かなければなりません。このため、デフォルトの設定では、複数のURLを開く場合にはIEに直接URLを送るようにしています。
この設定のチェックをオンにすることによって、IEに直接URLを送ることを止め、シェルにURLを送るようになります。これで、URLに関連づけられたブラウザでページを開けるようになります。
URLを開くブラウザの設定を保存します。
ライセンス・キーを入力してライセンス登録を行います。
ライセンス・キー入力欄とメール・アドレス入力欄に入力後、「保存」ボタンを押して下さい。
ライセンス登録を行えば、フリー版のソフトの制限がなくなります。ライセンス・キーの取得に関しては、送金についてをご覧下さい。
ライセンス登録は、インターネットに接続の上ご登録下さい。
ライセンス登録には、以下の部品があります。
ライセンス・キーの入力を行います。
ライセンス・キーの取得に関しては、送金についてをご覧下さい。
メール・アドレスの入力を行います。
送金についてのドキュメントを開きます。
ライセンス・キーとメール・アドレスを保存して、ライセンス登録を実行します。
DL&検索の設定を作成したり、削除したりします。
DL&検索は、複数の設定を切り替えることで、異なる目的のダウンロードや検索を行うことができます。ここでは、このDL&検索の設定を作成したり、削除したりします。
DL&検索 設定には、以下の部品があります。
「新規」ボタンで新規設定を作成したり、「名前変更」ボタンで設定の名前を変更する際に使用する名前を入力する欄です。
新規のDL&検索 設定を作成します。
設定の中身は、デフォルトの設定と同じ物となります。設定の名前は、設定名入力欄と同じ物になります。
DL&検索の設定一覧が表示されます。
設定に様々な操作を行う際は、このリストから設定を選択します。
DL&検索 設定の名前を変更します。
名前を変更する設定は、「DL&検索 設定」リストから選択します。変更する名前は、設定名入力欄に入力します。
DL&検索 設定をコピーします。
コピーする設定は、「DL&検索 設定」リストから選択します。
DL&検索 設定を削除します。
削除する設定は、「DL&検索 設定」リストから選択します。
「DL&検索 設定」リストから選択したDL&検索 設定を、「ガイド」リストに追加します。
ガイド・ウィンドウに表示されるDL&検索 設定のリストです。
「ガイド」リストの選択項目を、1つ上に上げます。
「ガイド」リストの選択項目を、1つ下に下げます。
「ガイド」リストの選択項目を、削除します。
「ガイド」リストに区切り線を挿入します。
区切り線は「--」で表わされます。
「ガイド」リストの設定を保存します。
DL&検索の各設定の内容を変更します。
DL&検索では、複数の設定を切り替えることで、異なる目的のダウンロードや検索を行うことができます。ここでは、このDL&検索の各設定の内容を変更します。
DL&検索の各設定は、タブでいくつかのグループに分かれています。これらのタブ内の設定を変更した後、「保存」ボタンを押すことで変更を保存します。
DL&検索 設定(各設定)には、以下の部品があります。
設定の名前が表示されます。
この名前を変更して「保存」ボタンを押した場合は、設定名が変更されます。
設定の大分類を表しています。このタブを選択することで、ことなった分類の設定を表示させることができます。
選択できる設定の大分類には、以下の種類があります。
DL&検索 設定の中でも、基本的な設定を変更するページです。
何回リンクをたどるかを数値で入力します。
本ソフトでは、リンクをたどって延々とファイルをダウンロードしていくことができます。この設定では、その辿るリンクの数を設定します。
「0」を入力した場合は、たどったリンクの数に関係なくファイルをダウンロードするようになります。
「5/0」と入力した場合は、左がライセンス未登録状態、右がライセンス登録状態の設定になります。
検索時に、検索に適合したファイルがいくつになった時点で、検索を終了するかを数値で入力します。
「0」を入力した場合は、検索に適合したファイルの数に関係なく、ファイルを検索するようになります。
「50/0」と入力した場合は、左がライセンス未登録状態、右がライセンス登録状態の設定になります。
ダウンロードおよび検索時に、ダウンロードしたファイル数がいくつになった時点で、検索を終了するかを数値で入力します。
「0」を入力した場合は、ダウンロードしたファイルの数に関係なく、ファイルを検索するようになります。
「500/0」と入力した場合は、左がライセンス未登録状態、右がライセンス登録状態の設定になります。
ダウンロードおよび検索に使用するスレッドの数を数値で入力します。
スレッドとは、平行して処理する作業のことです。例えば、スレッドを4に指定すれば、4つのURLに対して同時に接続してファイルをダウンロードします。
この値を大きくすればするほど、同時に処理できるURLの数は増えますが、マシンや接続環境に負荷をかけることとなります。
初期設定では8にしていますが、高速回線などを利用できる場合はこの値よりも大きくしても大丈夫だと思います。
「8/0」と入力した場合は、左がライセンス未登録状態、右がライセンス登録状態の設定になります。
ダウンロードおよび検索時に、リンクの経路によって、ダウンロードするファイルとしないファイルを選別する設定です。
検索対象が基準URLに対してダウンロードするファイルを選別する設定に対して、経路対象は参照元URLに対してファイルを選別する設定です。
リンク集のリンク先のサイトを全てダウンロードしたりする時に利用します。(例えば、「ドメイン内」にチェックを入れれば、リンク先のサイトのみをダウンロードできます)
この設定は、参照元のファイルのURLと、リンク先のファイルのURLの関係によって、ダウンロードするファイルの選別を行います。関係は、ドメイン(「http://crocro.com/pc/soft/index.html」の、「http://crocro.com/」まで)と、ディレクトリ(「http://crocro.com/pc/soft/index.html」の、「http://crocro.com/pc/soft/」まで)を基準にして設定します。
(注:本当は、ドメインと言うと、「http://crocro.com/pc/soft/index.html」の「crocro.com」なのですが、説明のために範囲を分かりやすく書いています)
「全て」にチェックを入れると、全てのURLがダウンロードと検索の対象になります。
「ドメイン外」にチェックを入れると、参照元URLのドメインとは違うURLのみをダウンロードと検索の対象とします。
「ドメイン内」にチェックを入れると、参照元URLのドメインと同じURLのみをダウンロードと検索の対象とします。
「ドメイン内」にチェックを入れると、参照元URLのドメインと同じURLのみをダウンロードと検索の対象とします。
「ディレクトリ外」にチェックを入れると、参照元URLのドメインと同じURLで、かつ基準URLのディレクトリと違うURLのみをダウンロードと検索の対象とします。
「ディレクトリ内」にチェックを入れると、参照元URLのディレクトリと同じURLのみをダウンロードと検索の対象とします。
この設定は、リンク先のサイトを全部保存したり、サイト間のトップページのリンク関係を調べたりする目的で使用します。
DL&検索 設定の中でも、通信関係の設定を変更するページです。
ファイルをダウンロードする際に、サーバーに対する接続を解除する時間(秒)を数値で入力します。
インターネット上では、ファイルが実際にそのサーバーに存在していなかったり、そのサーバー自体が存在しなかったり、通信が不安定であることによって、ファイルをダウンロードできない場合があります。
そういった場合は、サーバーへの接続を諦めなければなりません。この設定では、サーバーへの接続を停止するまでの時間を設定します。このように、時間によって、処理を停止することをタイム・アウトと呼びます。
「0」を入力した場合には、接続タイム・アウトを行わないようになります。
ファイルをダウンロードする際に、ダウンロードを解除する時間(秒)を数値で入力します。
取得タイム・アウトで計測される時間は、サーバーに対する接続を行ってから経過した時間です。
非常に重たいファイルは無視してダウンロードしたい場合などに、この設定を使用します。
「0」を入力した場合には、取得タイム・アウトを行わないようになります。
サーバーへの接続に失敗した場合に、何秒待ってから再度接続を行うかを設定します。
不安定なサーバーにアクセスしたり、処理能力の低いサーバーにアクセスする場合に、この設定は意味を持ってきます。
「0」を入力した場合には、再接続待機を行わないようになります。
プロクシの設定を行ないたい時に、この入力欄にプロクシのアドレスを入力します。
入力欄には、「012.345.678.901」形式のIPアドレスか、「crocro.com」といったドメイン名を入力します。
特に設定の必要がない場合は空欄にしておいて下さい。空欄の場合は、プロクシのアドレスを使用しません。
ポートの設定を行いたい場合に、この欄にポートの数値を入力します。
特に設定の必要がない場合は、デフォルトの値である「-1」を使用して下さい。「-1」が入力されている場合は、ポートの設定を無視して、デフォルトの設定が使用されます。
ユーザー・エージェントを変更したい場合は、この欄に新しいユーザー・エージェントの名前を入力します。
ファイルをダウンロードする際に、ダウンロード自体を解除する時間(分)を数値で入力します。
1時間後には、ダウンロードを終了したいなどといった、終了時間を考えてダウンロードしたい時のための設定です。
「0」を入力した場合には、全体タイム・アウトを行わないようになります。
DL&検索 設定の中でも、他の分類に分類されない設定を変更するページです。
強制リンクを行うか否かを設定するチェック・ボックスです。
強制リンクとは、リンクの張られていないURLに対しても、強制的にリンクを張って、リンク先をダウンロードするための処理です。強制リンクでは、「ttp://〜」「tp://〜」などの不完全なURLや、全角半角交じりのリンクなども正しいURLに修正して自動的にリンクを張ります。
チェックを入れると、この強制リンクを行ないながらダウンロードを行うようになります。
チェックを外すと、この設定は無視されます。
技術的な情報 : この処理は、JavaScriptで記述された「ちょこっと強制リンク」のWSHファイルを呼び出し、その標準出力をJAVAで読み込んでいます。
「ちょこっと強制リンク」に関しては、Web上の情報を参照して下さい。
「func」フォルダ内の、「FltrFrcdLink.js」ファイルが、このフィルタ処理を行っているファイルになります。
ダウンロードおよび検索時に、ダウンロードしたファイルを加工してから検索を行いたい場合に利用する設定です。
この機能は一定以上の技術を持った、高レベルなユーザー向けに提供される機能です。
この設定を使えば、強制リンクのようなHTMLに加工を与える処理を、自分で実装することができます。この処理は、ファイルがダウンロードされて、検索を実行する直前に行われます。
「func」フォルダ内の、JavaScriptで記述された「FltrPreSearch.js」のWSHファイルを改造することで、検索前のファイルに様々な処理を施せます。記述の仕方に関しては、「func」フォルダ内の、「FltrFrcdLink.js」ファイル(強制リンクを実行しているファイル)を参考にして下さい。
チェックを入れると、このフィルタ処理を行ないながらダウンロードを行うようになります。
チェックを外すと、この設定は無視されます。
ダウンロードおよび検索時に、ダウンロードしたファイルを加工してからリンクを抽出したい場合に利用する設定です。
この機能は一定以上の技術を持った、高レベルなユーザー向けに提供される機能です。
この設定を使えば、強制リンクのようなHTMLに加工を与える処理を、自分で実装することができます。この処理は、ファイルがダウンロードされて、リンクを解析する直前に行われます。
「func」フォルダ内の、JavaScriptで記述された「FltrPreGetUrl.js」のWSHファイルを改造することで、検索前のファイルに様々な処理を施せます。記述の仕方に関しては、「func」フォルダ内の、「FltrFrcdLink.js」ファイル(強制リンクを実行しているファイル)を参考にして下さい。
チェックを入れると、このフィルタ処理を行ないながらダウンロードを行うようになります。
チェックを外すと、この設定は無視されます。
ダウンロードおよび検索時に、リンクを解析してURLを取得しないようにする設定です。
処理はかなり速くなりますが、リンクはたどれなくなります。
リンク深度を1に設定して、ただのダウンロードを行いたい場合に主に使用する機能です。
チェックを入れると、URL抽出を停止します。
チェックを外すと、この設定は無視されます。
通常、本ソフトではダウンロード時に「〜_lst.ini」という形式のリンク関係を格納したファイルを作成します。この時に、#以降のページ内リンクは全て同じリンク先とみなし、#以降を削除してデータを格納します。
この設定を有効にすると、この#以降のリンクを削除せず、そのまま残すようにします。
処理は少し遅くなりますが、#以降を含んだリンク構造の解析を行いたい時に利用できます。
チェックを入れると、#以降のリンクをlst.iniに保存するようになります。
チェックを外すと、この設定は無視されます。
ダウンロードしたファイルのリンクの矛盾を解決するかどうかを設定します。
ダウンロードしたHTMLファイルのリンクは、色々な点で矛盾を発生する可能性があります。例えば、CGIの「?」以降を含んだリンクや、同じサイト内の絶対URLでのリンクなどです。これらは、ローカルのファイルとしてダウンロードしたHTMLファイルを閲覧している場合に、リンク切れを生じさせたり、インターネットへの接続が必要になったりと、様々な問題を発生させます。
また、相対URLで指定されているリンクも、インターネット上の本来のURLにアクセスできなかったりといった不便を生じさせます。
ローカル向けリンクの作成では、これらのリンクの矛盾を解消します。
具体的には、リンクの直後にローカルファイルでの正しいリンクと、インターネット上での絶対URLへのリンクを付加します。このリンクの付加は、矛盾を解消する必要のないリンクには行われません。
この設定を使うことで、ダウンロードしたファイルのリンク切れなどの問題を、予め解消することができます。
チェックを入れると、ローカル向けリンクの作成を行ないながらダウンロードを行ないます。
チェックを外すと、この設定は無視されます。
ダウンロードしたファイルに、ダウンロード情報を記述したXML形式のタグを追加する設定です。
このタグは、ダウンロード日時や、ダウンロード元URL、参照先URLなどの情報をまとめたものです。画像ファイルでは、ALT属性で記述したコメントも同時に取り込むことができます。
このタグは、ファイル末尾タグ付加入力欄で入力した拡張子のファイルのみに追加されます。
チェックを入れると、ファイル末尾タグ付加を行ないながらダウンロードを行ないます。
チェックを外すと、この設定は無視されます。
「ファイル末尾タグ付加」チェック・ボックスをオンにした場合に、ファイル末尾タグを追加するファイルの拡張子を入力します。
ファイル末尾タグ付加の設定は、ダウンロードしたファイルに、ダウンロード情報を記述したXML形式のタグを追加する設定です。
拡張子は、「,(カンマ)」区切りで指定します。
ダウンロードの対象外にする、URLに含まれる文字列のリストを記述する入力欄です。
指定は、文字列のリストが改行区切りで並べられたファイルの名前を入力することで行います。複数のファイルを指定する場合は、「,(カンマ)」で区切って並べます。
文字列のリストが記述されたファイルは、「参照」ボタンで開くダイアログから選択できます。
この入力欄にファイル名が指定されている場合、そのファイル内に記述されているリストの文字を含むURLのファイルを無視してダウンロードを行います。バナー広告へのリンクや、広告会社へのリンクを除きたい場合や、検索エンジンへのリンクを除きたい場合などに使用します。
リスト・ファイルの作成方法 : ダウンロード対象外URL文字列をまとめたファイルは「avoid」フォルダ内にあります。自分で新たなファイルを作成することも可能です。
リストは改行区切りの文字列となります。URLの一部が、記入された文字と一致した場合に、DL対象外URLとみなします。
また、行の末尾に「〜\z」と記入した場合は、「〜」がURLの末尾にあるときだけDL対象外URLとみなします。
例:「http://crocro.com/\z」と記述した場合、「http://crocro.com/」はDL対象外URLとみなし、「http://crocro.com/pic/pic.gif」はDL対象外URLとみなしません。
DL対象外URL文字列リスト入力欄に入力するファイル名を選択するためのボタンです。
ボタンを押すとダイアログが開かれるので、使用したい設定を選んでください。複数のファイルも選択することができます。
本ソフトではダウンロード時に、既にダウンロードしたファイルがある場合は、そのファイルに対して上書きを行わないようになっています。この設定は、上記の通常の仕様を無視して、特定の文字列を含むURLからダウンロードしたファイルを強制的に上書きするための設定です。
ここで設定したファイルに記述されている文字列を含むURLをダウンロードする場合には、以前にダウンロードしたファイルがあっても、強制的に上書きが行われます。
この設定は、ニュースサイトのトップページなど、何度も同じファイルを上書き保存したい場合に使用します。
指定は、文字列のリストが改行区切りで並べられたファイルの名前を入力することで行います。複数のファイルを指定する場合は、「,(カンマ)」で区切って並べます。
文字列のリストが記述されたファイルは、「参照」ボタンで開くダイアログから選択できます。
この入力欄にファイル名が指定されている場合、そのファイル内に記述されているリストの文字を含むURLのファイルを強制上書きしながらダウンロードを行います。
リスト・ファイルの作成方法 : ダウンロード上書きURL文字列をまとめたファイルは「overwrite」フォルダ内にあります。自分で新たなファイルを作成することも可能です。
リストは改行区切りの文字列となります。URLの一部が、記入された文字と一致した場合に、DL上書きURLとみなします。
また、行の末尾に「〜\z」と記入した場合は、「〜」がURLの末尾にあるときだけDL上書きURLとみなします。
例:「http://crocro.com/\z」と記述した場合、「http://crocro.com/」はDL上書きURLとみなし、「http://crocro.com/pic/pic.gif」はDL上書きURLとみなしません。
DL上書きURL文字列リスト入力欄に入力するファイル名を選択するためのボタンです。
ボタンを押すとダイアログが開かれるので、使用したい設定を選んでください。複数のファイルも選択することができます。
本ソフトでは通常、ローカルにファイルが存在する場合は、同じファイルをサーバー上からダウンロードしません。この設定を変更すれば、ローカルに既にファイルが存在する場合でも、インターネット上で変更のあったファイルならばローカルのファイルに上書きを行なうようになります。
「上書きなし」、「最終更新日時が違っているならリロード」、「最終更新日時が不明なサーバーはファイルサイズを比較」の3種類から設定を選べます。
デフォルトでは、「上書きなし」になっています。
- 上書きなし : ローカルにファイルがある場合は上書きを行ないません。
- 最終更新日時が違っているならリロード : ローカルにあるファイルの更新日が、サーバー上のファイルよりも古い場合は、サーバー上からファイルをダウンロードして上書きを行ないます。
- 最終更新日時が不明なサーバーはファイルサイズを比較 : 基本的に「最終更新日時が違っているならリロード」と同じです。それに加えて、サーバーの設定で最終更新日時が取得できない場合は、ファイルサイズを比較してダウンロードするか否かを判断します。
「最終更新日時が違っているならリロード」、「最終更新日時が不明なサーバーはファイルサイズを比較」の設定にしている場合は、上記に加えて以下の動作を行ないます。
サーバーから最終更新日時、ファイルサイズ等を取得できない場合は、サーバー上のファイルを最新のファイルとみなします。そして、サーバー上からファイルをダウンロードして上書きを行ないます。
「ローカル存在時のローカル代替読み込み」チェック・ボックス :
また、サーバー上から最新のファイルを読み込まなかった場合、ダウンロード・ファイルのリンク構造の解析を行なわないために、その先のリンクがたどれなくなります。この問題を回避するために、「ローカル存在時のローカル代替読み込み」チェック・ボックスを用意しています。
このチェック・ボックスにチェックを入れれば、ダウンロードしなかったファイルの代わりに、ローカルのファイルを読み込んで、リンク構造の解析を行ないます。これで、あたかもサーバー上のファイルのリンクをたどっているかのように、本ソフトを振舞わせることができます。
本設定は、DL上書き種類の付属設定です。DL上書き種類の説明をご覧下さい。
名前の違う、同じ内容の設定を作成したい場合に使用します。また、ある設定を参考に新しい設定を作成したい場合に使用します。
チェックを入れ、設定名入力欄に新しい名前を入力して、「保存」ボタンを押せば、設定名入力欄に入力した名前の新しい設定が作成されます。
チェックを外すと、この設定は無視されます。
DL&検索 設定を、ガイド・ウィンドウの設定として採用する場合に利用する設定のページです。ガイド特有の機能を利用できるようにします。
ガイド・ウィンドウに設定が表示される際に、ボタンに表示される画像を選択します。
ボタン画像の設定は、「参照」ボタンを押すことで行ないます。選択した画像は、ボタン上にプレビュー表示され、画像のパスも表示されます。
ガイド・ウィンドウでボタンを押した時に、「DL」か「DL&検索」か、どちらのボタンにフォーカスを設定するかを選択します。
ガイド・ウィンドウでは、設定を選択した後、自動でメイン・ウィンドウが表示されます。その際に、「DL」もしくは「DL&検索」のボタンに、フォーカスが設定されます。この設定では、このフォーカスを、どちらのボタンにするかを選択します。
ガイド・ウィンドウから「DL」や「DL&検索」を実行した際に、その作業の終了後に自動で画像抽出を行なうかどうかを設定します。
ガイド・ウィンドウでは、「DL」や「DL&検索」を実行した後、自動で画像抽出のウィンドウを開くことができます。このチェック・ボックスにチェックを入れると、その設定が有効になります。
また、画像抽出を行なう際の拡張子、サイズの設定は、後述のフィルタ入力欄、サイズ入力欄で行ないます。
ガイド・ウィンドウの画像抽出を行なうか際に、拡張子によるフィルタの設定を行なうための入力欄です。
ガイド・ウィンドウでは、「DL」や「DL&検索」を実行した後、自動で画像抽出のウィンドウを開くことができます。フィルタ入力欄に拡張子を記入すれば、この画像抽出の際に、特定の拡張子だけを抽出するようになります。
拡張子は、「,(カンマ)」区切りで指定します。
例)jpg,gif,png
ガイド・ウィンドウの画像抽出を行なうか際に、サイズによるフィルタの設定を行なうための入力欄です。
ガイド・ウィンドウでは、「DL」や「DL&検索」を実行した後、自動で画像抽出のウィンドウを開くことができます。サイズ入力欄に数字を入力すれば、この画像抽出の際に、特定のサイズ以上の画像だけを抽出するようになります。
サイズ入力欄には、数字をKB単位で入力します。
例)30
ガイド・ウィンドウで、検索エンジンの利用を行なうかどうかを設定します。
ガイド・ウィンドウで検索エンジンを利用した場合、検索語の入力を促すダイアログ・ボックスが表示されます。入力した検索語からは、検索エンジンのURLが自動で作成されて、検索リストに自動で登録されます。
検索エンジン種類として、Googleで検索したり、複数の検索エンジンで検索するための設定があらかじめ用意されています。
ガイド・ウィンドウで、検索エンジンの利用を行なう時に、その方法を選択します。
利用できる検索エンジンの種類には、Googleで検索したり、複数の検索エンジンで検索するための設定があらかじめ用意されています。
自動ログインの設定を行ないます。
自動ログインは、Webページ上で「ユーザー名(ID)」と「パスワード」を入力して閲覧を許可するタイプのサイトに対して、自動でログインするための機能です。
自動ログインでは、以下の動作を実現します。
- 設定したURLにアクセスする際、CGIへ「ユーザー名(ID)」「パスワード」などのクエリーを引き渡す。
- サーバーから受け取ったクッキーを一時的に取得する。
- クッキーを使ったサーバーとのセッション管理を行なう。
この機能により、ユーザー認証が必要なサイトに自動でログインして、データを取得することが可能になります。
自動ログインには、以下の部品があります。
自動ログイン設定リストでは、自動ログインを行なうための設定をリストから選択します。
「新規」ボタンでは、自動ログインを行なうための新しい設定を作成します。
新しい設定は、サンプルと同じ内容になります。
「名前変更」ボタンでは、選択した自動ログイン設定の名前を、新しい名前に変更します。
「複製」ボタンでは、選択した自動ログイン設定を複製して、新しい設定を作成します。
「削除」ボタンでは、選択した自動ログイン設定を削除します。
「サンプル」設定は削除できません。
選択データ閲覧欄には、自動ログイン設定リストで選択した設定の中身が表示されます。
自動ログイン設定は、以下の形式になっています。
- [URL]
- url=〜 …… 「〜」部分には、FORMでGETなどされるCGIのパスを入力する。
- avoid=true …… この設定を無視します。設定を有効にする時は、この行を削除して下さい。
- [QUERY]
- user_name=MyID
- user_psswd=Password
- :
- : …… FORMなどからCGIに引き渡すクエリー部分を「Key=Value」の形式で書きます。
初心者の人には、どのようにしてこのURLやクエリー部分を調べればよいか分からないと思います。その際には、付属の「ちょこっと フォーム解析」を利用して下さい。現在開いているページで右クリックして、「ちょこっと フォーム解析」を選択すれば、フォームのデータを抜き出して表示してくれます。
「ちょこっと フォーム解析」は、本ソフトのインストラーの「その他」から選択してインストールすることができます。
変更した内容を保存したい時は、「保存」ボタンを押して下さい。
「保存」ボタンでは、変更した自動ログイン設定を保存します。
「サンプル」設定は変更しても保存することができません。
HTTPサーバー機能の設定を行ないます。
HTTPサーバー機能は、HTTPサーバーを開き、BeeのDL先フォルダをWeb上から検索できるようにするための機能です。また、DL先フォルダの中身もキャッシュ・ファイルとして公開することも可能です。
この機能は、Ver1.20で実装されました。個人レベルで検索エンジンの実験を行なうための実験的機能です。自己責任でご利用下さい。
HTTPサーバーでは、以下の動作を実現します。
- HTTPでDL先フォルダ以下を検索、公開。
- URLマウントを利用して、特定のサイトにURLをマウントさせる。
この2つの機能により、Web上にローカルのマシンのIPを隠蔽したまま、DL先フォルダを公開できます。
HTTPサーバーには、以下の部品があります。
- HTTPサーバー基本設定
- アクセス制御
- URLマウント
- 「保存」ボタン
このチェック・ボックスにチェックを入れることで、HTTPサーバーの機能を利用できるようになります。
BeeのHTTPサーバー機能を使用すれば、監視用のスレッド1本が常時走り、HTTPでのアクセスを監視するようになります。そして、必要に応じて最大8本のスレッドを作成して、アクセスに対応するようになります。
このチェック・ボックスにチェックを入れておけば、Bee起動と同時にHTTPサーバーが機能が開始されます。
HTTPサーバーが機能しているかどうかは、http:/localhost/にアクセスすることで、確認することができます。
また、このチェック・ボックスにチェックを入れても、すぐにHTTPサーバーが起動するわけではないことに注意をして下さい。通常は、Beeを再起動した後からHTTPサーバーは始動します。すぐにHTTPサーバーを起動させたい時は、「起動」ボタンを押してHTTPサーバーを手動で起動させて下さい。
HTTPサーバー使用時は、アクセス制限をかけない限り、DL先フォルダの中身が全て公開となります。
そのため、デフォルトの設定である「\log」フォルダではなく、「\dl」などとしてDL先フォルダを変更しておくことをお勧めします。
理由は、「\log」フォルダは、DLファイル以外にもログ・ファイルが作成されるフォルダだからです。DL先フォルダは、Bee実行のログファイルもまとめて作成するようになっています。しかし、HTTPサーバーとして公開する場合には、ログ・ファイルとDL可能なファイルは区別しておいた方が、セキュリティ上望ましいと言えます。
DL先フォルダの変更は、設定ウィンドウのDL先フォルダのパスで行なうことができます。
ここら辺の仕様は、将来的にうまく整理していきたいと思います。
メニューのファイルの出力機能と同じように、テンプレート・ファイルを変更することで、検索結果やフォルダのWebページの見た目を変更することができます。
見た目を変更したい場合は、「server\out_templet」以下の各ファイルのHTMLを変更して下さい。
テンプレート・ファイルの書式については、出力形式の作成を参考にして下さい。
このラベルには、現在HTTPサーバーが実行中であるか、停止中であるかが表示されます。
実行中のHTTPサーバーを停止させたい時は右横にある「停止」ボタンを、停止中のHTTPサーバーを起動させたい場合は「起動」ボタンをクリックして下さい。
このボタンは、HTTPサーバーが実行中の時は「停止」ボタンと表示されています。逆に、HTTPサーバーが停止中の時は「起動」ボタンと表示されています。
「停止」ボタンをクリックすれば、HTTPサーバーが停止されます。
「起動」ボタンをクリックすれば、HTTPサーバーが起動されます。
この入力欄にはHTTPでのアクセスを受け取るポート番号を入力します。
デフォルトの設定では「80」になっています。
まず、「クエリー・リロード秒数」という機能について説明します。
HTTPサーバー機能では、BeeのDL先フォルダ以下のファイルを、全て検索することが可能になっています。しかし、Windows上で多数のファイルを全文検索する作業は、一瞬で終わる作業ではありません。Googleなどに代表される検索エンジンのように、多数のマシンを使った高価な環境を持っていない状況では、検索結果をすぐに返すことはあまり現実的ではありません。
では、検索結果が出るまでの間、サーバーとクライアントを接続しっぱなしにするのかと言うと、それでは非常に非効率な方法となってしまいます。
そこでBeeでは、検索のクエリーを受け取ると、検索結果を受け取るための予約IDを返すようにしています。この予約IDを受け取ったWebブラウザは、数秒毎にBeeにアクセスして、検索が終了していればその結果を取得することになります。
この待ち時間は、DLされているファイルの数や、マシンパワーによって大きく左右されます。
そこで、「クエリー・リロード秒数」の登場です。この「クエリー・リロード秒数」を設定することで、WebブラウザがBeeに検索終了を問い合わせる時間を秒単位で指定することができます。
デフォルトでは5秒に設定していますが、環境に合わせて変更するとよいでしょう。
HTTPサーバー機能では、特定のIPのユーザーからのアクセスや、特定のフォルダへのアクセスを、受け入れたり、拒否することができます。本ソフトではこの機能を「アクセス制御」と呼びます。
アクセス制御では、3種類の制御状態を選ぶことができます。
1つ目は「全て受け入れ」です。特にアクセス制御は行ないません。
2つ目は「除外を適用」です。特定のIPからのユーザーのアクセスや、特定のディレクトリへのアクセスを拒否します。
3つ目は「受け入れを適用」です。特定のIPからのユーザーのアクセスや、特定のディレクトリへのアクセスのみを許可します。
「除外を適用」「受け入れを適用」の場合は、それぞれ「除外リスト」ボタン、「受け入れリスト」ボタンで開くテキスト・ファイルで、その制御状態を設定することができます。
「アクセス制御」リスト・ボックスで「除外を適用」を選択した時に、アクセスを拒否するIPやフォルダを設定するテキスト・ファイルを開きます。
このテキスト・ファイルのパスは、「server\avoid.txt」になります。
IPやフォルダの設定の仕方は、「HTTPサーバー除外リスト」を参考にして下さい。
「アクセス制御」リスト・ボックスで「受け入れを適用」を選択した時に、アクセスを受け入れるIPやフォルダを設定するテキスト・ファイルを開きます。
このテキスト・ファイルのパスは、「server\accept.txt」になります。
IPやフォルダの設定の仕方は、「HTTPサーバー受け入れリスト」を参考にして下さい。
「URLマウントの使用」チェック・ボックスでは、URLマウントの使用の有無を設定します。
チェックがオンの場合は、URLマウントを使用します。
チェックがオフの場合は、URLマウントは使用しません。
チェックを有効にした場合、10分に一度、設定したURLにローカル・マシンのIPアドレスを送信することになります。
以下、URLマウントについて解説します。
URLマウントは、特定のURLから、まったく別のURLに存在するファイルを表示するための技術です。
例えば、以下のような2つのURLがあったとします。
- http://crocro.com/
- http://www2s.biglobe.ne.jp/~yanai/index.html
この「http://www2s.biglobe.ne.jp/~yanai/index.html」にあるファイルを、「http://crocro.com/」内のファイルのように表示したいとするとします。その場合、以下のようなURLにようにして、無理矢理表示したとします。
- http://crocro.com/um.cgi/index.html
このように、まったく別のURLにあるファイルを、CGIなどを利用して、他のサイト内のファイルのように見せかけることが、URLマウントを利用すればできます。
なぜこのような機能が本ソフトについているのかは、セキュリティ面の強化のためです。
Web上に自分が使っているローカル・マシンのURLをさらすのは、セキュリティ面で不利になります。しかし、本ソフトのHTTP機能を使って、Web上からアクセスする場合には、「http://256.256.0.0/」のようにIPをさらしてしまうことになります。
こういったセキュリティ面での不利を補うために、URLマウント機能を実装しています。このURLマウント機能を使えば、他のサイト内の1ページであるかのように、本ソフトのHTTPサーバーの結果を返すことができます。結果的に、ローカル・マシーンのIPを隠すことができます。これが本機能の目的です。
本ソフトでのURLマウントの実現には、後述のCGIソフトを利用する必要があります。そのため、この機能を使うかどうかは、ユーザーの判断次第になります。
もちろん、URLマウント機能なしでもHTTPサーバー機能は利用可能です。
URLマウント用のCGIを導入するには、以下の3つの作業が必要になります。
- 「bee.cgi」の修正
- 必要ファイルのアップロード
- 必要ファイルのパーティションの設定
以下、順次説明していきます。
「bee.cgi」は「server\um_cgi」フォルダ内にあります。このファイルを開いて、以下の行を修正し、パスワードを設定します。
$pw = "pass"; # パスワード
「server\um_cgi」フォルダ以下のファイル(bee.cgi、dat.cgi、err.html)を全て、サーバー上のperlによるCGIが実行可能なディレクトリにアップロードします。
※ 「dat.cgi」がない場合は、空のテキスト・ファイルを作って「dat.cgi」という名前にして下さい。
それぞれのファイルを、以下のパーティションに変更します。サーバーによっては、適宜この値は変更して下さい。
- bee.cgi 700(rwx --- ---)
- dat.cgi 600(rw- --- ---)
- err.html 600(rw- --- ---)
設定後、実際に稼動可能かbee.cgiにアクセスして下さい。正しく稼動している場合は「err.html」の中身が表示されます。
「bee.cgi」のパスワードで設定した値と同じ値を、「パスワード」入力欄に入力します。
「bee.cgi」を設置したURLを、「マウント先URL」入力欄に入力します。
「URLマウントの使用」チェック・ボックスのチェックをオンにします。すぐにマウントしたい場合は、続けて「今すぐマウント」ボタンをクリックします。
URLマウントを行なうCGIのURLを入力します。
詳しくはURLマウントとは?以下をご覧下さい。
URLマウントを行なうCGIで設定したパスワードと同じ値を入力します。
詳しくはURLマウントとは?以下をご覧下さい。
本ソフトが稼動しているローカル・マシンのIPアドレスを自動で取得します。この入力欄は、ユーザーが自分で入力するものではありません。
このIPアドレスは、URLマウントにしか使用されません。他の目的で、IPアドレスを送信したりはしていません。
※ ADSLでの接続を行なったり切ったりした場合に、うまく最新のIPアドレスが取得できないマシンも確認されています(WindowsMeで取得できないケースがありました)。最新のIPアドレスが取得できない場合は、本ソフトを再起動して下さい。
URLマウントをすぐに行ないます。
全ての設定が正しく行なわれており、URLマウントのCGIも正しく導入されていれば、URLマウントが成功し、「http://localhost/」で表示されるHTTPサーバーのWebページと同じページが表示されます。
詳しくはURLマウントとは?以下をご覧下さい。
「保存」ボタンでは、変更したHTTPサーバーの設定を保存します。